百度智能云：千帆大模型平台接入Llama 2等33个大模型，上线103个Prompt模板

  大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

  今天给大家带来的是百度智能云：千帆大模型平台接入Llama 2等33个大模型，上线103个Prompt模板，希望能对学习大语言模型的同学们有所帮助。

1. 前言

  8月2日，百度智能云方面表示，千帆大模型平台已完成新一轮升级，重点升级了两大功能。

  第一大升级是千帆大模型平台已经实现了对33个大型模型的全面接入，其中包括Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct和Falcon-7B等。这使得百度智能云成为国内拥有最多大型模型的平台之一。通过千帆平台的二次性能增强，上述模型的推理成本最高可降低50%。其次，千帆大模型平台的另一个重要升级体现在推出了国内最全面的预置Prompt模板，共涵盖了103个模板。这些模板适用于对话、游戏、编程、写作等十余个场景，为用户提供了更加全面和多样化的选择。

  那么什么是千帆大模型平台呢？它是百度智能云推出的全球首个一站式的企业级大模型平台，千帆大模型平台不仅提供了包括文心一言在内的大型模型服务和第三方大型模型服务，还提供了完整的大型模型开发和应用工具链，旨在协助企业解决在大模型开发和应用过程中遇到的各种问题。这一整套工具链的引入，为企业提供了全方位的支持，确保他们能够充分利用大型模型的潜力，实现更高效的开发和应用。无论是在模型的训练阶段还是推理阶段，千帆大模型平台都提供了丰富的功能和工具，以最大程度地满足企业的需求，并帮助他们克服可能出现的挑战。

  百度智能云表示，千帆大模型平台的此次升级旨在为企业和开发者提供更加灵活、多样化和高效的大模型服务。客户可以根据自身业务需求选择最适合的大型模型，并利用千帆平台提供的完整工具链进行模型再训练和指令微调等操作，从而高效率、低成本地打造专属于企业的大模型。此外，千帆平台还拥有庞大的Prompt模板库，可提升大型模型内容的准确性和用户满意度。通过上述改进，企业和开发者能够更好地满足用户需求、提高业务效率，并实现更精确的大模型输出。

2. 大而全+持续进化的大语言模型平台

  随着开源大模型技术和生态的不断发展，各种大语言模型如雨后春笋一般不断涌现。但不同模型各有所长，因此根据具体的行业背景和业务场景进行模型测评和模型选型是至关重要的。

  在模型选型的环节中必不可少的就是文心大模型。它是百度发布的产业级知识增强大模型，据IDC 最新发布的《AI 大模型技术能力评估报告，2023》显示，文心大模型得到“综合评分第一，算法模型第一，行业覆盖第一”三个绝对第一。根据个人的实际使用体验，文心一言中文理解和生成能力堪称一绝，在这个层面上已经能够和GPT-4不相上下。

  虽然文心一言已经足够强大，但为了满足企业在模型选型和使用中多样性和全面性的需求，千帆大模型平台以文心大模型为核心，同时全面接入最新的各大模型，包括Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33个大模型，已经成为国内大模型数量之最、覆盖面最广且持续进化的大语言模型平台。

  在不同细分场景下，企业用户可组合使用各种不同的大语言模型，从而最大程度的激发出大语言模型的潜能。企业和开发者可以登陆千帆大模型平台操作台，点击一级目录"大模型管理"下的"模型仓库"，然后点击左上方的"预置模型"，然后可根据自身需求选择并进行模型部署、评估。

  可能有同学会提出疑问，33个大模型是如何被筛选出来的呢？大模型专家通过科学的设计和实验后，采用了三大关键指标：模型效果、模型安全性、可商用。在筛除出原始模型之后，千帆再在其基础上进行了性能+安全的双重增强。

  性能是企业落地应用的关键指标之一。低延迟的模型往往确保实时应用的流畅性和用户体验。所以千帆通过优化模型吞吐、降低模型尺寸，实现模型推理速度的大幅提升。据测算，调优后模型体积可压缩至25%-50%，推理性能显著提升，很好的满足了企业的重要需求。

  与此同时，千帆还通过科学的方法对大模型进行了二次安全增强，提高了模型输出的可控性和安全性，显著降低了合规性成本。

  特别值得一提的是，为方便开发者和企业做模型调优，千帆还提供多种傻瓜式调优工具，包括常见微调（全量参数微调、Prompt Tuning、LoRA）及强化学习（奖励模型学习、强化学习训练）等，同一模型可通过多种方式持续调优。此外，千帆还支持数据回流功能，可在实际生产过程中持续微调，提升模型效果。

  说一千道一万，不如来个实战。首先点击一级目录"数据服务"下的"数据集管理"，然后点击创建数据集，如下图所示：

  这里以个人储备的50多个深度学习常见问题为例，具体问题如下图所示：

  然后点击左下角的创建并导入：

  然后根据数据格式点击对应的单选框，以有标注信息、本地导入的JSONL文件为例，其中jsonl的数据格式可参考：

[{"prompt": "请根据下面的新闻生成摘要, 内容如下:新华社受权于18日全文播发修改后的《中华人民共和国立法法》，修改后的立法法分为“总则”“法律”“行政法规”“地方性法规、自治条例和单行条例、规章”“适用与备案审查”“附则”等6章，共计105条。\n生成摘要如下:", "response": [["修改后的立法法全文公布"]]}]

  上传后很快就能看到导入成功的界面，并点击更多->发布：

  然后进行大模型调优，点击创建调优任务：

  点击创建并训练，如下图所示：

  采用BLOOMZ-7B模型进行LoRA微调，50条数据只花了不到1毛钱的价格，价格是真美丽啊：

  经过二十分钟左右的时间就训练好了，然后点击发布，就能够发布新的模型了，如下图所示：

  发布好模型之后也可以很方便的进行模型评估，从而评测模型效果，如下图所示：

  根据自身的亲身体验，千帆大模型平台对于新手来说是非常友好的。通过可视化的点击和输入操作就能够完成复杂的模型调优和评估操作，真的是极大的降低了模型训练、部署、评估的门槛，这对于各行各业来说无疑都是福音。

3. Prompt海量模板库助力优化模型效果

  Prompt是指人类与大语言模型交互的桥梁，通过自然语言描述的方式来提出问题(提示)是，是大模型理解人类需求的关键途径。但Prompt使用需要一定的专业知识，比如需要通过角色扮演、需求细化等方法就能够极大提升模型回答的效果。

  为帮助客户提高Prompt提问质量、提升模型输出质量和用户满意度，本轮升级后，百度智能云千帆大模型平台上线了海量预置Prompt模板库，模板数量多达103个，包括了不同角色(如医生、厨师、会计师、人事主管、产品经理)和不同任务(如内容总结、SQL 终端、原创改写、语言优化)的Prompt模板，真的是应有尽有啊。列一个直男会很喜欢的夸奖女友Prompt，有了这个Prompt再也不怕哄不好女朋友了。

  用户可以根据需求选择合适的模板，再将问题和模板进行融合, 就能够提高模型内容的准确度和针对性。除了常用的预置模板以外，用户还可以根据自身需求进行自制模板设计或者将预置模板保存到自制模板中，并对钟爱的模板进行收藏，如下图所示：

  百度智能云表示，很多企业使用大模型时，认为效果不好是模型本身的问题，其实很多时候重新编写Prompt就能达到预想的效果。海量Prompt模板的推出，大幅降低了Prompt撰写难度。很多情况下，企业无需花费大量资源调优大模型，基于模板优化Prompt，即可得到满意的模型效果。

4. 总结

  如今，大模型正逐渐重塑各行各业并进入产业落地阶段。为了降低大模型的使用门槛，千帆大模型平台致力于持续聚集优质的大模型资源，并提供易用可靠的大模型工具链。我们旨在帮助每个企业和开发者快速拥抱大模型，并共同探索大模型与行业结合的创新实践。我们的目标是为用户提供通往大模型应用的最短路径，以促进大模型技术的广泛应用和推动行业的创新发展。