百度智能云千帆大模型平台再升级,SDK版本开源发布!
SDK
- 前言
- 一、SDK的优势
- 二、千帆SDK:快速落地LLM应用
- 三、如何快速上手千帆SDK
- 1、SDK快速启动
- 快速安装
- 平台鉴权
- 如何获取AK/SK
- 以“Chat 对话”为调用示例
- 2. SDK进阶指引
- 3. 通过Langchain接入千帆SDK
- 为什么选择Langchain
- 开源社区
前言
百度智能云千帆大模型平台再次升级!在原有API基础上,百度智能云正式上线Python SDK(下文均简称千帆
SDK)版本并全面开源,企业和开发者可免费下载使用!千帆SDK全面覆盖从数据集管理,模型训练,模型评估,到服务部署等方面的功能,我们可基于千帆SDK通过代码接入并调用百度智能云千帆大模型平台的能力,轻松实现LLMOps全流程的落地,快速构建自己的大语言模型应用。
一、SDK的优势
SDK当前主要的价值在于可快速使用API能力,并完善API使用的周边工具链,同时提供cookbook用于实践。
-
快速使用API能力,不需要自己实现http客户端以及鉴权逻辑;并在此基础上做了可配置重试,流量控制,提升了API功能的使用体验。
-
结合实际的案例和应用场景提供了响应的cookbook,帮助我们快速上手,甚至复用大部分已实现代码。
-
拓展了LLM应用的基础能力,例如结合LLM应用层常见的Agent等概念进行了封装,提供了基于Agent的应用模板类。
二、千帆SDK:快速落地LLM应用
千帆SDK支持对话补全、续写补全、语义向量、插件、文生图等一系列功能,可以帮助我们轻松完成应用开发。
-
对话补全(ChatCompletion):对话模型是语言模型的一种变体。虽然在内部使用了语言模型,但它们所提供的接口有些不同。适用于对话生成,智能问答等场景。
-
续写补全(Completion):语言模型提供了基本的续写能力,结合丰富的训练语料,非常适合于文档报告编写,内容创作等场景。
-
语义向量(Embedding):百度智能云千帆大模型平台在提供大模型对话续写能力的同时,应对于常见的文本检索,知识库查询等场景,也推出了文本转化成向量的能力。
-
插件应用(Plugin):为了填补大模型对于获取实时信息,多模态,垂直领域知识问答等场景的能力空白,百度智能云千帆大模型平台推出了常用的几种插件应用,包括百度搜索,知识库,天气查询,智慧图问等几个插件应用。我们可以通过大模型的决策能力进行问答文本到插件应用调用的转化,也可以直接调用插件应用以获取相应的数据。
-
文生图(Text2Image):基于开源的StableDiffusion等开源多模态大模型的基础上,百度智能云千帆大模型平台推出了一系列预置的文生图模型,我们也可以通过SDK快速调用,进行图文创作。
三、如何快速上手千帆SDK
百度智能云千帆大模型平台为我们提供了详细的操作手册,包括SDK快速启动、大模型开发基础功能快速入门和Langchain接入方法,我们可通过以下步骤更加快速的使用千帆SDK。
1、SDK快速启动
在该模块,我们通过必要快速上手步骤,以及以Chat对话为调用示例,介绍了如何快速进入LLM的应用开发。
快速安装
目前千帆SDK已发布到PyPI,我们可使用pip命令进行安装。安装千帆SDK需要3.7.0或更高的Python版本。
平台鉴权
千帆SDK基于百度智能云千帆大模型平台对我们客户提供能力,因此在使用前需要我们客户使用平台指定的鉴权方式进行初始化。
如何获取AK/SK
我们可首先进行应用接入,获得AK/SK。
获取到AK和SK后,我们还需要传递它们来初始化千帆SDK,支持如下两种方式,按优先级从低到高排序:
以“Chat 对话”为调用示例
我们只需要提供预期使用的模型名称和对话内容,即可调用百度智能云千帆大模型平台支持的包括ERNIE-Bot在内的所有预置模型,如下所示:
2. SDK进阶指引
对于对模型有微调训练需求的使用者,千帆SDK提供了模型训练和管理的能力。
- 大模型训练:百度智能云千帆大模型平台提供了高性能的训练,模型微调能力,可以快速的进行训练任务下发和管理。
- 大模型管理:主要用于自定义模型的管理和发布。
- 大模型服务:千帆平台提供了基础的大模型运行环境,我们可以一键式发布自己的模型服务。
3. 通过Langchain接入千帆SDK
为什么选择Langchain
Langchain是可以帮助我们快速构建从原型到生产的LLM应用的框架。其封装了包括LLM,Embedding,Chain,Agent,Tool等一系列抽象的LLM应用组件,在其开源社区成员的不断贡献下集成了当前大部分主流的大语言模型等调用方法,是当前非常流行的开源大模型框架。它开发效率高,资源配套完善,拥有大量使用者。现在,我们可以在langchain中通过千帆SDK接入并使用百度智能云千帆大模型平台的训练等一系列能力,让应用场景开发更轻松、更便捷。
开源社区
千帆SDK已经开源到Github,并将持续更新迭代,可以关注订阅开始做自己的大模型应用了。
GIthub Repo:
https://github.com/baidubce/bce-qianfan-sdk
戳此链接
千帆社区:
https://cloud.baidu.com/qianfandev
戳此链接
相关文章:
百度智能云千帆大模型平台再升级,SDK版本开源发布!
SDK 前言一、SDK的优势二、千帆SDK:快速落地LLM应用三、如何快速上手千帆SDK1、SDK快速启动快速安装平台鉴权如何获取AK/SK以“Chat 对话”为调用示例 2. SDK进阶指引3. 通过Langchain接入千帆SDK为什么选择Langchain 开源社区 前言 百度智能云千帆大模型平台再次升…...
按键精灵中的数据类型转换
按键精灵中的数据类型有:整型、浮点数、布尔类型、字符串、数组这几种类型,主要的转换方式有以下这几种方式: 1. 转布尔类型 CBool Dim A 5 Dim B CBool(A)TracePrint B // true 2. 转字符串类型 CStr Dim MyInteger 437Dim MyStr…...
Golang Gorm 连接数据库
连接数据库 为了连接数据库,你首先要导入数据库驱动程序。例如: import _ "github.com/go-sql-driver/mysql"import ("gorm.io/driver/mysql""gorm.io/gorm" ) GORM 已经包含了一些驱动程序,为了方便的去记住…...
[C++随笔录] 红黑树
红黑树 红黑树的特点红黑树的模拟实现红黑树的底层结构insert的实现实现思路更新黑红比例的逻辑insert的完整代码 insert的验证 源码 红黑树的特点 红黑树,是一种二叉搜索树,但在每个结点上增加一个存储位表示结点的颜色,可以是 Red或 Black。…...
C 和 C++ 可变参数介绍
文章目录 前言概念C 的可变参数参数列表 #va_list 4组宏 C 的可变参数参数列表 #va_list 4组宏初始化列表 initializer_list<> 类模板可变参数模板 总结参考资料作者的话 前言 C 和 C 可变参数介绍。 概念 可变(长)/不定(长ÿ…...
【Git】gui图形化界面的使用、ssh协议以及idea集成Git
目录 gui图形化界面的使用 介绍 特点 gui图形的使用 ssh协议 介绍 步骤及概念 ssh协议的使用 配置公钥 idea集成Git idea配置git IDEA安装gitee IDEA中登入Git 编辑 项目分享 克隆分享的项目 编辑 编辑 idea上传远程 gui图形化界面的使用 介绍 GUI(…...
C语言之文件操作(详解版)
不知不觉我们已经学到C语言的文件操作部分了,这部分内容其实很有意思,因为它可以直接把我们代码中的数据写入硬盘,而不是我们关掉这个程序,代码就没有了,让我们开始学习吧! 目录 1.为什么使用文件 2.什么…...
解决mac 下 docker-compose 不是命令
docker-compose docker: ‘compose’ is not a docker command #6569 解决方法: mkdir -p /usr/local/lib/docker ln -s /Applications/Docker.app/Contents/Resources/cli-plugins /usr/local/lib/docker/cli-plugins参考: https://github.com/docker/…...
test_sizeof
test_sizeof //结论: // sizeof(arrU8)得到的大小是u8类型数组的 **定义大小**,在 初始化的时候用 // strlen(arrU8)得到的大小是u8类型数组的 **实际大小**,在 复制的时候用 //sizeof((char*)arrU8),把一个u8 * 转成 char *&…...
100+ Windows运行命令大全,装B高手必备
操作电脑关闭、重启、注销、休眠的命令细则: 用法: shutdown [/i | /l | /s | /sg | /r | /g | /a | /p | /h | /e | /o] [/hybrid] [/soft] [/fw] [/f] [/m \\computer][/t xxx][/d [p|u:]xx:yy [/c "comment"]] 没有参数 显示帮助。这与键入 /? 是一样的。…...
iOS 设置图标和upload包时显示错误
右键-show in finder-AppIcon.appiconset-然后替换图片 然后遇到个问题 就是图片不能有alpha [Xcode]应用图标:ERROR ITMS-90717: “Invalid App Store Icon. The App Store Icon in the asset catalog in x… 具体操作:只需确保【AppIcon】图片集中不…...
软件工程的舞台上,《人月神话》的美学纷飞
前言: Hello大家好,我是Dream。 今天给大家分享一本书:《人月神话》——软件工程的经典之作。 《人月神话》是一本具有深远影响力的软件工程著作,无论是软件开发者、管理者还是学习软件工程的人士,都能从中获得宝贵的启…...
C现代方法(第19章)笔记——程序设计
文章目录 第19章 程序设计19.1 模块19.1.1 内聚性与耦合性19.1.2 模块的类型 19.2 信息隐藏19.2.1 栈模块 19.3 抽象数据类型19.3.1 封装19.3.2 不完整类型 19.4 栈抽象数据类型19.4.1 为栈抽象数据类型定义接口19.4.2 用定长数组实现栈抽象数据类型19.4.3 改变栈抽象数据类型中…...
Elasticsearch 作为 GenAI 缓存层
作者:JEFF VESTAL,BAHA AZARMI 探索如何将 Elasticsearch 集成为缓存层,通过降低 token 成本和响应时间来优化生成式 AI 性能,这已通过实际测试和实际实施进行了证明。 随着生成式人工智能 (GenAI) 不断革新从客户服务到数据分析…...
FPGA与STM32_FSMC总线通信实验
FPGA与STM32_FSMC总线通信实验 内部存储器IP核的参数设置创建IP核FPGA代码STM32标准库的程序 STM32F407 上自带 FSMC 控制器,通过 FSMC 总线的地址复用模式实现STM32 与 FPGA 之间的通信,FPGA 内部建立 RAM 块,FPGA 桥接 STM32 和 RAM 块&…...
maven配置自定义下载路径,以及阿里云下载镜像
1.配置文件 <?xml version"1.0" encoding"UTF-8"?> <settings xmlns"http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation"http://maven.apache.org…...
01.单一职责原则
单一职责原则 概述 简单来说就是一个类只描述一件事, 比如我们熟知的 userDao.java 只负责 用户域功能。如果userDao既操作user表又操作order表,这显然不合理。正确的做法是让orderDao.java去操作order表。 对类来说的,一个类应该只负责一项…...
RT-Thread上部署TinyMaix推理框架,使MCU赋予AI能力
概要 当谈到微控制器(MCU)和人工智能(AI)的结合,我们进入了一个激动人心的领域。传统上,AI应用程序需要大型计算机或云服务器的处理能力,但随着技术的发展,现在可以将AI嵌入到微控制器中。这为嵌入式系统、物联网设备、机器人和各种其他应用开启了新的可能性。 MCU A…...
设计模式 -- 策略模式(Strategy Pattern)
策略模式:一种行为型模式,这些设计模式特别关注对象之间的通信。在策略模式中,我们创建表示各种策略的对象和一个行为随着策略对象改变而改变的 context 对象。策略对象改变 context 对象的执行算法。 介绍 意图:定义一系列的算…...
Spring Boot 集成 ElasticSearch
1 加入依赖 首先创建一个项目,在项目中加入 ES 相关依赖,具体依赖如下所示: <dependency><groupId>org.elasticsearch</groupId><artifactId>elasticsearch</artifactId><version>7.1.0</version&g…...
超短脉冲激光自聚焦效应
前言与目录 强激光引起自聚焦效应机理 超短脉冲激光在脆性材料内部加工时引起的自聚焦效应,这是一种非线性光学现象,主要涉及光学克尔效应和材料的非线性光学特性。 自聚焦效应可以产生局部的强光场,对材料产生非线性响应,可能…...
Java 8 Stream API 入门到实践详解
一、告别 for 循环! 传统痛点: Java 8 之前,集合操作离不开冗长的 for 循环和匿名类。例如,过滤列表中的偶数: List<Integer> list Arrays.asList(1, 2, 3, 4, 5); List<Integer> evens new ArrayList…...
FastAPI 教程:从入门到实践
FastAPI 是一个现代、快速(高性能)的 Web 框架,用于构建 API,支持 Python 3.6。它基于标准 Python 类型提示,易于学习且功能强大。以下是一个完整的 FastAPI 入门教程,涵盖从环境搭建到创建并运行一个简单的…...
DAY 47
三、通道注意力 3.1 通道注意力的定义 # 新增:通道注意力模块(SE模块) class ChannelAttention(nn.Module):"""通道注意力模块(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_rat…...
spring:实例工厂方法获取bean
spring处理使用静态工厂方法获取bean实例,也可以通过实例工厂方法获取bean实例。 实例工厂方法步骤如下: 定义实例工厂类(Java代码),定义实例工厂(xml),定义调用实例工厂ÿ…...
如何为服务器生成TLS证书
TLS(Transport Layer Security)证书是确保网络通信安全的重要手段,它通过加密技术保护传输的数据不被窃听和篡改。在服务器上配置TLS证书,可以使用户通过HTTPS协议安全地访问您的网站。本文将详细介绍如何在服务器上生成一个TLS证…...
【git】把本地更改提交远程新分支feature_g
创建并切换新分支 git checkout -b feature_g 添加并提交更改 git add . git commit -m “实现图片上传功能” 推送到远程 git push -u origin feature_g...
UR 协作机器人「三剑客」:精密轻量担当(UR7e)、全能协作主力(UR12e)、重型任务专家(UR15)
UR协作机器人正以其卓越性能在现代制造业自动化中扮演重要角色。UR7e、UR12e和UR15通过创新技术和精准设计满足了不同行业的多样化需求。其中,UR15以其速度、精度及人工智能准备能力成为自动化领域的重要突破。UR7e和UR12e则在负载规格和市场定位上不断优化…...
【论文阅读28】-CNN-BiLSTM-Attention-(2024)
本文把滑坡位移序列拆开、筛优质因子,再用 CNN-BiLSTM-Attention 来动态预测每个子序列,最后重构出总位移,预测效果超越传统模型。 文章目录 1 引言2 方法2.1 位移时间序列加性模型2.2 变分模态分解 (VMD) 具体步骤2.3.1 样本熵(S…...
有限自动机到正规文法转换器v1.0
1 项目简介 这是一个功能强大的有限自动机(Finite Automaton, FA)到正规文法(Regular Grammar)转换器,它配备了一个直观且完整的图形用户界面,使用户能够轻松地进行操作和观察。该程序基于编译原理中的经典…...
