当前位置: 首页 > news >正文

步步向前,曙光已现:百度的大模型之路

851c6ba63780295f9878ae9507b945f3.jpeg

大模型,是今年全球科技界最火热,最耀眼的关键词。在几个月的狂飙突进中,全球主要科技公司纷纷加入了大模型领域。中国AI产业更是开启了被戏称为“百模大战”的盛况。

但喧嚣与热闹之后,新的问题也随之而来:大模型的力量究竟能否持续发展?在拥有了许多大模型之后,我们又该做些什么?

简单来说,面向机遇与挑战并重的大模型时代,中国AI需要从拼参数、拼数量的“短期主义”中走出来,走向长期发展与生态凝聚。

有大模型并不难,难的是让大模型走向远方。

8月16日,由深度学习技术及应用国家工程研究中心主办的WAVE SUMMIT深度学习开发者大会2023在北京举行。百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰表示,大语言模型具备了理解、生成、逻辑、记忆等人工智能的核心基础能力,为通用人工智能带来曙光。

76578c23e6878727401b48cee0bec2cf.png

如果要总结这一届WAVE SUMMIT,那么在我看来,最重要的价值是百度展示了大模型如何走向“长期主义”发展模式。通过文心加飞桨,为产业伙伴与开发者构建可持续发展的AI基础设施,为产业智能化提供源源不绝的动力。

大模型不是终点

而是起点

ecd80966b4fab0ddcb2eb4d36933d619.png

随着“百模大战”的兴起,大模型以最高效率抵达了产业繁荣状态。但随之到来的是很多疑虑,比如在有了大模型之后,我们究竟如何让它发挥价值?比如,大模型的技术能力,还能不能进一步突破,如何突破?再比如大模型之间的竞争,会不会变成低价、低质的竞底游戏?

这些疑虑背后的关键,是产业界目前传递出的信号,过分强调“要有大模型”。反而很少提及大模型如何长期发展,如何摆脱零和博弈。

bfdb602abda38c8f76faa312c8b0ae41.png

我们关注大模型,难道不是惊艳于它的表现,于是开始畅想它的未来吗?难道我们真的满足于“有很多大模型”就是终局吗?

换言之,大模型应该是起点,而非终点。

目前来看,大模型的技术、产业与生态都还处在发展的萌芽期。各方应该携手共建,描画大模型的美好未来。大模型之路,至少需要完成三个目标:

1.向产业价值,完成大模型向C端与B端的应用落地,推动AI原生应用走向时代前沿。

2.向众智生态,大模型应该是各行各业、万千开发者的大模型,集众智才能立高远。

3.向技术突破,大模型目前的表现仅是开端,我们需要有方法、有路径来驱动大模型持续发生技术突破,直到走向AGI的远景目标。

如何铺这条大模型路?百度在WAVE SUMMIT深度学习开发者大会2023,展示了他们一直以来都在做的三件事。

dd807905c3228ed9b38232d6c6383359.png

指南针:

AGI曙光已现

如果说,大模型还能向前走,那么它应该向哪里走?百度为大模型时代铺路,做的第一件事,是向各界展示了关于大语言模型方向的“指南针”。

AI开发者们都知道,WAVE SUMMIT深度学习开发者大会,历来是呈现百度对深度学习技术未来洞察的舞台。

2019年,王海峰在首届WAVE SUMMIT中提出,深度学习具有很强的通用性,并具备标准化、自动化和模块化的工业大生产特征,推动人工智能进入工业大生产阶段。

四年来,AI工业大生产的方向不断得到了充分验证,更引导了AI产业的发展与AI开放生态的繁荣。今天,AI技术在各领域展现出了充沛的生产力释放效应,证明AI工业大生产阶段已经正式到来。

面对大模型时代新的方向性问题,王海峰也给出了清晰明确的洞察。本届WAVE SUMMIT,王海峰首次对外表示,人工智能具有多种典型能力,理解、生成、逻辑、记忆是其中的核心基础能力,这四项能力越强,越接近通用人工智能,而大语言模型具备了这四项能力,为通用人工智能(AGI)带来曙光。

也就是说,大模型持续向前发展,实现技术突破是可预见、可期待、可实现的。以理解、生成、逻辑、记忆四项核心技术作为向量,我们可以规划出大模型长期发展的路标与路径。

这样的论断,建立于百度扎实的技术探索之上。

da0b2334f8ef0c16395868ca5cfa12d2.png

以文心一言为例,它首先从数万亿数据和数千亿知识中融合学习得到预训练大模型,在此基础上采用有监督精调、人类反馈的强化学习和提示等技术,并具备知识增强、检索增强和对话增强等技术优势。进一步地,文心一言通过多种策略优化数据源及数据分布、基础模型长文建模、多类型多阶段有监督精调、多任务自适应有监督精调、多层次多粒度奖励模型等技术创新,全面提升基础通用能力。在检索增强和知识增强的基础上,通过知识点增强,提升对世界知识的掌握和运用;通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络,提升逻辑能力;通过构建数据、内容、模型和系统安全的全面安全体系,保障大模型的安全性。可以说,其具备了理解、生成、逻辑、记忆等核心基础能力。

王海峰的阐释既解答了各界对大模型长期发展动力的期待,更直接点明了AGI这一长期目标的实现方式。将目前的大模型技术基础,与人类科技的星辰大海联接在了一起。

除此之外,王海峰还分享了百度在大模型效率、应用等方面的最新进展。

所有远大航程都始于找到正确的航海图。大语言模型具备了理解、生成、逻辑、记忆四项核心基础能力,带来AGI的曙光,正是这样一张值得各界深度思考的航图。

筑路基:

文心加飞桨的步步向前

606674455f3e085ea48636cecc268ade.png

知道了要向哪里走,接下来的问题是应该如何走?面对这个问题,百度为大模型时代做的第二件事,就是通过文心加飞桨,为大模型发展铺设新的路基。

百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜表示,文心一言熟练掌握的创作体裁超过 200 种,涵盖了几乎所有写作需求,内容丰富度是初期的 1.6 倍、思维链长度是初期的 2.1 倍,知识点覆盖是初期的 8.3 倍。

这样的进展效率背后,是百度在核心技术、开发平台、应用部署等领域协同发力的成果。而百度在大模型领域得到的先驱者经验,也将通过文心加飞桨打造的AI基础设施,面向开发者与千行百业进行落地。

在本届WAVE SUMMIT当中,我们可以看到百度围绕大模型的开发、优化、应用,取得了许多关键性、基础性的进展,我们可以从中试举几项加以说明:

1.扩展大模型能力边界的插件生态

面对全新的大模型机遇,插件机制是开发者急切期待的。为了填补这一需求,文心大模型在 3.5 版本中新增了插件机制,已上线了百度搜索、览卷文档、一镜流影、说图解画、E言易图五种官方原生插件。王海峰表示,未来百度将与开发者共建插件生态,共享技术创新成果。

5c4ee488be703657866c86f42414fbb2.png

从WAVE SUMMIT的反馈来看,各界对这些插件的认可达到了很高指数。

比如说,览卷文档可以借助文档智能模型及搜索系统,实现对文档的格式、布局等信息充分理解及定位,从而帮助用户实现文档摘要、问答及创作的需求。

再比如,一镜流影依托文心跨模态大模型,突破了不同模态之间语义对齐等技术难题。用户仅需简单输入文字,即可在1分钟内获得高质量的AIGC视频,为大模型+视频带来了全新的效率升级与想象力突破。

E言易图则实现了将文字需求转化为可视化图表的需求。仅需简单的数据图表需求,或输入待生成图表的数据内容,即可生成可交互图表,协助用户完成数据分析、洞察及图表信息的交互演示,从而实现大模型与办公、财务、数据统计等领域更为紧密、有针对性的结合。

2.深度学习平台与大模型的联合优化

在大模型成为各界关注重点之后,如何更好更快地训练大模型,提升大模型推理效率,成为了产业中至关重要的挑战。为此,经过紧密的技术升级,百度已经将文心与飞桨联合优化这条路跑通、跑顺,成为了整个大模型产业可以参考的升级范本。

本届 WAVE SUMMIT 上正式发布了飞桨开源框架v2.5,其全面完成了架构升级,同时在大模型训练、推理和多硬件适配方面带来了新的功能。其中,文心与飞桨联合优化最为关键,通过协同优化,文心大模型 3.5 训练速度是优化前的3 倍,推理速度更是达到了30倍以上。

大模型效率的提升离不开飞桨的加持,在训练方面,百度总结了一套打法:

从硬件资源层面看,飞桨与文心在硬件集群上进行协同优化,提升了有效训练时间占比;通过芯片、存储、网络协同优化,提升了模型的训练吞吐速度,从而全面实现了以更小资源消耗实现大模型训练目标;与模型算法协同优化,提高收敛效率。在大模型训练中,优化收敛效率和稳定性,可大幅度减少训练时间,达到事半功倍的效果。

在推理方面,飞桨则是从模型压缩、推理引擎、服务部署三个关键环节进行协同优化。作为深度学习开发平台,飞桨可以支持AI模型从训练到推理的全流程落地。举例来看,飞桨模型推理服务就可以有效支持大模型推理效率提升。其在业内首创了支持动态插入的分布式推理引擎,从而可以更有效完成庞大数据规模的AI模型进行推理部署。在这些关键环节的协同推理能力提升下,飞桨不断帮助文心大模型提升推理效率与推理性能,让模型的学习效果与鲁棒性更强,从而取得更强的应用效果。

到目前为止,文心与飞桨的联合优化路径被持续验证,进而打通了大模型低成本、高效率落地的大门。

3.应用侧的先导示范。

面对着大模型的能力与机遇,各界不仅关注大模型基础技术,同时也希望在应用侧直接获得大模型支持,以及通过有效的AI原生应用来探索自身的应用落地方案。

780d412785e7a591a2a79be03b62417a.jpeg

在这一方面,WAVE SUMMIT 上展示了文心一言的能力,通过智能工作平台如流进入办公场景,全面提升办公效率。百度集团副总裁、百度集团首席信息官李莹发布了如流的“超级助理”。 在代码智能化场景,百度Comate系列产品全新升级,重磅发布智能编程助手ComateX和Comate Stack工具套件,实现了代码解释、代码生成、行间注释生成、单元测试用例等能力。

b1ecf877982180533820fa96181f39be.png

文心加飞桨,通过不断升级技术、完善工具、落地应用,让大模型的路基沿着正确方向一路铺设开去,从而让更多开发者、更多行业伙伴能够走上这条路,走近大模型的时代机遇。只有在众力众行之下,中国AI才能滚滚向前。

a06b1f8ce0e1c8f0300896583b088058.png

开航道:

为开发者,为产业,为生态

在定准方向,夯实技术之后,下一个问题是如何让更多人加入进来,分享大模型红利。为此,百度为大模型时代做的第三件事,是把大模型变成繁荣的生态航道。让更多行业、更多开发者以高效率、低门槛的方式融入进来,驶向自己的目标。

生态与技术并重,始终是百度发展AI技术的立足根本。经过多年发展,产业级深度学习开源开放平台飞桨,已经凝聚了800万开发者,服务于22万家企事业单位,基于飞桨创建的AI模型达到80万个。

605a14f28c0767f0139331c871482621.png

而面向大模型的机遇,百度同样也广开生态之门,注重社区发展。WAVE SUMMIT 期间,王海峰发布了飞桨开发者社区AI Studio中文名“星河社区”,寓意“文心加飞桨,翩然赴星河”。

与此同时,正式推出了星河大模型社区。在社区,开发者可以获得一体化的大模型开发支持。飞桨+文心贯通全开发流程,与开发者持续共创大模型项目和应用。目前,星河大模型社区已上线了超过 300 个大模型创意应用,还提供了丰富的功能方便开发者进行交流。百度还发布了文心大模型“星河”共创计划,提供生态和产业资源,与广大开发者共同推动人工智能应用创新。

而在作为AI产业底座的硬件领域,文心大模型最新与英伟达、寒武纪、华为等12家硬件伙伴开展了适配,覆盖了云和端侧多种硬件类型。目前,已经有25家硬件伙伴参与到了星河社区硬件生态专区的共建当中。

e27e17fd09ff73ecf383adfc7c3f3b03.png

从产业落地的角度来看,文心大模型的落地规模在国内保持领先,已经有15 万家企业申请了文心一言内测,其中超过 300 家生态伙伴在 400 多个具体场景取得了测试成效,覆盖办公提效、知识管理、智能客服、智能营销等领域。同时,百度联合国家电网、浦发银行、泰康、吉利等企业联合发布了 11 个行业大模型。

不难看出,百度开辟的大模型航道,已经实现了落地广泛、生态繁荣、伙伴众多。百度的大模型之路,正在这样的航道上徐徐展开。

相比于以“有大模型”作为全部目标,百度的大模型之路目光更远,看向AGI的星辰大海。

相比于堆积参数和技术务虚,百度的大模型之路更加脚踏实地,它是在一个个插件,一次次优化中走通的,每一个脚印清晰可见。

相比于短期利益与劣币竞争,百度的大模型之路坚持生态互利,它是行业的路,开发者的路,更多人的路。

中国AI的大模型之路,当如是也。

79720438c75e2741cf986ba6cb947472.gif

相关文章:

步步向前,曙光已现:百度的大模型之路

大模型,是今年全球科技界最火热,最耀眼的关键词。在几个月的狂飙突进中,全球主要科技公司纷纷加入了大模型领域。中国AI产业更是开启了被戏称为“百模大战”的盛况。 但喧嚣与热闹之后,新的问题也随之而来:大模型的力量…...

常见的 Python 错误及其解决方案

此文整理了一些常见的 Python 错误及其解决方案。 1、SyntaxError: invalid syntax 说明:无效的语法是最常见的错误之一,通常是由于编写代码时违反了 Python 的语法规则。可能的原因: 忘记在 if、while、for 等语句后写冒号,或者…...

文章评论以及回复评论邮件通知(Go 搭建 qiucode.cn 之八)

要说到评论。无疑是博客应用的灵魂所在了,它也正是站长与博友、博友与博友之间互相交流的桥梁,倘若少了它,博客应用将变得暗淡无关,索然无味,恍如一具躺在床榻上的植物人,终究是无法与周边人言语的。 也正是有了评论,站长在该博客应用所发表的博文,博友才得以通过评论,…...

java面试基础 -- ArrayList 和 LinkedList有什么区别, ArrayList和Vector呢?

目录 基本介绍 有什么不同?? ArrayList的扩容机制 ArrayLIst的基本使用 ArrayList和Vector 基本介绍 还记得我们的java集合框架吗, 我们来复习一下, 如图: 可以看出来 ArrayList和LinkedList 都是具体类, 他们都是接口List的实现类. 但是他们底层的逻辑是不同的, 相信…...

matlab 点云最小二乘拟合空间直线(方法一)

目录 一、算法原理1、空间直线2、最小二乘法拟合二、代码实现三、结果展示四、可视化参考本文由CSDN点云侠原创,原文链接。如果你不是在点云侠的博客中看到该文章,那么此处便是不要脸的爬虫。 一、算法原理 1、空间直线 x...

详解junit

目录 1.概述 2.断言 3.常用注解 3.1.Test 3.2.Before 3.3.After 3.4.BeforeClass 3.5.AfterClass 4.异常测试 5.超时测试 6.参数化测试 1.概述 什么是单元测试: 单元测试,是针对最小的功能单元编写测试代码,在JAVA中最小的功能单…...

Nginx的安装及负载均衡搭建

一.Nginx的安装 1)准备安装环境 yum install -y make gcc gcc-c pcre-devel pcre zlib zlib-devel openssl openssl-develPERE PCRE(Perl Compatible Regular Expressions)是一个Perl库,包括 perl 兼容的正则表达式库。 nginx的http模块使用pcre来解…...

JVM学习笔记(一)

1. JVM快速入门 从面试开始: 请谈谈你对JVM 的理解?java8 的虚拟机有什么更新? 什么是OOM ?什么是StackOverflowError?有哪些方法分析? JVM 的常用参数调优你知道哪些? 内存快照抓取和MAT分…...

fastjson 序列化问题:Comparison method violates its general contract

fastjson 序列化问题:Comparison method violates its general contract 问题重现 今天在测试接口的时候,调用了Mybatis Plus 分页查询的接口,然后将查询的结果转换成 Json字符串的形式,结果报了这个错误: java.lang.…...

Angular安全专辑之二——‘unsafe-eval’不是以下内容安全策略中允许的脚本源

一:错误出现 这个错误的意思是,拒绝将字符串评估为 JavaScript,因为‘unsafe-eval’不是以下内容安全策略中允许的脚本源。 二:错误场景 testEval() {const data eval("var sum2 new Function(a, b, return a b); sum2(em…...

十一、Linux用户及用户组的权限信息如何查看?如何修改?什么是权限的数字序号?

目录: 1、认知权限信息 2、rwx? (1)总括: (2)r权限: (3)w权限: (4)x权限: 3、修改权限 (1&a…...

ahooks.js:一款强大的React Hooks库及其API使用教程(二)

一、ahooks.js简介二、ahooks.js安装三、继续ahooks.js API的介绍与使用教程21. useLocalStorageState22. useSessionStorageState23. useClickAway24. usePersistFn25. useCreation26. useFullscreen27. useInViewport28. useInfiniteScroll29. usePagination30. useDynamicLi…...

ARM 配置晶振频率

文章目录 前言串口乱码问题定位内核修改晶振频率uboot 修改晶振频率番外篇 前言 上篇文章《ARM DIY 硬件调试》介绍了 DIY ARM 板的基础硬件焊接,包括电源、SOC、SD 卡座等,板子已经可以跑起来了。 但是发现串口乱码,今天就来解决串口乱码问…...

最强自动化测试框架Playwright(37)-网络

介绍 Playwright 提供 API 来监控和修改浏览器网络流量,包括 HTTP 和 HTTPS。页面执行的任何请求,包括 XHR 和获取请求,都可以被跟踪、修改和处理。 模拟接口 查看我们的 API 模拟指南,了解有关如何 模拟 API 请求&#xff0c…...

Ant Design Pro 前端脚手架 配置混合导航

Ant Design Pro脚手架 点击查看阅读 混合导航: 顶部导航和侧边栏导航实现联动效果,点击不同的顶部导航按钮会显示对应的子菜单项。 实现点: 1. 路由的配置 菜单展示 我们可以在 route 中进行 menu 相关配置,来决定当前路由是否…...

tcl学习之路(五)(Vivado时序约束)

1.主时钟约束 主时钟通常是FPGA器件外部的板机时钟或FPGA的高速收发器输出数据的同步恢复时钟信号等。下面这句语法大家一定不会陌生。该语句用于对主时钟的名称、周期、占空比以及对应物理引脚进行约束。 create_clock -name <clock_name> -periood <period> -wa…...

Hlang-中英双语言编程语言使用手册

文章目录 介绍Hlang基本使用下载配置环境变量特性中文关键字支持中文符号混合编程中文错误提示终端多行输入基本数据类型整数浮点数列表字符串基本操作变量定义逻辑判断基本运算条件判断循环函数介绍 Hlang是一款基于Python编写的支持中英文混合编程的动态语言。其简单易上手,…...

centos 7 安装docker

系统配置&#xff1a; CentOS关闭selinux sed -i s/SELINUXenforcing/SELINUXdisabled/g /etc/selinux/config关闭防火墙(可选)或者放行相应端口 systemctl stop firewalld.service && systemctl disable firewalld.service配置内核IP 转发 net.ipv4.ip_forward1 dock…...

Spring环境搭建、SpringIOC容器基础、SpringDI基础

文章目录 Spring环境搭建、SpringIOC容器基础、SpringDI基础一、SpringIOC核心思想二、搭建Spring环境步骤三、SpringIOC容器使用步骤四、SpringIOC 总结五、SpringDI&#xff08;依赖注入&#xff09;1、基本概念2、实现方式&#xff08;1&#xff09;set 注入&#xff08;2&a…...

CentOS7.9手工配置静态网络流程

进入网卡配置文件 vim /etc/sysconfig/network-scripts/ifcfg-ens33 配置 TYPE"Ethernet" PROXY_METHOD"none" BROWSER_ONLY"no" BOOTPROTO"static" //static 配置静态网络 DEFROUTE"yes" IPV4_FAILURE_FATAL"no…...

label-studio的使用教程(导入本地路径)

文章目录 1. 准备环境2. 脚本启动2.1 Windows2.2 Linux 3. 安装label-studio机器学习后端3.1 pip安装(推荐)3.2 GitHub仓库安装 4. 后端配置4.1 yolo环境4.2 引入后端模型4.3 修改脚本4.4 启动后端 5. 标注工程5.1 创建工程5.2 配置图片路径5.3 配置工程类型标签5.4 配置模型5.…...

[ICLR 2022]How Much Can CLIP Benefit Vision-and-Language Tasks?

论文网址&#xff1a;pdf 英文是纯手打的&#xff01;论文原文的summarizing and paraphrasing。可能会出现难以避免的拼写错误和语法错误&#xff0c;若有发现欢迎评论指正&#xff01;文章偏向于笔记&#xff0c;谨慎食用 目录 1. 心得 2. 论文逐段精读 2.1. Abstract 2…...

cf2117E

原题链接&#xff1a;https://codeforces.com/contest/2117/problem/E 题目背景&#xff1a; 给定两个数组a,b&#xff0c;可以执行多次以下操作&#xff1a;选择 i (1 < i < n - 1)&#xff0c;并设置 或&#xff0c;也可以在执行上述操作前执行一次删除任意 和 。求…...

自然语言处理——循环神经网络

自然语言处理——循环神经网络 循环神经网络应用到基于机器学习的自然语言处理任务序列到类别同步的序列到序列模式异步的序列到序列模式 参数学习和长程依赖问题基于门控的循环神经网络门控循环单元&#xff08;GRU&#xff09;长短期记忆神经网络&#xff08;LSTM&#xff09…...

SiFli 52把Imagie图片,Font字体资源放在指定位置,编译成指定img.bin和font.bin的问题

分区配置 (ptab.json) img 属性介绍&#xff1a; img 属性指定分区存放的 image 名称&#xff0c;指定的 image 名称必须是当前工程生成的 binary 。 如果 binary 有多个文件&#xff0c;则以 proj_name:binary_name 格式指定文件名&#xff0c; proj_name 为工程 名&…...

Java编程之桥接模式

定义 桥接模式&#xff08;Bridge Pattern&#xff09;属于结构型设计模式&#xff0c;它的核心意图是将抽象部分与实现部分分离&#xff0c;使它们可以独立地变化。这种模式通过组合关系来替代继承关系&#xff0c;从而降低了抽象和实现这两个可变维度之间的耦合度。 用例子…...

自然语言处理——文本分类

文本分类 传统机器学习方法文本表示向量空间模型 特征选择文档频率互信息信息增益&#xff08;IG&#xff09; 分类器设计贝叶斯理论&#xff1a;线性判别函数 文本分类性能评估P-R曲线ROC曲线 将文本文档或句子分类为预定义的类或类别&#xff0c; 有单标签多类别文本分类和多…...

32单片机——基本定时器

STM32F103有众多的定时器&#xff0c;其中包括2个基本定时器&#xff08;TIM6和TIM7&#xff09;、4个通用定时器&#xff08;TIM2~TIM5&#xff09;、2个高级控制定时器&#xff08;TIM1和TIM8&#xff09;&#xff0c;这些定时器彼此完全独立&#xff0c;不共享任何资源 1、定…...

从零开始了解数据采集(二十八)——制造业数字孪生

近年来&#xff0c;我国的工业领域正经历一场前所未有的数字化变革&#xff0c;从“双碳目标”到工业互联网平台的推广&#xff0c;国家政策和市场需求共同推动了制造业的升级。在这场变革中&#xff0c;数字孪生技术成为备受关注的关键工具&#xff0c;它不仅让企业“看见”设…...

自定义线程池1.2

自定义线程池 1.2 1. 简介 上次我们实现了 1.1 版本&#xff0c;将线程池中的线程数量交给使用者决定&#xff0c;并且将线程的创建延迟到任务提交的时候&#xff0c;在本文中我们将对这个版本进行如下的优化&#xff1a; 在新建线程时交给线程一个任务。让线程在某种情况下…...