当前位置： 首页 > news >正文

Hugging Face 的文本生成和大语言模型的开源生态

news 2025/6/27 8:58:42

[更新于 2023 年 7 月 23 日: 添加 Llama 2。]

文本生成和对话技术已经出现多年了。早期的挑战在于通过设置参数和分辨偏差，同时控制好文本忠实性和多样性。更忠实的输出一般更缺少创造性，并且和原始训练数据更加接近，也更不像人话。最近的研究克服了这些困难，并且友好的交互页面能让每个人尝试这些模型。如 ChatGPT 的服务，已经把亮点放在强大的模型如 GPT-4，并且引发了爆发式的开源替代品变成主流如 Llama。我们认为这些技术将持续很长一段时间，并且会越来越集成到日常产品中。

这篇博客分成一下几个部分:

  1. 文本生成的简明背景

  2. 许可证

  3. Hugging Face 的生态中面向大语言模型的服务

  4. 参数高效的微调

文本生成的简明背景

文本生成模型本质上是以补全文本或者根据提示词生成文本为目的训练的。补全文本的模型被称之为条件语言模型 (Causal Language Models)，有著名的例子比如 OpenAI 的 GPT-3 和 Meta AI 的 Llama。

d0ddc86d82d58fc453ba0e08c505abe8.png
Causal LM Output

下面你最好要了解型微调，这是把一个大语言模型中的知识迁移到另外的应用场景的过程，我们称之为一个 下游任务 。这些任务的形式可以是根据提示的。模型越大，就越能泛化到预训练数据中不存在，但是可以在微调中学习到的提示词上。

条件语言模型有采用基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback, RLHF)。这个优化过程主要基于答复文本的自然性和忠实性，而不是答复的检验值。解释 RLHF 的工作原理超出了本博客的范围，但是你可以在 这里 了解。

举例而言，GPT-3 是一个条件 基本 语言模型，作为 ChatGPT 的后端，通过 RLHF 在对话和提示文本上做微调。最好对这些模型做区分。

在 Hugging Face Hub 上，你可以同时找到条件语言模型和在提示文本上微调过的条件语言模型 (这篇博客后面会给出链接)。Llama 是最早开源，并且能超过闭源模型的大语言模型之一。一个由 Together 领导的研究团队已经复线了 Llama 的数据集，称之为 Red Pajama，并且已经在上面训练和微调了大语言模型。你可以在 这里 了解。以及在 Hugging Face Hub 上找到 模型。截止本博客写好的时候，三个最大的开源语言模型和其许可证分别为 MosaicML 的 MPT-30B，Salesforce 的 XGen 和 TII UAE 的 Falcon，全都已经在 Hugging Face Hub 上开源了。

最近，Meta 开放了 Llama 2，其许可证允许商业用途。截止目前 Llama 2 能在各种指标上超过任何其他开源模型。Llama 2 在 Hugging Face Hub 上的 checkpoint 在 transformers 上兼容，并且最大的 checkpoint 人们都可以在 HuggingChat 上尝试。你可以通过 这篇博客 学习到如何在 Llama 2 上微调，部署和做提示词。

第二种文本生成模型通常称之为文本到文本的生成模型。这些模型在文本对的数据集上训练，这些数据集或者是问答形式，或者是提示和反馈的形式。最受欢迎的是 T5 和 BART (目前为止以及不是最新的技术了)。Google 最近发布了 FLAN-T5 系列的模型。FLAN 是最近为提示任务设计的技术，而 FLAN-T5 便是完全由 T5 用 FLAN 微调得到的模型。目前为止，FLAN-T5 系列的模型是最新的技术，并且开源，可以在 Hugging Face Hub 上看到。注意这和用条件语言模型在提示任务的微调下是不一样的，尽管其输入和输出形式类似。下面你能看到这些模型的原理。

c76565ac74676ebde66f7bf346cf9090.png
FLAN-T5 Illustration

拥有更多开源的文本生成模型能让公司保证其数据隐私，部署下游更快，并且减少购买闭源 API 的支出。Hugging Face Hub 上所有开源的条件语言模型都能在 这里 找到，并且文本到文本的生成模型都能在 这里 找到。

Hugging Face 用爱和 BigScience 与 BigCode 创造的模型 💗

Hugging Face 引领了两家科研初创 BigScience 和 BigCode。它们分别创造了两个大语言模型 BLOOM 🌸 和 StarCoder 🌟。

BLOOM 是一个以 46 种自然语言和 13 种编程语言训练的条件语言模型，是第一个比 GPT-3 有更多参数量的开源模型。你能在 BLOOM 的文档 上下载所需的所有 checkpoint。

StarCoder 是一个以 GitHub 上可访问的代码作为数据集，以 Fill-in-the-Middle 形式训练的语言模型。它不是以提示文本来微调的，所以它更适合对给定代码做补全任务，比如把 Python 翻译到 C++，解释概念 (什么是递归)，或者假扮终端。你可以在 这里 找到 StarCoder 所有的 checkpoints。它也有对应的 VSCode 扩展。

本博客中提及的模型，使用代码段都或者在模型主页，或者在该类模型的文档中。

许可证

许多文本生成模型，要么是闭源的，要么是许可证限制商业使用。幸运的是，开源模型开始出现，并且受社区青睐，用于进一步开发、微调、部署到项目中。下面你能找到一些完全开源的大型条件语言模型。

  • Falcon 40B

  • XGen

  • MPT-30B

  • Pythia-12B

  • RedPajama-INCITE-7B

  • OpenAssistant (Falcon variant)

有两个代码生成模型，BigCode 的 StarCoder 和 Salesforce 的 Codegen。它们提供了不同大小的模型 checkpoint。除了 在提示文本上微调的 Codegen 之外，使用了开源或者 open RAIL 许可证。

Hugging Face Hub 也有许多为提示文本或聊天微调的模型，根据你的需求不同，可以选择不同风格和大小。

  • MPT-30B-Chat，Mosaic ML，使用 CC-BY-NC-SA 许可证，不允许商业用途。但是，MPT-30B-Instruct 使用 CC-BY-SA 3.0 许可证，允许商业使用。

  • Falcon-40B-Instruct 和 Falcon-7B-Instruct 都使用 Apache 2.0 许可证，所以允许商业使用。

  • 另外一系列受欢迎的模型是 OpenAssistant，部分是在 Meta 的 Llama 使用个性化的提示文本微调得到的。因为原本的 Llama 只允许研究用途，OpenAssistant 中使用 Llama 的部分不能完全开源。但是，也有 OpenAssistant 模型建立在完全开源的模型之上，比如 Falcon 或者 pythia。

  • StarChat Beta 是 StarCoder 通过提示文本微调的版本，使用 BigCode Open RAIL-M v1 许可证，允许商用。Salesforce 的用提示文本微调的模型， XGen model，只允许研究用途。

如果你想要用一个现成的提示文本数据集微调模型，你需要知道它是怎么来的。一些现成的提示文本数据集要么是由大量人工编写，要么是现有的模型的输出 (比如 ChatGPT 背后的模型)。Stanford 的 ALPACA 数据集由 ChatGPT 背后的数据集的输出组成。另外，不少人工编写的数据集是开源的，比如 oasst1 (由数千名志愿者输出！) 或者 databricks/databricks-dolly-15k。如果你想自己创建数据集，那你可以看 the dataset card of Dolly 来学习创建提示文本数据集。模型在数据集上微调的过程可以分布式进行。

你可以通过如下表格了解一些开源或者开放的模型。

ModelDatasetLicenseUse
Falcon 40BFalcon RefinedWebApache-2.0文本生成
SalesForce XGen 7B由 C4, RedPajama 和其他数据集混合Apache-2.0文本生成
MPT-30B由 C4, RedPajama 和其他数据集混合Apache-2.0文本生成
Pythia-12BPileApache-2.0文本生成
RedPajama INCITE 7BRedPajamaApache-2.0文本生成
OpenAssistant Falcon 40Boasst1 和 DollyApache-2.0文本生成
StarCoderThe StackBigCode OpenRAIL-M代码生成
Salesforce CodeGenStarcoder DataApache-2.0代码生成
FLAN-T5-XXLgsm8k, lambada, 和 esnliApache-2.0文本到文本生成
MPT-30B ChatShareGPT-Vicuna, OpenAssistant Guanaco 和更多CC-By-NC-SA-4.0聊天
MPT-30B Instructduorc, competition_math, dolly_hhrlhfCC-By-SA-3.0提示任务
Falcon 40B InstructbaizeApache-2.0提示任务
Dolly v2DollyMIT文本生成
StarChat-βOpenAssistant GuanacoBigCode OpenRAIL-M代码提示任务
Llama 2非公开的数据集Custom Meta License (允许商用)文本生成

Hugging Face 的生态中面向大语言模型的服务

文本生成推理

使用这些大模型为多用户提供并发服务时，想要降低响应时间和延迟是一个巨大的挑战。为了解决这个问题，Hugging Face 发布了 text-generation-inference (TGI)，这是一个开源的大语言模型部署解决方案，它使用了 Rust、Python 和 gRPC。TGI 被整合到了 Hugging Face 的推理解决方案中，包括 Inference Endpoints 和 Inference API，所以你能通过简单几次点击创建优化过的服务接入点，或是向 Hugging Face 的推理 API 发送请求，而不是直接将 TGI 整合到你的平台里。

7029e9fb1e0d98677413bbb9366d5e56.png
Screenshot from HuggingChat

当前 TGI 助力实现了 HuggingChat，这是 Hugging Face 的开源 LLM 聊天界面。目前这项服务背后是来自 OpenAssistant 的模型。你可以随意和 HuggingChat 聊天，并且使用网页搜索功能来检索当前网页的内容。你还可以为每次响应提供反馈，供模型的作者进行优化训练。HuggingChat 的界面同样也是 开源 的，我们正持续不断完善它，争取加入更多功能，比如在聊天过程中生成图片。

46e42eb3c49a1a54425fe37524bbf1f6.png
HuggingChat Search

最近，Hugging Face Spaces 上发布了用于 HuggingChat 的 Docker 模板。这样一来每个人都可以轻松部署和自定义自己的 HuggingChat 实例了。你可以在 这里 基于众多大语言模型 (包括 Llama 2) 创建自己的实例。

671582bdd37c35de1976e82640300b79.png
HuggingChat Space

如何寻找最佳模型？

Hugging Face 设立了一个 大语言模型排名。该排名是通过社区提交的模型在不同指标上的测试结果在 Hugging Face 的集群上的表现评估的。如果你无法找到你想要的模型或者方向，你可以在 这里 设置过滤条件。

20fb1d01ad679085dc31a02f89169bfd.png
Open LLM Leaderboard

你也能找到 大语言模型的表现排名，它评估了 Hugging Face Hub 上大语言模型输出的中间值。

参数高效的微调 (PEFT)

如果你想用你自己的数据集来微调一个模型，在客户端硬件上微调并部署基本是不可能的 (因为提示模型和原本模型的大小一样)。PEFT 是一个实现参数高效的微调技术的库。这意味着，不需要训练整个模型，你只需要训练少量参数，允许更快速的训练而只有非常小的性能损失。通过 PEFT，你可以使用 LoRA，prefix tuning, prompt tuning 和 p-tuning。

以下更多资源可以帮助你了解和文本生成有关的更多信息。

更多资源

  • 我们和 AWS 一起发布了基于 TGI 的 LLM 开发的深度学习容器，称之为 LLM Inference Containers。戳 这里 了解。

  • 文本生成任务页面。

  • PEFT 发布的 博客。

  • 阅读了解 Inference Endpoints 如何使用 TGI。

  • 阅读 如何用 Transformers，PEFT 和提示词微调 Llama 2。

🤗 宝子们可以戳 阅读原文 查看文中所有的外部链接哟！

英文原文: https://hf.co/blog/os-llms

原文作者: Merve Noyan

译者: Vermillion-de

审校/排版: zhongdongy (阿东)

相关文章：

Hugging Face 的文本生成和大语言模型的开源生态

[更新于 2023 年 7 月 23 日: 添加 Llama 2。] 文本生成和对话技术已经出现多年了。早期的挑战在于通过设置参数和分辨偏差，同时控制好文本忠实性和多样性。更忠实的输出一般更缺少创造性，并且和原始训练数据更加接近，也更不像人话。最近的研…...

编程日记 2023/8/11 5:22:59

Docker Compose用法详解

文章目录 Docker Compose是什么安装Docker ComposeCompose文件编写使用Docker Compose部署-管理应用 Docker Compose是什么 Docker Compose是一个用于定义和运行多容器Docker应用程序的python工具。它允许您使用一个单独的配置文件来定义和配置多个相关容器的服务，…...

编程日记 2023/8/11 5:21:58

分布式链路追踪概述

分布式链路追踪概述 文章目录 分布式链路追踪概述1.分布式链路追踪概述1.1.什么是 Tracing1.2.为什么需要Distributed Tracing 2.Google Dapper2.1.Dapper的分布式跟踪2.1.1.跟踪树和span2.1.2.Annotation2.1.3.采样率 3.OpenTracing3.1.发展历史3.2.数据模型 4.java探针技术-j…...

编程日记 2023/8/11 5:20:56

css中的var函数

css中的var函数 假设我们在css文件存在多个相同颜色值，当css文件越来越大的时候，想要改颜色就要手动在每个旧颜色上修改，这样维护工作非常难进行。 但是我们可以使用变量来存储值，这样可以在整个css样式表中重复使用&#xff0c…...

编程日记 2023/8/11 5:19:55

第五次作业 运维高级 构建 LVS-DR 集群和配置nginx负载均衡

1、基于 CentOS 7 构建 LVS-DR 群集。 LVS-DR模式工作原理 首先，来自客户端计算机CIP的请求被发送到Director的VIP。然后Director使用相同的VIP目的IP地址将请求发送到集群节点或真实服务器。然后，集群某个节点将回复该数据包，并将该数据包…...

编程日记 2023/8/11 5:18:54

neo4j电影库-关系查询

关系类型数量源数据目标数据属性ACTED_IN172演员电影roles（角色扮演）属性，属性值为数组DIRECTED44导演电影无PRODUCED15制片商电影无WROTE10作家电影无FOLLOWS3影评人影评人无REVIEWED9影评人电影summary（影评摘要）和 …...

编程日记 2023/8/11 5:17:52

2020/10-2023/7 Notes

2020/10-2023/7 Notes 1.Unity WebGL 字体 动态字体 2.Path.Combine 3.播放Unity WebGL构建包 Vistual Studio Code->Extensions->Live Server 4.Cloud Compare laszip.net RenderDoc Mike Zero Ras Mapper HDF Viewer 5.使Unity支持GLSL Project->添加命令行参数-&g…...

编程日记 2023/8/11 5:16:51

在UOS系统中管理ORACLE数据库

在明确了“数字中国”建设战略后。自主创新与国产化已成为我国实现科技强国、经济强国的发展趋势与行业共识。 即信息技术应用创新产业，简称“信创”。 而现有的国产操作系统，虽然已日趋成熟，但因为很多应用软件由国外垄断，因此…...

编程日记 2023/8/11 5:15:50

以http_proxy和ajp_proxy方式整合apache和tomcat（动静分离）

注意：http_proxy和ajp_proxy的稳定性不如mod_jk 一.http_proxy方式 1.下载mod_proxy_html.x86_64 2.在apache下创建http_proxy.conf文件（或者直接写到conf/httpd.conf文件最后） 3.查看server.xml文件 到tomcat的安装目录下的conf/serve…...

编程日记 2023/8/11 5:14:49

【pinia】Pinia入门和基本使用：

文章目录 一、 什么是pinia二、 创建空Vue项目并安装Pinia1. 创建空Vue项目2. 安装Pinia并注册 三、 实现counter四、 实现getters五、 异步action六、 storeToRefs保持响应式解构七、基本使用：【1】main.js【2】store》index.js【3】member.ts 一、 什么是pinia P…...

编程日记 2023/8/11 5:13:48

Linux 文件系统（一）系统目录

系统目录 基本概念分区划分目录划分 基本概念 虽然Linux有很多不同的发行版，但是其基本目录结构都是类似的，因此只要了解一个发行版基本足矣。 分区划分 系统默认 大致有以下几种分区 /（根目录）：该分区包含了操作系…...

编程日记 2023/8/11 5:12:47

『CV学习笔记』Opencv和PIL Image以及base64编码互相转化

Opencv和PIL Image以及base64编码互相转化 文章目录 一. opencv&PIL.Image&Skimage1.1. opencv-python读取透明图片(带alpha通道)1.2. opencv、PIL.Image、Skimage读取的彩色图片维度区别1.3. opencv、PIL.Image转换二. base64和cv2 imge互相转换三. base64和PIL imge互…...

编程日记 2023/8/11 5:11:45

行业追踪，2023-08-07

自动复盘 2023-08-07 凡所有相，皆是虚妄。若见诸相非相，即见如来。 k 线图是最好的老师，每天持续发布板块的rps排名，追踪板块，板块来开仓，板块去清仓，丢弃自以为是的想法，板块去留让…...

编程日记 2023/8/11 5:10:43

CSRF 攻击和 XSS 攻击分别代表什么？如何防范？

一：PHP 1. CSRF 攻击和 XSS 攻击分别代表什么？ 1.CSRF攻击 1.概念： CSRF（Cross-site request forgery）跨站请求伪造，用户通过跨站请求，以合法身份做非法的事情 2.原理： 1.登录受信任…...

编程日记 2023/8/11 5:09:41

RabbitMQ: 详解、使用教程和示例

RabbitMQ: 详解、使用教程和示例 什么是 RabbitMQ？ RabbitMQ 是一个开源的消息代理（Message Broker）软件，它实现了高级消息队列协议（AMQP），用于在应用程序之间进行异步消息传递。它允许应用程…...

编程日记 2023/8/11 5:08:39

redis NOAUTH Authentication required 可能不是密码问题

开发环境 springboot 2.4.3 spring-boot-starter-data-redis 2.4.3 redis 4.0 lettuce 6.0.2 背景 多环境（test，pre，prd）部署，在测试环境测试通过之后部署预发环境的时候，服务一直报错，提示【i…...

编程日记 2023/8/11 5:07:38

动态规划解0-1背包问题（超详细理解）

前言： 好久没写0-1背包问题了，都有些不记得了，写这篇文章给自己以后做简单参考，如果能同时帮到读者，不胜荣幸。 正文 0-1背包问题是这样的一个问题，假设有一个背包，其容量为 capacity 。在地…...

编程日记 2023/8/11 5:06:38

有哪些可能引起前端安全的问题?

跨站脚本 (Cross-Site Scripting, XSS) ⼀种代码注⼊⽅式,为了与 CSS 区分所以被称作 XSS。早期常⻅于⽹络论坛, 起因是⽹站没有对⽤户的输⼊进⾏严格的限制, 使得攻击者可以将脚本上传到帖⼦让其他⼈浏览到有恶意脚本的⻚⾯, 其注⼊⽅式很简单包括但不限于 JavaScript / CSS …...

编程日记 2023/8/11 5:05:36

【Unity实战100例】用户头像圆形遮罩使用Shader不用Mask组件

目录 一.创建材质 二.创建Shader文件编写Shader代码 三.Image材质设置 源码：https://download.csdn.net/download/qq_37310110/88196529 前言：我们在使用Unity的自带组件Mask的时候会出现毛边现象很难处理掉，这里我们使用着色器shader来进行处理就不会出现毛边现象。...

编程日记 2023/8/11 5:04:35

arm-linux-gnueabihf-g++ gcc编译、优化命令 汇总

gcc优化选项，可在编译时间，目标文件长度，执行效率三个维度，进行不同的取舍和平衡。 gcc 常用编译选项 arm-linux-gnueabihf-g -O3 -marcharmv7-a -mcpucortex-a9 -ftree-vectorize -mfpuneon -mfpuvfpv3-fp16 -mfloat-abihard -…...

编程日记 2023/8/11 5:03:34

ES6从入门到精通：前言

ES6简介 ES6（ECMAScript 2015）是JavaScript语言的重大更新，引入了许多新特性，包括语法糖、新数据类型、模块化支持等，显著提升了开发效率和代码可维护性。 核心知识点概览 变量声明 let 和 const 取代 var&#xf…...

编程新知 2025/6/15 16:19:15

VTK如何让部分单位不可见

最近遇到一个需求&#xff0c;需要让一个vtkDataSet中的部分单元不可见&#xff0c;查阅了一些资料大概有以下几种方式 1.通过颜色映射表来进行&#xff0c;是最正规的做法 vtkNew<vtkLookupTable> lut; //值为0不显示&#xff0c;主要是最后一个参数&#xff0c;透明度…...

编程新知 2025/6/18 3:43:34

3-11单元格区域边界定位(End属性)学习笔记

返回一个Range 对象&#xff0c;只读。该对象代表包含源区域的区域上端下端左端右端的最后一个单元格。等同于按键 End 向上键(End(xlUp))、End向下键(End(xlDown))、End向左键(End(xlToLeft)End向右键(End(xlToRight)) 注意&#xff1a;它移动的位置必须是相连的有内容的单元格…...

编程新知 2025/6/26 10:08:46

Springboot社区养老保险系统小程序

一、前言 随着我国经济迅速发展&#xff0c;人们对手机的需求越来越大&#xff0c;各种手机软件也都在被广泛应用&#xff0c;但是对于手机进行数据信息管理&#xff0c;对于手机的各种软件也是备受用户的喜爱&#xff0c;社区养老保险系统小程序被用户普遍使用&#xff0c;为方…...

编程新知 2025/6/21 7:39:22

NPOI Excel用OLE对象的形式插入文件附件以及插入图片

static void Main(string[] args) {XlsWithObjData();Console.WriteLine("输出完成"); }static void XlsWithObjData() {// 创建工作簿和单元格,只有HSSFWorkbook,XSSFWorkbook不可以HSSFWorkbook workbook new HSSFWorkbook();HSSFSheet sheet (HSSFSheet)workboo…...

编程新知 2025/6/21 14:09:32

比较数据迁移后MySQL数据库和OceanBase数据仓库中的表

设计一个MySQL数据库和OceanBase数据仓库的表数据比较的详细程序流程，两张表是相同的结构，都有整型主键id字段，需要每次从数据库分批取得2000条数据，用于比较，比较操作的同时可以再取2000条数据，等上一次比较完成之后，开始比较，直到比较完所有的数据。比较操作需要比较…...

编程新知 2025/6/25 4:33:04

第22节 Node.js JXcore 打包

Node.js是一个开放源代码、跨平台的、用于服务器端和网络应用的运行环境。 JXcore是一个支持多线程的 Node.js 发行版本&#xff0c;基本不需要对你现有的代码做任何改动就可以直接线程安全地以多线程运行。 本文主要介绍JXcore的打包功能。 JXcore 安装 下载JXcore安装包&a…...

编程新知 2025/6/22 17:34:35

Centos 7 服务器部署多网站

一、准备工作 安装 Apache bash sudo yum install httpd -y sudo systemctl start httpd sudo systemctl enable httpd创建网站目录 假设部署 2 个网站&#xff0c;目录结构如下&#xff1a; bash sudo mkdir -p /var/www/site1/html sudo mkdir -p /var/www/site2/html添加测试…...

编程新知 2025/6/22 9:27:32

Linux 中替换文件中的某个字符串

如果你想在 Linux 中替换文件中的某个字符串&#xff0c;可以使用以下命令&#xff1a; 1. 基本替换&#xff08;sed 命令&#xff09; sed -i s/原字符串/新字符串/g 文件名示例&#xff1a;将 file.txt 中所有的 old_text 替换成 new_text sed -i s/old_text/new_text/g fi…...

编程新知 2025/6/15 12:57:24

.Net Framework 4/C# 面向对象编程进阶

一、继承 （一）使用继承 子类可以继承父类原有的属性和方法，也可以增加原来父类不具备的属性和方法，或者直接重写父类中的某些方法。 C# 中使用“：”来表示两个类的继承。子类不能访问父类的私有成员，但是可以访问其公有成员，即只要使用 public 声明类成员，就既可以让一…...

编程新知 2025/6/24 2:30:33