2023年发布的25个开源大型语言模型总结

大型语言模型(llm)是一种人工智能(AI)，在大量文本和代码数据集上进行训练。它们可以用于各种任务，包括生成文本、翻译语言和编写不同类型的创意内容。

今年开始，人们对开源LLM越来越感兴趣。这些模型是在开源许可下发布的，这意味着任何人都可以使用、修改和分发它们。这使得研究人员、开发人员和企业都可以尝试LLM，并为它们开发新的应用程序。

使用开源llm有很多好处。首先它们通常比专业的LLM更价便宜。并且它们更加透明，这意味着研究人员可以研究它们是如何工作的以及它们是如何做出决定的。最主要的是它们更加灵活，可以针对不同的任务进行定制。

本文总结了当前可用的开源llm的全部（几乎全部）列表，以及有关其许可选项和源代码存储库的信息，希望对你有所帮助

SAIL 7B

基于LLaMa的搜索增强

参数: 7B

许可类型: GPL-3.0

发布日期: 2023年5月

论文: SAIL — Search Augmented Instruction Learning

Guanaco

采用高效微调方法QLoRA发布的LLM模型

参数: 65B

许可类型: MIT

发布日期: 2023年5月

论文: QLoRA — Efficient Finetuning of Quantized LLMs

RMKV

与transformer的LLM性能相当的RNN模型

参数: 100M–14B

许可类型:Apache 2.0

发布日期: 2023年5月

论文: Scaling RNN to 1.5B and Reach Transformer LM Performance

MPT-7B

MosaicML的基础系列模型

参数: 7B

许可类型:Apache 2.0

发布日期: 2023年5月

论文: MPT-7B — A New Standard for Open-Source, Commercially Usable LLMs

OpenLLaMa

在RedPajama数据集上训练的Meta AI的LLaMA 7B的另一个开源复制。

参数:3,7B

许可类型:Apache 2.0

发布日期: 2023年5月

论文: Meet OpenLLaMA — An Open-Source Reproduction of Meta AI’s LLaMA Large Language Model

RedPajama-INCITE

基于RedPajama数据集上训练的指令调整和聊天Pythia模型。

参数:3B, 7B

许可类型:Apache 2.0

发布日期: 2023年5月

论文: RedPajama-INCITE family of models including base, instruction-tuned & chat models

h2oGPT

H2O的微调框架和文档问答功能的聊天机器人UI

参数:12B,30B

许可类型:Apache 2.0

发布日期: 2023年5月

论文: Building the World’s Best Open-Source Large Language Model: H2O.ai’s Journey

FastChat-T5

通过微调Flan-t5-xl对从ShareGPT收集的用户共享对话进行训练的聊天机器人

参数:3B

许可类型:Apache 2.0

发布日期: 2023年4月

论文: FastChat-T5 — our compact and commercial-friendly chatbot!

GPT4All

用于训练和部署强大的定制llm的完整工具系统

参数:7–13B

许可类型:MIT

发布日期: 2023年4月

论文: GPT4All: An ecosystem of open-source on-edge large language models.

MiniGPT-4

基于BLIP-2和Vicuna LLM的Visual LLM模型

参数:13B

许可类型:BSD-3-Clause

发布日期: 2023年4月

论文: MiniGPT-4 — Enhancing Vision-Language Understanding withAdvanced Large Language Models

StableLM

StableLM的LLM模型系列

参数:7B

许可类型:CC BY-NC-SA-4.0

发布日期: 2023年4月

论文: Stability AI Launches the First of its StableLM Suite of Language Models

BloomZ

通过多任务微调实现跨语言泛化

参数:176B

许可类型:Apache 2.0

发布日期: 2023年4月

论文: Cross-lingual Generalization through Multitask Finetuning

Dolly

Pythia 12B LLM在Databricks ML平台上训练的模型

参数:12B

许可类型:Apache 2.0

发布日期: 2023年4月

论文: Free Dolly — Introducing the World’s First Truly Open Instruction-Tuned LLM

Baize Chatbot

基于LLaMa的开源聊天模型

参数:30B

许可类型:GPL-3.0 license

发布日期: 2023年4月

论文: Baize — An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data

ColossalChat

由ColossalAI开源发布的一个完整的RLHF流程训练的模型

参数:N/A

许可类型:Apache 2.0

发布日期: 2023年4月

论文: ColossalChat — An Open-Source Solution for Cloning ChatGPT With a Complete RLHF Pipeline

Lit LLaMa

来自Lightning AI的LLaMA的开源实现

参数:13B

许可类型:Apache 2.0

发布日期: 2023年4月

论文: Why We’re Building Lit-LLaMA

Cerebras-GPT

开放的，计算效率高的，大型语言模型

参数:111M-13B

许可类型:Apache 2.0

发布日期:2023年3月

论文: Cerebras-GPT — Open Compute-Optimal Language ModelsTrained on the Cerebras Wafer-Scale Cluster

Open Flamingo

Deepmind的Flamingo模型的开源实现

参数:9B

许可类型:MIT License

发布日期: 2023年3月

论文: Openflamingo — An Open-source Framework For Training Vision-language Models With In-context Learning

Chat GLM

使用开放式双语(中英文)双向密集预训练模型

参数:6B-130B

许可类型:Apache 2.0

发布日期: 2023年3月

论文: GLM-130B: An Open Bilingual Pre-trained Model

DLite

通过微调Alpaca数据集上最小的GPT-2模型

参数:124M

许可类型:Apache 2.0

发布日期: 2023年3月

论文: Introducing DLite, a Lightweight ChatGPT-Like Model Based on Dolly

Alpaca 7B

描述:斯坦福大学发布的指令遵循LLaMA模型

参数:7B

许可类型:Apache 2.0

发布日期: 2023年3月

论文: Alpaca — A Strong, Replicable Instruction-Following Model

Flan UL2

在预训练的UL2检查点上训练Flan 20B模型。

参数:20B

许可类型:MIT License

发布日期: 2023年3月

论文: A New Open Source Flan 20B with UL2

Flan-T5

T5在各种数据集上的指令微调，提高预训练语言模型的可用性

参数:60M–11B

许可类型:Apache 2.0

发布日期: 2023年2月

论文: Scaling Instruction-Finetuned Language Models

总结

最后再补充2个刚刚发布的模型，一个是llama-2，这个我们文章也在前几天介绍了微调和使用的方法。另外一个就是昨天刚看到的新闻，stabilityai发布的 FreeWilly2，它是在 Llama2 70B 上微调的结果，目前在open_llm_leaderboard上排第一。

开源大型语言模型正在迅速发展，开源社区发布了许多模型。这些模型为开发人员、研究人员和爱好者提供了一个非常大机会，可以在没有专有系统的情况下试验尖端的语言技术。随着越来越多的组织和个人为这些模型的发展做出贡献，我们可以期待看到更强大、更容易使用和更创新的语言模型，它们将塑造自然语言处理的未来。

https://avoid.overfit.cn/post/5c7d723571254111815fc08eb05f79c1

作者：Manikanth