Llama 3下月正式发布，继续开源！

4月10日，Techcrunch消息，Meta在本周伦敦举办的一场活动中确定，下个月将正式发布Llama 3并且继续开源。

Meta全球事务总裁Nick Clegg表示，我们希望在下个月，甚至更短的时间内，正式推出新一代基础模型Llama 3。它将有很多个版本，而且功能也各不相同。

根据Meta的AI副总裁Joelle Pineau透露，Llama 3的参数大约只有1400亿左右，将继续保持高性能，低参数的风格。这对于中小企业和个人开发者来说帮助巨大，可以节省很多成本。

Llama系列模型时类ChatGPT开源模型的鼻祖，早在去年2月，ChatGPT火爆出圈时，全球多个国家、地区皆在尝试开发类似的产品。虽然已经有一些开源产品，但在功能、能耗等方面与其相差甚远。

同月，Meta重磅开源了类ChatGPT开源模型LLaMA。随后，国内外不少科研机构、个人开发者在LLaMA基础之上，开发了众多知名开源项目。但LLaMA有一个致命缺点，无法商业化只能用于研究。

LLaMA与ChatGPT同样是基于Transformers架构演变而来，共有70亿、130亿、330亿和650亿参数四种类型，接受了20种不同语言文本的训练。

数据训练方面，LLaMA使用公开可用的数据集进行训练，其中包括开放数据平台Common Crawl、英文文档数据集C4、代码平台GitHub、维基百科、论文平台ArXiv等，总体标记数据总量大约在1.4万亿个Tokens左右。

2023年7月，Meta在LLaMA基础之上训练、开源了LLaMA 2，拥有70亿、130亿、340亿和700亿四种参数。并且这一代终于允许商业化。

Llama 2 预训练模型接受了2万亿个标记的训练，上下文长度是Llama 1的两倍。其微调模型已经接受了超过100 万个人类注释的训练，整体性能非常强悍。

目前，Llama 2也是整个生成式AI开源界应用最多的大模型之一。

本文素材来源Techcrunch，如有侵权请联系删除

END