Mistral 7B 比Llama 2更好的开源大模型 （一）

Mistral 7B 简介

Mistral 7B

Mistral 7B 是一个 7.3B 参数模型：

• 在所有基准测试中优于 Llama 2 13B
• 在许多基准测试中优于 Llama 1 34B
• 接近 CodeLlama 7B 的代码性能，同时保持擅长英语任务
• 使用分组查询注意力 （GQA） 加快推理速度
• 使用滑动窗口注意力 （SWA） 以更低的成本处理更长的序列

性能细节

将 Mistral 7B 与 Llama 2 系列进行比较，运行所有模型评估，以便进行公平比较。

Mistral 7B 和不同 Llama 模型在各种基准测试中的性能。Mistral 7B 在所有指标上都明显优于 Llama 2 13B，与 Llama 34B 相当，在代码和推理基准方面也非常出色。

基准测试按其主题分类：

• 常识推理: 0-shot average of Hellaswag, Winogrande, PIQA, SIQA, OpenbookQA, ARC-Easy, ARC-Challenge, and CommonsenseQA.
• 世界知识: 5-shot average of NaturalQuestions and TriviaQA.
• 阅读理解: 0-shot average of BoolQ and QuAC.
• 数学 : Average of 8-shot GSM8K with maj@8 and 4-shot MATH with maj@4