Meta AI移动设备上部署LLM的新框架MobileLLM

Meta AI 研究团队推出的 MobileLLM 标志着大语言模型（LLMs）朝着模拟人类理解和生成自然语言迈出了革命性的一步。LLMs 在处理和分析大量数据集方面的能力已经显著影响了自动化客户服务、语言翻译和内容创作等多个领域。然而，由于传统 LLMs 在计算和存储资源方面的需求庞大，将其部署在移动和边缘设备上遇到了挑战。

为解决传统 LLMs 庞大参数对资源受限环境的挑战，研究人员从 Meta Reality Labs、PyTorch 和 AI@Meta（FAIR）联合提出了 MobileLLM 架构，这一创新设计专门针对不足十亿参数的模型。MobileLLM 的设计理念是通过深而窄的架构配置，使模型能够更好地理解和表达自然语言中的复杂模式，从而在各种语言任务上提高性能。

MobileLLM 的核心设计哲学包括深度和窄度结构配置的承诺。这种方法使模型能够把握和表达自然语言中的复杂模式，提高其在各种语言任务上的性能。与此架构立场相辅相成的是嵌入共享和分组查询注意机制的战略实现，这有助于更高效地利用模型参数。

MobileLLM 相对于同样参数约束下的现有模型的卓越性能。在各种基准测试中表现出显著的准确性提高，MobileLLM 为移动设备上 LLM 部署设定了新的标准。MobileLLM 的发展代表了在移动设备应用中利用 LLMs 能力的重大进步，通过重新构思这些模型的架构和整合创新技术，研究团队取得了显著的性能提升，为 LLMs 的部署拓宽了视野。

论文地址：https://arxiv.org/abs/2402.14905