加州大学伯克利分校研究人员推出Starling-7B：一款通过人工智能反馈强化学习（RLAIF）训练的开源大型语言模型（LLM）

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

人工智能大型语言模型（LLM）在自然语言处理任务中扮演着重要角色。这些模型通过大量数据集进行训练，能够理解和生成类似人类的文本。它们已经彻底改变了自然语言处理的领域，因为它们能够理解和发展出类人的文本。这些模型在生活的各个领域都有着广泛的应用。

加州大学伯克利分校的研究人员最近推出了一款开源大型语言模型Starling-7B。该模型通过从人工智能反馈中学习强化（RLAIF）进行训练。它不仅利用了我们最新开发的奖励训练和策略调整管道，还结合了新的GPT-4标记排名数据集Nectar以及先进的奖励训练和策略调整管道。

Starling-7B: Increasing LLM Helpfulness & Harmlessness with RLAIF Starling-7B的基础是GPT-4标记排名数据集Nectar。该数据集包含183,000个聊天提示，每个提示提供来自不同模型（如GPT-4、GPT-3.5-instruct、GPT-3.5-turbo、Mistral-7B-Instruct和Llama2-7B）的七种响应，共计380万对比较。为了确保公平性，研究人员在使用GPT-4进行排名时，投入了大量精力来减少位置偏见，这一过程在数据集部分有详细说明。

https://huggingface.co/berkeley-nest/Starling-LM-7B-alpha 他们使用学习奖励模型对Openchat 3.5语言模型进行了改进，并取得了令人印象深刻的成果。AlpacaEval评分从88.51%提高到91.99%，而MT-Bench评分从7.81提高到8.09。这些指标作为标准，评估了聊天机器人的实用性。

研究人员还用直接偏好优化（DPO）方法，将该模型与早期的开源模型（如Zephyra-7B、Neural-Chat-7B和Tulu-2-DPO-70B）进行了测试。尽管这些模型在Chatbot Arena中表现良好，但与顶级的SFT模型（如OpenHermes 2.5和Openchat 3.5）相比，它们还未能完全发挥RLHF的全部潜力。

研究人员强调，该模型还面临一些挑战。它容易受到欺骗或操纵方法的影响。此外，该模型在数学或推理任务上表现不佳，其输出的事实准确性有时也无法保证。他们还指出，该模型偶尔会出现冗长和易受越狱提示的问题。尽管如此，他们仍致力于改进Starling-7B。

为了解决这个问题，他们提出进一步完善该模型，利用基于规则的奖励模型，其中GPT-4作为指导，使用GPT-4技术报告中概述的技术。

总之，Starling-7B代表了LLM领域的重大进步，展示了通过人工智能反馈进行强化学习的可能性。自然语言处理领域因这些模型与社区共享知识的合作而得到增强。研究人员正在努力提高模型的性能并解决其局限性。