大语言模型长输入性能研究

研究大语言模型的特性Maxime Meyer访谈录在本系列访谈中我们与AAAI/SIGAI博士联盟的部分参与者进行了交流以深入了解他们的研究。我们与Maxime Meyer坐下来聊了聊他当前的研究、未来计划以及博士联盟的经历。能否先介绍一下你自己、你在哪里学习以及你的研究主题你好我是Maxime某国立大学数学系的二年级博士生。我的研究聚焦于大语言模型。你关注大语言模型的哪个方面人们注意到像ChatGPT这样的大语言模型在处理普通长度的提示时通常效果不错但当输入变得非常长时回答质量可能会下降。例如如果你粘贴一份100页的PDF模型可能会遗漏细节、产生混淆或给出不太可靠的答案。我的研究旨在理解这种随着输入变长而出现的性能下降现象。我研究它发生的原因、随文本增长如何发展以及我们能否预测或限制它。过去几年模型已经有了很大改进。过去即使是一页内容对它们来说也可能很困难。如今一页通常没问题。但非常长的文本仍然是个问题。如果你想将整本书比如《圣经》输入模型并提出一个具体问题这对当前系统来说负担太重。同样的问题也出现在长篇公司政策文档或大量规则和指令中。你工作中是否有特别有趣的方面一个特别有趣的结果是我们最近开发了能够预测模型性能的公式。基于模型的一些基本特征我们可以估计出它能可靠处理的最大输入长度。这意味着我们并不总是需要运行大量实验来找到其极限。具体来说如果某机构有一个模型并希望它处理更长的提示他们可以立即使用这些公式来获得指导。通过调整某些参数可以预期该模型能够处理比原来长两倍甚至三倍的输入而无需通过反复试验来测试每一种可能性。你计划如何扩展这个主题的工作我们正在探索两个主要方向。首先我们希望将我们的技术应用于大语言模型的其他问题超越我们研究的特定场景。其次我们正在努力优化结果使预测更加准确。你早期的某个项目是关于未知量子态的在线学习。能跟我们谈谈那个项目吗该项目聚焦于量子计算中的一个问题。量子计算机类似于普通计算机但它不是将信息存储为明确的0和1而是将信息存储在量子态中。在普通计算机中很容易判断一个比特是0还是1——你可以通过导线测量电信号并直接读取。而在量子计算机中“比特”被量子态取代后者可能要复杂得多。准确判断系统处于哪个量子态要困难得多这是构建和使用量子计算机的主要挑战之一。在我们的工作中研究了如何通过重复测量来逐步学习未知的量子态。我们聚焦于两类常用的量子态。其中一类具有更高的对称性因此人们预期它更容易学习。我们证明的是在某些情况下这种优势消失了两类量子态可能同样难以学习。你如何看待博士联盟和整个会议的经历这是一次很棒的经历。那是我第一次展示我在大语言模型上的工作收到了很多有用的反馈。博士联盟还让我们有机会与资深研究人员近距离交流两天。我们不仅讨论了研究还讨论了职业生涯、学术界的挑战以及根据各自具体目标需要注意什么。我收获了许多宝贵的见解。你的背景是什么是什么让你想研究人工智能特别是大语言模型我的背景是数学。我收到了两位我非常喜欢的导师的录取通知我接受了因为我知道与相处融洽的人一起工作是多么重要。我们还有灵活性可以在之后确定具体的研究课题。其中一位导师建议研究大语言模型因为它们非常流行。我听从了他的建议到目前为止我非常喜欢我也感到很幸运我的背景与人工智能研究如此契合。该领域的许多人来自计算机科学背景而受过非常强数学训练的研究人员往往选择留在纯数学领域。然而数学技能在人工智能研究中很受欢迎所以我的技能组合恰好很合适。从事人工智能研究的另一个优势是在纯数学领域通常需要多年的学习才能完全理解前沿并开始做出贡献。相比之下人工智能更像是横向发展而非纵向发展。有了扎实的数学背景你可以相对较快地跟上进度并开始研究各种研究问题。对于考虑攻读该领域博士学位的人你有什么建议吗主要是确保你处于一个良好的环境有相处融洽的导师并且住在你想住的地方。环顾四周这绝对是决定人们是享受博士生涯还是度过几年艰难时光的最重要因素。如果你在一个没有朋友或家人的新城市你不喜欢那里的气候而且每天都要和你不喜欢的人一起工作那很快就会变得很艰难。相反如果你有好的导师并且处在一个你知道可以享受乐趣并茁壮成长的环境中那么攻读博士将是一段不可思议的经历。你在博士研究之外喜欢做什么我的主要爱好是运动我经常练拳击。博士开始时我就不再参加比赛了但我仍然每天训练。关于Maxime Meyer我是Maxime某国立大学数学系的二年级博士生导师是Vincent Tan教授和Caroline Chaux教授。我主要对研究大语言模型的理论基础感兴趣。尽管它们取得了广泛成功但这些架构——以及它们依赖的数十亿参数——仍然未被充分理解。我的目标是阐明支配它们的基本方程。每个参数扮演什么角色我们如何量化修改它们对模型性能的影响这些见解又如何帮助我们设计更高效、更可解释的人工智能模型FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享