2025年大模型算法工程师的思考：技术趋势与职业发展路径

2025年大模型算法工程师的思考技术趋势与职业发展路径领域大模型的本质从2024年底DeepSeek诺曼底登陆以来2025年开源和闭源模型迭代速度和开源质量远超以往几年。经常会遇到当T时刻在领域benchmark上优化到SOTA之后T1时刻有更优的通用模型公布在领域benchmark指标反而比你专门优化的领域大模型更好。经历过几轮类似事件后理解到做领域大模型的本质其实是产出一套稳健的训练方案Training-Recipe。即不管通用SOTA模型如何变化我都能在短时间内基于通用SOTA模型重新走一遍training recipe达到更优水平。这里Training Recipe包括了continue pretrain、mid-training、SFT、RL甚至SFTRL迭代学习。同时也需要在对业务问题有深刻认知基础上提炼出适配业务目标的benchmark和数据飞轮体系。业务很多时候仅有标签缺乏高质量COT数据。人工标注速度慢同时深度了解业务标注同学少之又少。在这种场景下合成数据是避不开话题。合成数据的策略才是真正考验算法同学水平的。在scaling law推动下当前已有数据已接近枯竭相信2026年学术上也会对合成数据领域做出更多探索。Omni多模态的未来展望从LLM走向Omni是一种必然的途径。25年底vllm-omni项目成立更加表明2026年这块是群雄逐鹿局面。原生多模态是最贴近现实世界的离大家心目中的Javis也是最近的。图文音交错、全模态处理和产出进行端到端的学习。但是现在更多的是分别对画面和音频分别做encoder然后接入到LLM中如Qwen3-omni、Longcat-omni。长远来看将文本、图像、语音等映射到统一tokenizer空间是最高效的策略。目前来看还有很长一段路要走。理解生成统一会成为重大方向。理解促进生成生成反向提高理解相辅相成融合统一。RL强化学习的演进与局限关于RL是否能够提升LLM能力25年有很多论文做了深入讨论。目前普遍认知是RL不会激发模型新的能力更多的是提升Pass1能力。模型能力的提升更多的需要靠预训练和Mid-Training来支撑。下图是截止到10月重点RL算法工作不完全RL算法从年初GRPO演变出了这么多版本。要感谢社区感谢 Deepseek提供了最原始GRPO算法然后大家针对熵过快衰退、训推不一致、MOE router不一致等RL遇到的各种问题提供了解决方案贡献了25年RL算法的快速进步。AgenticAgent能力的本质25年底各家AI公司将自身LLM模型的Agent相关能力作为PR搞的重点来进行强调。相比于STEM等理解能力Agent能力才是检验模型解决现实世界复杂问题的衡量因素。可是在优化Agent能力的时候很多人往往在Agent RL方向投入过多精力。Agent RL是一个复杂优化体系涉及到一系列工程架构开发。25年底各大厂陆续发布了相关GUI等类似能力他们讲到了离线轨迹合成用于模型SFT等RL前期环节训练就像理解能力提升更多的是靠预训练、mid-training、SFT等阶段。Agent能力提高应该更需要往预训练SFT轨迹数据合成方向关注说不定会取得事半功倍效果。Infra工程能力的价值大模型是算法、数据和工程艺术。其中工程就是地基地基决定上层建筑。最近一年 Yibo Zhu 等越来越多的Infra同学走向前台让更多人关注到这个最底层且枯燥的领域。今年字节在火山引擎大会上公布每天token的调用量已突破50万亿并位居中国第一、全球第三。这还仅仅是字节一家在全球层面可想而知哪怕是1%的效率迭代面对全球每天天文数字般token节省下来的成本也是可观的。尽管本人在早期视觉领域做过一些算法工程工作但是大模型training和inference完全是新的量级和领域2026年希望自己能够在算法和工程两方面相辅相成取得新的突破。Memory用户体验的关键因素Memory是一个被好多人忽略和低估的能力。尽管在各种benchmark榜单上面Gemini已经超过ChatGPT但是我还是ChatGPT的重度用户。除了ChatGPT自身能力不错以外Memory是一种重要因素。Memory让用户得到了一个极佳的用户体验。 Memory机制能够让模型更加地理解用户产生很高的用户粘性。用得越多就越理解你跨越多对话框的能力带来了极致的用户体验。慢慢觉得ChatGPT更像你一位忠实的朋友使用次数越多用的时间越久就越懂你。这是一种全新的用户体验。当这种体验继续拓展到电商、搜索等方面的时候将会是全新的业务形态。如电商场景当前对用户历史行为的建模能力还是有点欠缺。大模型越来越像你的专属采购管家。也许未来只要说一句话就能够根据你的历史选择买到一双符合你尺码和风格喜好的鞋子。极致的交互体验多轮对话越来越懂你。在这种场景下Benchmark也存在一些局限性Benchmark不再是衡量模型能力唯一因素。就像某位公司算法leader也说过围绕benchmark来开展的公司是没有前途的。当各大模型厂商的模型指标在没有打开跨代的能力前提下通过早期用户数据积累提供极致的用户体验才是真正的护城河。精细化的人群细分普通人群专业人群大模型的蛋糕是如此之大细分领域是如此之多。大模型进展这么多本质上考验的是对用户需求的理解。25年Nvdia等美股七姐妹借助AI股票涨势如此之大加上 OpenAI联合各GPU云服务厂商的AI泡沫圈26年落地是否符合预期才是真正的考验。业务算法与基础模型算法的选择这是一个绕不过的话题。在传统机器学习算法时候业务算法和基础模型算法两者差距还不是那么大。但是大模型时代唯一能做的就是保持高效的论文阅读习惯。让我记忆深刻的是罗永浩采访Minimax创始人闫俊杰时候闫俊杰说我读论文就像刷短视频一样。。其实更多的是保持足够的信心只要保持足够的热情普通同学还是能够取得不错的成绩了。 DeepMind预训练负责人在采访中说过其实是无数个小的改进才促成Gemini的成功。。我相信并不是只有Deepmind、OpenAI、Seed等顶尖实验室的人每个人都有机会成为无数小改进中的contributer参与到这一波大模型浪潮中来。2026年大模型已经无处不在但幻觉hallucination仍是企业落地的最大杀手金融风控、医疗问诊、客服机器人动辄编造事实直接导致合规风险和信任崩盘。知识图谱Knowledge Graph的核心价值正是结构化知识把碎片化数据变成实体-关系-属性的三元组网络让大模型先查图谱再回答。行业价值支持复杂多跳推理、知识溯源、实时更新广泛用于推荐系统、智能搜索、企业大脑。大模型痛点纯向量RAG召回率低、无法处理逻辑关系知识图谱大模型GraphRAG可将准确率提升40%以上。图谱赋能意义把大模型从概率生成器变成可信知识引擎真正实现企业级私有化落地。核心知识点知识图谱不是又一个数据库而是大模型的长期记忆和推理大脑。为方便大家学习 这里给大家整理了一份学习资料包 需要的同学 根据下图自取即可