241121学习日志——[CSDIY] [InternStudio] 大模型训练营 [11]

CSDIY：这是一个非科班学生的努力之路，从今天开始这个系列会长期更新，（最好做到日更），我会慢慢把自己目前对CS的努力逐一上传，帮助那些和我一样有着梦想的玩家取得胜利！！！
第一弹：Cpp零基础学习【30 DAYS 从0到1】
第二弹：Cpp刷题文档【LeetCode】
第三弹：Go开发入门【字节后端青训营】
第四弹：Cpp简单项目开发【黑马Rookie】
第五弹：数据结构绪论【数据结构与算法】
第六弹：Go工程实践【字节后端青训营】
第七弹：高质量编程和性能调优【字节后端青训营】
第八弹：Linux 基础知识【书生大模型训练营】
第九弹：Git 基础知识【书生大模型训练营】
第十弹：玩转HF/魔搭/魔乐社区【书生大模型训练营】
第十一弹：书生大模型全链路开源体系【书生大模型训练营】

第1关	L1G1000	书生大模型全链路开源体系

书生 · 浦语大模型开源开放体系

书生 · 浦语 (InterLM) 开源一周年

InterLM2.5 概览

• 推理能力领先
• 支持100万字上下文
• 自主规划和搜索完成复杂任务

核心技术思路

相似度对齐、预训练、…

• 基于规则的数据构造
• 基于模型的数据扩充
• 基于反馈的数据生成

融合多种数据合成方案

100万 Token 上下文

大海捞针实验：在超长文本输入中，能否精准找到任何位置的任何信息。

基于规划和搜索解决复杂任务

解决方式：思维路径拆解，分解子问题

开源谱系

• 1.8B、7B、20B、102B

• InterLM - XComposer - 文本多模态

• InterLM - Math - 数学

• InterLM - WOX - 高考

全链条开源体系

• 数据 书生·万卷 语料库

• 预训练 InternEvo 训练框架

  • 分布式训练系统

• 微调 XTuner

  • 微调、偏好对齐算法
  • 自动优化加速

• 评测 OpenCompass

  • 工具、社区…

• 部署 LMDeploy

  • Weight-only量化、…

• 应用

  • LLM —>智能体
  • 智能体 Legent
    • 零样本泛化：多模态 AI 工具使用
  • 智能体 MindSearch
    • 模拟人脑思维导图搜索
  • 智能体 HuixiangDou
    • 企业级
    • 开源、安全、…

碎碎念：入门岛通关，进军基础岛。坚持。

与君共勉。