《开源大模型食用指南》适合中国宝宝的部署教程，基于Linux环境快速部署开源大模型

本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。

  本项目的主要内容包括：

1. 基于 Linux 平台的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤；

2. 针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等；

3. 开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等；

4. 开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。

什么是大模型？

大模型（LLM）狭义上指基于深度学习算法进行训练的自然语言处理（NLP）模型，主要应用于自然语言理解和生成等领域，广义上还包括机器视觉（CV）大模型、多模态大模型和科学计算大模型等。

  百模大战正值火热，开源 LLM 层出不穷。如今国内外已经涌现了众多优秀开源 LLM，国外如 LLaMA、Alpaca，国内如 ChatGLM、BaiChuan、InternLM（书生·浦语）等。开源 LLM 支持用户本地部署、私域微调，每一个人都可以在开源 LLM 的基础上打造专属于自己的独特大模型。

  然而，当前普通学生和用户想要使用这些大模型，需要具备一定的技术能力，才能完成模型的部署和使用。对于层出不穷又各有特色的开源 LLM，想要快速掌握一个开源 LLM 的应用方法，是一项比较有挑战的任务。

  本项目旨在首先基于核心贡献者的经验，实现国内外主流开源 LLM 的部署、使用与微调教程；在实现主流 LLM 的相关部分之后，我们希望充分聚集共创者，一起丰富这个开源 LLM 的世界，打造更多、更全面特色 LLM 的教程。星火点点，汇聚成海。

项目受众

  本项目适合以下学习者：

• 想要使用或体验 LLM，但无条件获得或使用相关 API；

• 希望长期、低成本、大量应用 LLM；

• 对开源 LLM 感兴趣，想要亲自上手开源 LLM；

• NLP 在学，希望进一步学习 LLM；

• 希望结合开源 LLM，打造领域特色的私域 LLM；

• 以及最广大、最普通的学生群体。

项目规划及进展

本项目拟围绕开源 LLM 应用全流程组织，包括环境配置及使用、部署应用、微调等，每个部分覆盖主流及特点开源 LLM：

项目地址

https://github.com/datawhalechina/self-llm?tab=readme-ov-file

已支持模型

• Llama3_1-8B-Instruct

  •  Llama3_1-8B-Instruct FastApi 部署调用 
  •  Llama3_1-8B-Instruct langchain 接入 
  •  Llama3_1-8B-Instruct WebDemo 部署 
  •  Llama3_1-8B-Instruct Lora 微调 

• Gemma-2-9b-it

  •  Gemma-2-9b-it FastApi 部署调用 
  •  Gemma-2-9b-it langchain 接入 
  •  Gemma-2-9b-it WebDemo 部署 
  •  Gemma-2-9b-it Peft Lora 微调 

• Yuan2.0

  •  Yuan2.0-2B FastApi 部署调用 
  •  Yuan2.0-2B Langchain 接入
  •  Yuan2.0-2B WebDemo部署
  •  Yuan2.0-2B vLLM部署调用
  •  Yuan2.0-2B Lora微调

• Yuan2.0-M32

  •  Yuan2.0-M32 FastApi 部署调用 
  •  Yuan2.0-M32 Langchain 接入 
  •  Yuan2.0-M32 WebDemo部署 

• DeepSeek-Coder-V2

  •  DeepSeek-Coder-V2-Lite-Instruct FastApi 部署调用 
  •  DeepSeek-Coder-V2-Lite-Instruct langchain 接入 
  •  DeepSeek-Coder-V2-Lite-Instruct WebDemo 部署 
  •  DeepSeek-Coder-V2-Lite-Instruct Lora 微调 

• 哔哩哔哩 Index-1.9B

  •  Index-1.9B-Chat FastApi 部署调用 
  •  Index-1.9B-Chat langchain 接入 
  •  Index-1.9B-Chat WebDemo 部署 
  •  Index-1.9B-Chat Lora 微调 

• Qwen2

  •  Qwen2-7B-Instruct FastApi 部署调用
  •  Qwen2-7B-Instruct langchain 接入 
  •  Qwen2-7B-Instruct WebDemo 部署 
  •  Qwen2-7B-Instruct vLLM 部署调用 
  •  Qwen2-7B-Instruct Lora 微调 

• GLM-4

  •  GLM-4-9B-chat FastApi 部署调用 
  •  GLM-4-9B-chat langchain 接入 
  •  GLM-4-9B-chat WebDemo 部署 
  •  GLM-4-9B-chat vLLM 部署 
  •  GLM-4-9B-chat Lora 微调 

• Qwen 1.5

  •  Qwen1.5-7B-chat FastApi 部署调用
  •  Qwen1.5-7B-chat langchain 接入 
  •  Qwen1.5-7B-chat WebDemo 部署
  •  Qwen1.5-7B-chat Lora 微调 
  •  Qwen1.5-72B-chat-GPTQ-Int4 部署环境 
  •  Qwen1.5-MoE-chat Transformers 部署调用 
  •  Qwen1.5-7B-chat vLLM推理部署
  •  Qwen1.5-7B-chat Lora 微调 接入SwanLab实验管理平台 

• 谷歌-Gemma

  •  gemma-2b-it FastApi 部署调用 
  •  gemma-2b-it langchain 接入 
  •  gemma-2b-it WebDemo 部署 
  •  gemma-2b-it Peft Lora 微调 

• phi-3

  •  Phi-3-mini-4k-instruct FastApi 部署调用
  •  Phi-3-mini-4k-instruct langchain 接入
  •  Phi-3-mini-4k-instruct WebDemo 部署
  •  Phi-3-mini-4k-instruct Lora 微调

• CharacterGLM-6B

  •  CharacterGLM-6B Transformers 部署调用
  •  CharacterGLM-6B FastApi 部署调用
  •  CharacterGLM-6B webdemo 部署
  •  CharacterGLM-6B Lora 微调

• LLaMA3-8B-Instruct

  •  LLaMA3-8B-Instruct FastApi 部署调用 
  •  LLaMA3-8B-Instruct langchain 接入
  •  LLaMA3-8B-Instruct WebDemo 部署
  •  LLaMA3-8B-Instruct Lora 微调

• XVERSE-7B-Chat

  •  XVERSE-7B-Chat transformers 部署调用 
  •  XVERSE-7B-Chat FastApi 部署调用 
  •  XVERSE-7B-Chat langchain 接入 
  •  XVERSE-7B-Chat WebDemo 部署 
  •  XVERSE-7B-Chat Lora 微调 

• TransNormerLLM

  •  TransNormerLLM-7B-Chat FastApi 部署调用
  •  TransNormerLLM-7B-Chat langchain 接入 
  •  TransNormerLLM-7B-Chat WebDemo 部署 
  •  TransNormerLLM-7B-Chat Lora 微调 

• BlueLM Vivo 蓝心大模型

  •  BlueLM-7B-Chat FatApi 部署调用 
  •  BlueLM-7B-Chat langchain 接入 
  •  BlueLM-7B-Chat WebDemo 部署 
  •  BlueLM-7B-Chat Lora 微调 

• InternLM2

  •  InternLM2-7B-chat FastApi 部署调用 
  •  InternLM2-7B-chat langchain 接入 
  •  InternLM2-7B-chat WebDemo 部署 
  •  InternLM2-7B-chat Xtuner Qlora 微调 

• DeepSeek 深度求索

  •  DeepSeek-7B-chat FastApi 部署调用 
  •  DeepSeek-7B-chat langchain 接入 
  •  DeepSeek-7B-chat WebDemo
  •  DeepSeek-7B-chat Lora 微调 
  •  DeepSeek-7B-chat 4bits量化 Qlora 微调 
  •  DeepSeek-MoE-16b-chat Transformers 部署调用 
  •  DeepSeek-MoE-16b-chat FastApi 部署调用 
  •  DeepSeek-coder-6.7b finetune colab 
  •  Deepseek-coder-6.7b webdemo colab 

• MiniCPM

  •  MiniCPM-2B-chat transformers 部署调用 
  •  MiniCPM-2B-chat FastApi 部署调用 
  •  MiniCPM-2B-chat langchain 接入 
  •  MiniCPM-2B-chat webdemo 部署 
  •  MiniCPM-2B-chat Lora && Full 微调
  •  官方友情链接：面壁小钢炮MiniCPM教程 

• Qwen-Audio

  •  Qwen-Audio FastApi 部署调用 
  •  Qwen-Audio WebDemo 

通用环境配置

•  pip、conda 换源 

•  AutoDL 开放端口

• 模型下载

  •  hugging face 
  •  hugging face 
  •  modelscope 
  •  git-lfs 
  •  Openxlab

• Issue && PR

  •  Issue 提交 
  •  PR 提交
  •  fork更新

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

​
👉AI大模型学习路线汇总👈
大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

​

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。​

👉大模型视频和PDF合集👈
观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。​​

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

​
文章知识点与官方知识档案匹配，可进一步学习相关知识