高效微调 100 多种大语言模型：先计算法，急速推理！

hiyouga/LLaMA-Factoryhttps://github.com/hiyouga/LLaMA-Factory

Stars: 26.9k License: Apache-2.0

LLaMA-Factory 是一个用于高效微调 100 多个大型语言模型（ACL 2024）的 WebUI。

• 多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
• 集成方法：（增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练、ORPO 训练等等。
• 多种精度：16 比特全参数微调、冻结微调、LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2/3/4/5/6/8 比特 QLoRA 微调。
• 先进算法：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ、PiSSA 和 Agent 微调。
• 实用技巧：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。
• 实验监控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
• 极速推理：基于 vLLM 的 OpenAI 风格 API、浏览器界面和命令行接口。

abseil/abseil-cpphttps://github.com/abseil/abseil-cpp

Stars: 14.4k License: Apache-2.0

Abseil-Cpp 是一个包含 Abseil C++ 库代码的开源项目，旨在增强 C++ 标准库。该项目的主要功能、关键特性和核心优势包括：

• 提供了缺失于 C++ 标准库中的部分功能
• 提供了适用于特殊需求的标准库替代品
• 包含了来自 Google 自身 C++ 代码库的经过广泛测试和生产使用的代码
• 不是标准库的竞争对手，而是为了将这些实用工具提供给整个 C++ 社区

这些特性使得 Abseil-Cpp 成为一个有价值的 C++ 开源项目。

scalar/scalarhttps://github.com/scalar/scalar

Stars: 5.2k License: MIT

scalar 是从 OpenAPI/Swagger 文件生成美观的 API 参考文档 。 该项目主要解决了从 OpenAPI/Swagger 文件生成交互式 API 文档的问题。

• 使用 OpenAPI/Swagger 规范
• 支持大量语言和框架的请求示例
• 集成了 API 客户端
• 实时预览编辑你的 OpenAPI/Swagger 规范

langfuse/langfusehttps://github.com/langfuse/langfuse

Stars: 4.8k License: NOASSERTION

langfuse 是一个开源的 LLM 工程平台，提供可观测性、指标、评估、提示管理、沙盒和数据集等功能。它与 LlamaIndex、Langchain、OpenAI SDK、LiteLLM 等项目进行集成。该项目在 YC W23 孵化器中。 以下是 langfuse 的主要功能、关键特性和核心优势：

• 可观测性：为应用程序提供仪表盘和数据导出，跟踪指标（成本、延迟、质量）并从中获取洞察。
• 提示管理：在 langfuse 中管理、版本控制和部署提示。
• 评估：收集和计算 LLM 完成的分数，进行基于模型的评估。
• 沙盒：测试应用程序行为，使用数据集测试输入输出对并进行性能基准测试。
• 集成：与多个项目进行集成，包括 OpenAI、Langchain、LlamaIndex 等。
• 部署：提供云端托管和本地部署选项，使用 Docker 进行自托管。

langfuse 是一个功能丰富的工程平台，适用于开发者进行语言模型相关的工作。

modelscope/swifthttps://github.com/modelscope/swift

Stars: 2.4k License: Apache-2.0

swift 是一个用于微调 200+ LLMs 或 15+ MLLMs 的 PEFT 或 Full-parameter 工具。 该项目的主要功能、关键特性、核心优势包括：

• 支持训练、推断和部署近 200 个 LLM 和 MLLM
• 提供轻量级训练解决方案 PEFT 以及适配器库支持 NEFTune，LoRA+，LLaMA-PRO 等最新训练技术
• 提供 Gradio web-ui 进行控制训练和推断，并提供深度学习课程和初学者最佳实践指南
• 扩展了对其他模态的能力，目前支持全参数培训以及 AnimateDiff 的 LoRA 培训

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。