h2oGPT

---

一、关于 h2oGPT

使用文档、图像、视频等与本地GPT进行私人聊天。100%私人，Apache 2.0。支持oLLaMa、Mixtral、llama. cpp等。演示：https://gpt.h2o.ai/ https://gpt-docs.h2o.ai/

喜欢项目就把★变成⭐（右上角）！

使用h2oGPT（一个Apache V2开源项目）查询和总结您的文档或与本地私有GPT LLM聊天。

查看一个长CoT Open-o1开放🍓草莓🍓项目：https://github.com/pseudotensor/open-strawberry

---

二、现场演示

https://private-user-images.githubusercontent.com/2249614/253246405-2f805035-2c85-42fb-807f-fd0bca79abc6.mp4

YouTube4K视频 : https://www.youtube.com/watch?v=_iktbj4obAI

---

特点

• 任何文档的离线私有数据库（PDF、Excel、Word、图像、视频帧、YouTube、音频、代码、文本、MarkDown等）
  • 使用准确嵌入的持久数据库（Chroma、Weaviate或内存FAISS）（讲师大、all-MiniLM-L6-v2等）
  • 使用指示调整的LLM有效使用上下文（不需要LangChain的少镜头方法）
  • 并行汇总和提取，使用13BLLaMa2模型达到每秒80个令牌的输出
  • 基于LLM响应的增强检索的HYDE（假设文档嵌入）
  • 用于更好文档拆分的语义分块（需要GPU）
• 支持各种模型（LLaMa2, Mistral, Falcon, Vicuna, WizardLM. With AutoGPTQ, 4-bit/8-bit, LORA, 等）
  • 来自HF和LLaMa. cpp GGML模型的GPU支持，以及使用HF、LLaMa.cpp和GPT4ALL模型的CPU支持
  • 任意长的注意力汇生成（LLaMa-2，米斯特拉尔，MPT，皮提亚，猎鹰等）
• Gradio UI或CLI，可流式传输所有型号
  • 通过UI上传和查看文档（控制多个协作或个人收藏）
  • 视觉型号LLaVa， Claude-3，Jiony-Pro-Vision，GPT-4-Vision
  • 图像生成稳定扩散（sdxl-turbo、sdxl、SD3）、Playground AI（playv2）和Flux
  • 使用带有流式音频转换的Whisper的语音STT
  • 使用MIT许可的Microsoft Speech T5的语音TTS，具有多种语音和流式音频转换
  • 使用MPL2许可TTS的语音TTS，包括语音克隆和流式音频转换
  • AI Assistant语音控制模式，免提控制h2oGPT聊天
  • 同时针对多个模型的烘烤UI模式
  • 通过UI轻松下载模型工件并控制LLaMa. cpp等模型
  • 通过Native或Google OAuth通过用户/密码在UI中进行身份验证
  • 用户/密码在UI中的状态保存
• Open Web UI 和 h2oGPT 通过 OpenAI Proxy 作为后端
  • 请参见启动文档。
  • 通过流媒体完成聊天
  • 使用DocTR的高级OCR使用h2oGPT摄取进行文档Q/A
  • 视觉模型
  • 音频转录（STT）
  • 音频生成（TTS）
  • 图像生成
  • 认证
  • 国家保全
• Linux、Docker、macOS和Windows支持
• 推理服务器 支持oLLaMa、HF TGI服务器、vLLM、Gradio、ExLLaMa、复制、Together.ai、OpenAI、Azure OpenAI、Anrowpic、MistralAI、Google和Groq
• 兼容OpenAI
  • 服务器代理API（h2oGPT充当OpenAI服务器的直接替代品）
  • 聊天和文本完成（流式和非流式）
  • 音频转录（STT）
  • 音频生成（TTS）
  • 图像生成
  • 嵌入
  • 带自动工具选择的功能工具调用
  • AutoGen代码执行代理
• JSON模式
  • 通过使用大纲对vLLM进行严格的模式控制
  • OpenAI、Anthropic、Google Double、MistralAI模型的严格模式控制
  • JSON模式适用于一些较旧的带有模式控制的OpenAI或双子座模型，如果模型足够智能（例如双子座1.5闪存）
  • 通过代码块提取的任何模型
• 网络搜索与聊天和文档问答的集成
• 代理商
  • 通过单独端口上的OpenAI代理服务器提供高质量代理
  • 代码优先代理，通过视觉模型等生成绘图、研究、评估图像（客户端代码openai_server/openai_client.py）。
  • 没有UI，只有API
• 使用奖励模型评估绩效
• 通过超过1000个单元和超过24个GPU小时的集成测试保持质量

---

三、开始行动

• GitHub license : ttps://github.com/h2oai/h2ogpt/blob/main/LICENSE
• Linux : ttps://github.com/h2oai/h2ogpt/blob/main/docs/README_LINUX.md
• macOS : ttps://github.com/h2oai/h2ogpt/blob/main/docs/README_MACOS.md
• Windows : ttps://github.com/h2oai/h2ogpt/blob/main/docs/README_WINDOWS.md
• Docker : ttps://github.com/h2oai/h2ogpt/blob/main/docs/README_DOCKER.md

---

安装h2oGPT

Docker推荐用于Linux、Windows和MAC以获得完整功能。Linux脚本也具有完整功能，而Windows和MAC脚本的功能不如使用Docker。

• Docker构建和运行文档（Linux、Windows、MAC）
• Linux安装和运行文档
• Windows 10/11安装脚本
• MAC安装和运行文档
• 在任何平台上快速入门

---

拼贴画演示

• https://colab.research.google.com/drive/13RiBdAFZ6xqDwDKfW6BG_-tXfXiqPNQe?usp=sharing
• https://colab.research.google.com/drive/143-KFHs2iCqXTQLI2pFCDiR69z0dR8iE?usp=sharing

---

资源

• 常见问题解答
• LangChain自述文件
• Discord
• 模型（LLaMa-2、Falcon 40等）🤗
• YouTube： 100%离线ChatGPT替代方案？
• YouTube：终极开源LLM摊牌（测试了6个模型）-令人惊讶的结果！
• YouTube：快速猎鹰40b🚀未经审查，开源，完全托管，与您的文档聊天
• 技术论文：https://arxiv.org/pdf/2306.08161.pdf

---

文档指南

• 开始行动
  • Linux（CPU或CUDA）
  • macOS（CPU或M1/M2）
  • Windows 10/11（CPU或CUDA）
  • GPU（CUDA、AutoGPTQ、exllama）运行详情
  • CPU运行详情
  • CLI聊天
  • 等级UI
  • 客户端API（Gradio，符合OpenAI）
  • 推理服务器（oLLaMa、HF TGI服务器、vLLM、Groq、Anrowpic、Google、Mistral、Gradio、ExLLaMa、Replate、OpenAI、Azure OpenAI）
  • 构建Python轮
  • 离线安装
  • 低内存
  • Docker
• LangChain文档支持
• 与Private ateGPT等人相比。
• 路线图
• 发展
• 帮助
  • 支持的LangChain文件类型
  • CLI数据库控件
  • 常见问题解答
    • 型号使用说明
    • 添加LLM模型（包括使用GGUF和注意力接收器）
    • 添加嵌入模型
    • 添加提示
    • 语境学习
    • 多个GPU
    • 低内存使用
    • 环境变量
    • 服务器和客户端的HTTPS访问
  • 有用链接
  • 微调
  • 海卫一
  • 商业可行性
• 致谢
• 为什么H2O.ai？
• 免责声明

---

开发

• 要为训练和生成创建开发环境，请遵循安装说明。

• 要对数据微调任何LLM模型，请按照微调说明进行。

• 运行 h2oGPT 测试：

pip install requirements-parser pytest-instafail pytest-random-order playsound==1.3.0
conda install -c conda-forge gst-python -y
sudo apt-get install gstreamer-1.0
pip install pygame
GPT_H2O_AI=0 CONCURRENCY_COUNT=1 pytest --instafail -s -v tests
# for openai server test on already-running local server
pytest -s -v -n 4 openai_server/test_openai_server.py::test_openai_client

---

或运行下面代码 并行测试

tests/test4gpus.sh

---

致谢

• 一些训练代码基于3月24日版本的羊驼-洛拉。
• 使用OpenAssistant创建的高质量数据。
• 使用EleutherAI的基本模型。
• 使用LAION创建的OIG数据。

---

为什么选择 H2O.ai？

我们创客的H2O.ai已经建立了几个世界级的机器学习、深度学习和人工智能平台：

• #1企业开源机器学习平台H2O-3
• 世界上最好的AutoML（自动机器学习）与H2O无人驾驶AI
• 无代码深度学习与H2O氢炬
• 文档AI中的深度学习文档处理

---

我们还构建了用于部署和监控以及数据处理和治理的平台：

• H2O MLOps可大规模部署和监控模型
• H2O功能商店与AT&T合作
• 开源低代码AI应用程序开发框架Wave和Nitro
• 开源Python数据化（H2O无人驾驶AI特征工程引擎）

---

我们的许多客户正在创建模型，并在H2O AI Cloud中大规模部署它们：

• 多云或本地
• 托管云（SaaS）
• 混合云
• AI应用商店

我们很自豪有超过25位（世界280位）Kaggle大师将H2O称为家，其中包括三位进入世界第一的Kaggle大师。

---

免责声明

在使用本存储库中提供的大型语言模型之前，请仔细阅读本免责声明。您使用该模型表示您同意以下条款和条件。

• 偏见和冒犯性：大型语言模型在各种互联网文本数据上进行训练，这些数据可能包含偏见、种族主义、冒犯性或其他不适当的内容。通过使用此模型，您承认并接受生成的内容有时可能会表现出偏见或产生冒犯性或不适当的内容。本存储库的开发人员不认可、支持或推广任何此类内容或观点。
• 限制：大型语言模型是基于人工智能的工具，而不是人类。它可能会产生不正确、无意义或不相关的响应。用户有责任批判性地评估生成的内容并自行决定使用它。
• 使用风险自负：此大型语言模型的用户必须对其使用该工具可能产生的任何后果承担全部责任。本存储库的开发人员和贡献者不对因使用或滥用所提供的模型而导致的任何损害、损失或伤害承担任何责任。
• 道德考虑：鼓励用户负责任和合乎道德地使用大语言模型。通过使用此模型，您同意不将其用于促进仇恨言论、歧视、骚扰或任何形式的非法或有害活动的目的。
• 报告问题：如果您遇到大型语言模型生成的任何有偏见的、令人反感的或其他不适当的内容，请通过提供的渠道向存储库维护人员报告，您的反馈将有助于改进模型并缓解潜在问题。
• 此免责声明的更改：此存储库的开发人员保留权力随时修改或更新此免责声明，恕不另行通知。用户有责任定期查看免责声明以随时了解任何更改。

通过使用本存储库中提供的大型语言模型，您同意接受并遵守本免责声明中概述的条款和条件。如果您不同意本免责声明的任何部分，您应该避免使用模型及其生成的任何内容。

---

2025-01-27（一）