当前位置: 首页 > news >正文

LlamaGPT -基于Llama 2的自托管类chatgpt聊天机器人

LlamaGPT一个自托管、离线、类似 ChatGPT 的聊天机器人,由 Llama 2 提供支持。100% 私密,不会有任何数据离开你的设备。

在这里插入图片描述

推荐:用 NSDT编辑器 快速搭建可编程3D场景

1、如何安装LlamaGPT

LlamaGPT可以安装在任何x86或arm64系统上。

首先确保你已安装 Docker。然后,克隆此存储库并 进入目录:

git clone https://github.com/getumbrel/llama-gpt.git
cd llama-gpt

现在可以使用以下任何模型运行 LlamaGPT,具体取决于你的硬件:

模型大小使用的模型所需的最低 RAM如何启动 LlamaGPT
7BNous Hermes Llama 2 7B (GGML q4_0)8GBdocker compose up -d
13BNous Hermes Llama 2 13B (GGML q4_0)16GBdocker compose -f docker-compose-13b.yml up -d
70BMeta Llama 2 70B Chat (GGML q4_0)48GBdocker compose -f docker-compose-70b.yml up -d

可以通过 http://localhost:3000 访问 LlamaGPT。

要停止 LlamaGPT,请运行:

docker compose down

2、基准测试

我们在以下硬件上测试了 LlamaGPT 模型,并使用默认系统提示和用户提示:“宇宙如何膨胀?” 温度设置为 0 时保证确定性结果。 生成速度是前 10 代的平均值。

  • Nous Hermes Llama 2 7B (GGML q4_0)
设备生成速度
M1 Max MacBook Pro (10 64GB RAM)8.2 令牌/秒
Umbrel Home (16GB RAM)2.7 令牌/秒
Raspberry Pi 4 (8GB RAM)0.9 令牌/秒
  • Nous Hermes Llama 2 13B (GGML q4_0)
设备生成速度
M1 Max MacBook Pro (64GB RAM)3.7 令牌/秒
Umbrel Home (16GB RAM)1.5 令牌/秒
  • Meta Llama 2 70B 聊天 (GGML q4_0)

不幸的是,我们还没有这个模型的任何基准。


原文链接:LlamaGPT自托管chatbot — BimAnt

相关文章:

LlamaGPT -基于Llama 2的自托管类chatgpt聊天机器人

LlamaGPT一个自托管、离线、类似 ChatGPT 的聊天机器人,由 Llama 2 提供支持。100% 私密,不会有任何数据离开你的设备。 推荐:用 NSDT编辑器 快速搭建可编程3D场景 1、如何安装LlamaGPT LlamaGPT可以安装在任何x86或arm64系统上。 首先确保…...

常见的跨域解决方案

常见的跨域解决方案: 跨域问题可以分为两种情况:前端跨域和后端跨域。以下是针对这两种情况的跨域解决方案: 前端跨域解决方案: JSONP: 适用于前端向不同域名下的服务器请求数据,通过添加回调函数名称来…...

分布式websocket解决方案

1、websocket问题由来 websocket基础请自行学习,本文章是解决在分布式环境下websocket通讯问题。 在单体环境下,所有web客户端都是连接到某一个微服务上,这样消息都是到达统一服务端,并且也是由一个服务端进行响应,所以不会出现问题。 但是在分布式环境下,我们很容易发现…...

奥威BI财务数据分析方案:借BI之利,成就智能财务分析

随着智能技术的发展,各行各业都走上借助智能技术高效运作道路,财务数据分析也不例外。借助BI商业智能技术能够让财务数据分析更高效、便捷、直观立体,也更有助于发挥财务数据分析作为企业经营管理健康晴雨表的作用。随着BI财务数据分析经验的…...

Android12之com.android.media.swcodec无法生成apex问题(一百六十三)

简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏:Audio工程师进阶系列【原创干货持续更新中……】🚀 人生格言: 人生…...

Xcode build和version

参考 一个叫做Version,一个叫做Build,(version是版本号,build是打正式包每次Archive时的都增加的值)这两个值都可以在Xcode中选中target,点击“Summary”后看到。 Version在plist文件中的key是“CFBundleSh…...

前端面试:【原型链】代码世界的家族传承

嗨,亲爱的代码探险家!在JavaScript的奇妙世界里,有一个令人惊叹的概念,那就是原型链。这个概念就像是代码世界的家族传承,允许对象之间分享属性和方法,让你的代码更加高效和灵活。 1. 什么是原型链&#xf…...

2D应用开发是选择WebGL 还是选择Canvas?

推荐:使用 NSDT场景编辑器 助你快速搭建可二次编辑的3D应用场景 在介绍WebGL和Canvas的区别和联系之前,需要先了解它们各自的定义和特点。 WebGL是一种基于标准HTML5的技术,用于在Web浏览器中实时渲染3D图形。它是由Khronos Group开发的一套…...

Android Framework 常见解决方案(20)UDP广播无效问题

1 现象描述和原理解读 该问题同时存在于android App和Framework系统中。最终效果是在Android系统中直接使用UDP广播无效,有意思的是有的android系统可以,有的Android 系统不行。然而该部分代码自己在Linux上测试时是有效的,代码不变&#xf…...

VINS-Mono中的边缘化与滑窗 (4)——VINS边缘化为何是局部变量边缘化?

文章目录 0.前言1.系统构建1.1.仿真模型1.2.第一次滑窗优化1.3.第二次全局优化 2.边缘化时不同的舒尔补方式2.1.边缘化时舒尔补的意义2.2.不同的边缘化方式 3.边缘化时不同的舒尔补方式实验验证3.1.全局schur的操作方式3.2.VIO或VINS中局部边缘化的方式3.3.两种方式和全局优化方…...

真·VB.NET彻底释放Interop.Excel对象

使用 Microsoft.Office.Interop.Excel 虽然有速度慢的缺点;但是作为自带引用,兼容性最好,而且是COM对象模型也很熟悉(Excel里直接录个宏,很方便把VBA代码转成VB.NET)。所以处理几百上千条的小数据时还是很方便的。 而 Microsoft.…...

记录hutool http通过代理模式proxy访问外面的链接

效果: 代码: public class TestMain {public static void main(String[] args){HttpRequest httpRequest HttpRequest.get("https://www.youtube.com").timeout(30000);httpRequest.setProxy(new Proxy(Proxy.Type.HTTP,new InetSocketAddre…...

Selenium 自动化 | 案例实战篇

Chrome DevTools 简介 Chrome DevTools 是一组直接内置在基于 Chromium 的浏览器(如 Chrome、Opera 和 Microsoft Edge)中的工具,用于帮助开发人员调试和研究网站。 借助 Chrome DevTools,开发人员可以更深入地访问网站&#xf…...

前端技术栈es6+promise

let入门使用、 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>let 基本使用</title><script type"text/javascript">let name "hspedu教育";//老韩解读//1. conso…...

windows vscode使用opencv

1.windows vscode使用opencv 参考&#xff1a;https://blog.csdn.net/zhaiax672/article/details/88971248 https://zhuanlan.zhihu.com/p/402378383 https://blog.csdn.net/weixin_39488566/article/details/121297536 g -g .\hello_opencv.cpp -stdc14 -I E:\C-software\…...

json文件读取数据报错 AttributeError: ‘str‘ object has no attribute ‘items‘

trans_width_table表如下&#xff1a; {frozenset({2}): {3: 250, 2.5: 100, 1.5: 25, 2: 50, 1.8: 50, 2.75: 200, 5: 350, 4: 350, 2.3: 100, 4.5: 350, 3.5: 300}, frozenset({1, 3, 4, 5}): {2.5: 75, 2.75: 100, 1.5: 25, 4: 300, 3.5: 200, 4.5: 300, 3: 100, 5: 300, 2…...

1、Spring_IOC

IOC 1.概述 IOC&#xff1a;Inversion of Control 控制反转&#xff0c;可以让容器负责对象的创建以及销毁操作&#xff0c;对象在容器中叫 bean 2.回顾问题 问题&#xff1a;写了太多与业务无关的代码 耦合度非常高&#xff0c;写了很多和业务无关的代码不利于项目的升级迭…...

Socks5、IP代理在爬虫开发与HTTP通信中的应用

随着互联网的不断发展&#xff0c;代理服务器成为网络工程师和数据爬虫开发者的关键工具。本文将深入探讨Socks5代理、IP代理以及它们在网络安全、爬虫开发和HTTP通信中的重要作用。 1. 代理服务器&#xff1a;保障隐私与安全的中间人 代理服务器是位于客户端与目标服务器之间…...

重新认识小米

被镁光灯聚焦的企业&#xff0c;总是会被贴上各种标签。 8月14日&#xff0c;小米科技创始人雷军以“成长”为主题的年度演讲&#xff0c;刷遍社交网络。提到小米&#xff0c;你首先想到什么&#xff1f;手机发烧友、极致性价比&#xff0c;还是最年轻的500强&#xff1f; 这…...

react之react-redux的介绍、基本使用、获取状态、分发动作、数据流、reducer的分离与合并等

react之react-redux的介绍、基本使用、获取状态、分发动作、数据流、reducer的分离与合并等 一、react-redux介绍二、React-Redux-基本使用三、获取状态useSelector四、分发动作useDispatch五、 Redux 数据流六、代码结构七、ActionType的使用八、Reducer的分离与合并九、购物挣…...

四旋翼无人机安全控制:CBF与双相对度系统实践

1. 四旋翼无人机安全控制的核心挑战四旋翼无人机在复杂环境中的自主飞行面临诸多安全挑战。当无人机在充满障碍物的空间执行任务时&#xff0c;传统控制方法往往难以同时满足轨迹跟踪精度和实时避障需求。我曾参与过一个物流仓库巡检项目&#xff0c;无人机在狭窄货架间穿行时&…...

MASA模组汉化包终极指南:3分钟告别Minecraft英文界面困扰

MASA模组汉化包终极指南&#xff1a;3分钟告别Minecraft英文界面困扰 【免费下载链接】masa-mods-chinese 一个masa mods的汉化资源包 项目地址: https://gitcode.com/gh_mirrors/ma/masa-mods-chinese 你是否曾在Minecraft中使用Litematica、Minihud等MASA模组时&#…...

FigmaCN中文插件:5分钟让Figma界面变中文的终极解决方案

FigmaCN中文插件&#xff1a;5分钟让Figma界面变中文的终极解决方案 【免费下载链接】figmaCN 中文 Figma 插件&#xff0c;设计师人工翻译校验 项目地址: https://gitcode.com/gh_mirrors/fi/figmaCN 还在为Figma的英文界面而烦恼吗&#xff1f;每次寻找工具都要在脑海…...

AI驱动编辑预设生成:从风格迁移到创意工作流的自动化实践

1. 项目概述&#xff1a;AI驱动的编辑预设库最近在折腾视频和图片后期&#xff0c;发现一个挺有意思的项目&#xff0c;叫kaushalrao/ai-editor-presets。这名字听起来有点技术范儿&#xff0c;但说白了&#xff0c;它就是一个用人工智能技术来生成和优化各类编辑软件预设文件的…...

归档日志较多导致磁盘使用率100%,数据库停止服务

文章目录环境症状问题原因解决方案环境 系统平台&#xff1a;银河麒麟 &#xff08;鲲鹏&#xff09; 版本&#xff1a;9.0 症状 数据库服务停止&#xff0c;对外停止响应。 问题原因 服务器磁盘使用率100%&#xff0c;数据库服务因此停止。 解决方案 1、检查服务器磁盘…...

Botty:暗黑2重制版自动化助手,告别重复刷图的终极方案

Botty&#xff1a;暗黑2重制版自动化助手&#xff0c;告别重复刷图的终极方案 【免费下载链接】botty D2R Pixel Bot 项目地址: https://gitcode.com/gh_mirrors/bo/botty 你是否厌倦了在《暗黑破坏神2&#xff1a;重制版》中反复刷图、手动拾取、机械操作&#xff1f;每…...

Taotoken标准OpenAI协议兼容性在实际项目迁移过程中带来的便利

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 Taotoken标准OpenAI协议兼容性在实际项目迁移过程中带来的便利 1. 项目背景与迁移动因 我们维护着一个内部知识库问答系统&#x…...

基于大语言模型的智能终端助手:LetMeDoIt的设计、部署与实战

1. 项目概述&#xff1a;一个能听懂人话的AI终端伴侣如果你和我一样&#xff0c;每天有大量时间泡在终端里&#xff0c;那么“如何让命令行更智能、更高效”一定是个永恒的课题。传统的CLI工具链虽然强大&#xff0c;但学习曲线陡峭&#xff0c;命令参数繁多&#xff0c;上下文…...

Perplexity搜索响应延迟超800ms?紧急修复手册:从LLM路由策略到本地缓存穿透的5层优化路径

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;Perplexity搜索响应延迟超800ms&#xff1f;紧急修复手册&#xff1a;从LLM路由策略到本地缓存穿透的5层优化路径 当Perplexity风格的语义搜索接口P95延迟持续突破800ms&#xff0c;用户会感知明显卡顿…...

GraphRAG 深度解析:把知识图谱接进检索链路,多跳推理准确率从 50% 提到 85%

很多同学搭完向量 RAG 之后&#xff0c;调了无数遍 Chunk 大小、换了好几个 Embedding 模型&#xff0c;多跳推理准确率就是卡在 50% 左右&#xff0c;怎么都上不去。比如「A 公司 CTO 和 B 公司 CEO 到底有什么合作关系」这类问题&#xff0c;答案散落在三个文档里&#xff0c…...