当前位置: 首页 > news >正文

使用代码下载开源的大模型文件示例以及中文微调llama资源汇总:

一、下载示例 

from huggingface_hub import snapshot_downloadrepo_id = "THUDM/chatglm2-6b"
local_dir = './chatglm2-6b/'
cache_dir = local_dir + "/cache"
while True:try:snapshot_download(cache_dir=cache_dir,local_dir=local_dir,repo_id=repo_id,local_dir_use_symlinks=False, # 不转为缓存乱码的形式, auto, Small files (<5MB) are duplicated in `local_dir` while a symlink is created for bigger files.resume_download=True,allow_patterns=["*.model", "*.json", "*.bin","*.py", "*.md", "*.txt"],ignore_patterns=["*.safetensors", "*.msgpack","*.h5", "*.ot", ],)except Exception as e :print(e)

二、资源汇总

  1. Chinese Llama 2 7B 链接:LinkSoul/Chinese-Llama-2-7b · Hugging Face

  2. OpenBuddy-LLaMA2-13B 链接:OpenBuddy/openbuddy-llama2-13b-v8.1-fp16 · Hugging Face

  3. firefly-llama2-13b 链接:GitHub - yangjianxin1/Firefly: Firefly(流萤): 中文对话式大语言模型(全量微调+QLoRA),支持微调Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya、Bloom等大模型

  4. YaYi-7B-Llama2、YaYi-13B-Llama2
    链接:wenge-research/yayi-13b-llama2 · Hugging Face

  5. 伶荔Chinese-LLaMA-2-7B和13B 链接:GitHub - CVI-SZU/Linly: Chinese-LLaMA 1&2、Chinese-Falcon 基础模型;ChatFlow中文对话模型;中文OpenLLaMA模型;NLP预训练/指令微调数据集

  6. Llama2-Chinese 链接:GitHub - ymcui/Chinese-LLaMA-Alpaca-2: 中文 LLaMA-2 & Alpaca-2 大模型二期项目 (Chinese LLaMA-2 & Alpaca-2 LLMs) 链接:ziqingyang/chinese-llama-2-7b · Hugging Face

  7. Chinese-LLaMA2-7b from LinkSoul 链接:GitHub - LinkSoul-AI/Chinese-Llama-2-7b: 开源社区第一个能下载、能运行的中文 LLaMA2 模型!

  8. Llama2-Chinese-7B from FlagAlpha 链接:GitHub - FlagAlpha/Llama2-Chinese: Llama中文社区,最好的中文Llama大模型,完全开源可商用

  9. YaYi from Wenge 链接:GitHub - wenge-research/YaYi: 雅意大模型:为客户打造安全可靠的专属大模型,基于大规模中英文多领域指令数据训练的 LlaMA 2 & BLOOM 系列模型,由中科闻歌算法团队研发。(Repo for YaYi Chinese LLMs based on LlaMA2 & BLOOM)

相关文章:

使用代码下载开源的大模型文件示例以及中文微调llama资源汇总:

一、下载示例 from huggingface_hub import snapshot_downloadrepo_id "THUDM/chatglm2-6b" local_dir ./chatglm2-6b/ cache_dir local_dir "/cache" while True:try:snapshot_download(cache_dircache_dir,local_dirlocal_dir,repo_idrepo_id,loca…...

Wav2vec2 论文阅读看到的一些问题

Wav2vec2 论文阅读看到的一些问题 这里只是简单的思考一下论文的一些问题&#xff0c;不是论文解读。 Q1. 为什么wav2vec依旧需要Transformer来做推理&#xff0c;而不直接使用VQ生成的内容&#xff1f; A1. Transformer在更长的序列上有更好的编码效果&#xff0c;例如论文也写…...

爬虫学习记录(持续更新)

一、问题记录 1.使用webdriver报错AttributeError: str object has no attribute capabilities 解决&#xff1a;目前使用的selenium版本是4.11.2&#xff0c;可以不必设置driver.exe的路径&#xff0c;selenium可以自己处理浏览器和驱动程序&#xff0c;因此&#xff0c;使用…...

libevent源码学习1---创建event

libevent源码学习1—创建event Libevent是一个用于开发可扩展性网络服务器的基于事件驱动(event-driven)模型的非阻塞网络库。安装请参考ubuntu下载安装libevent event_base 使用 libevent 函数之前需要分配一个或者多个 event_base 结构体。每个 event_base 结构体持有一个…...

Python类的设计

Python类的设计 # 定义一个闹钟类 class Clock:__cureen_keyNone # 私有成员不能改变和使用def __init__(self, id, price): # 类对象是立即自动执行self.id idself.price pricedef ring(self):import winsound # 内置声音方法winsound.Beep(2000,3000)clock1 Clock(…...

微信小程序的项目解构

视频链接 黑马程序员前端微信小程序开发教程&#xff0c;微信小程序从基础到发布全流程_企业级商城实战(含uni-app项目多端部署)_哔哩哔哩_bilibili 接口文档 https://www.escook.cn/docs-uni-shop/mds/1.start.html 1&#xff1a;微信小程序宿主环境 1&#xff1a;常见的宿…...

【Archaius技术专题】「Netflix原生态」动态化配置服务之微服务配置组件变色龙

前提介绍 如果要设计开发一套微服务基础架构&#xff0c;参数化配置是一个非常重要的点&#xff0c;而Netflix也开源了一个叫变色龙Archaius的配置中心客户端&#xff0c;而且Archaius可以说是比其他客户端具备更多生产级特性&#xff0c;也更灵活。*在NetflixOSS微服务技术栈…...

python条件分支和循环语句

python中没有{}的写法&#xff0c;一般时通过缩进的方式来确定分支和循环需要执行的代码块。 if 需要判断的条件表达式:条件成立时的动作 elif 需要判断的条件表达式:条件成立时的动作 else:动作for 变量 in 迭代对象:动作 示例&#xff1a; while 退出条件:动作...

工具推荐:Wireshark网络协议分析工具(对比tcpdump)

文章首发地址 Wireshark是一款开源的网络协议分析工具&#xff0c;可以捕获网络数据包并对其进行详细的分析和解释。下面是Wireshark的详细介绍&#xff1a; Wireshark 工作原理 Wireshark通过捕获网络接口上的数据包&#xff0c;将其转换为可读的格式&#xff0c;并在界面…...

[OnWork.Tools]系列 04-快捷启动

简介 主要功能是将常用的软件拖动到软件中,实现快速点击启动,结合软件设置中的设置的快捷键,可以快速呼出对应的面板,使用快捷键快速启动应用 拖拽内容 拖拽快捷方式到面板,双击快速打开 拖拽文件方式到面板,双击快速打开 拖拽文件夹到面板双击快速打开 拖拽项目调整顺序 右…...

如何将项目挂后台运行?【nohup和tmux】

挂后台运行&#xff0c;防止霸屏。 线上的程序不会将日志输出到控制台&#xff0c;而是输出到日志文件&#xff0c;方便运维查阅信息。 一.nohup--挂后台运行的命令 //nohup--英文全称no hang up&#xff0c;可以后台运行指定命令 //hello.log是指将日志输出到hello.log文件 …...

什么是进程、线程、协程

什么是进程&#xff1f; 我们都知道计算机的核心是CPU&#xff0c;它承担了所有的计算任务&#xff1b;而操作系统是计算机的管理者&#xff0c;它负责任务的调度、资源的分配和管理&#xff0c;统领整个计算机硬件&#xff1b;应用程序则是具有某种功能的程序&#xff0c;程序…...

Python爬虫——selenium_访问元素信息

from selenium import webdriver# 创建浏览器对象 path files/chromedriver.exe browser webdriver.Chrome(path)# 访问地址 url https://www.baidu.com browser.get(url)input browser.find_element_by_id(su)获取元素属性 .get_attribute(class)print(input.get_attribu…...

Linux 文件基本属性

Linux 文件基本属性 Linux 系统是一种典型的多用户系统&#xff0c;不同的用户处于不同的地位&#xff0c;拥有不同的权限。 为了保护系统的安全性&#xff0c;Linux 系统对不同的用户访问同一文件&#xff08;包括目录文件&#xff09;的权限做了不同的规定。 在 Linux 中我…...

CSS 盒模型是什么?它包含哪些属性?标准盒模型/怪异盒模型

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 盒模型⭐ 标准盒模型⭐ 怪异盒模型⭐ 写在最后 ⭐ 专栏简介 前端入门之旅&#xff1a;探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专栏哦 几何带你启航前端之旅 欢迎来到前端入门之旅&#xff01;这个专栏是为那些对Web开发感…...

VB+SQL光盘信息管理系统设计与实现

摘 要 我的毕业设计课题为“光盘管理系统”,该系统完成光盘相关信息的输入、保存和维护、是按照方便用户、容易操作、确保数据一致完整的原则进行设计。这次毕业设计的开发工具是Visual Basic 6.0,操作平台是Windows2000 Professional中文版,选用的数据库后台是SQL server2…...

MySQL5.7数据库、Navicat Premium1.6可视化工具安装教程【详细教程】

文章目录 一、MySQL、Navicat、注册机地址二、安装&#xff08;一&#xff09;、MySQL安装&#xff08;二&#xff09;、Navicat Premium安装&#xff08;三&#xff09;、集活Navicat Premium 三、遇到的问题1、Are you sure your navicat has not beenpatched/modified befor…...

JVM 调优实例

点击下方关注我&#xff0c;然后右上角点击...“设为星标”&#xff0c;就能第一时间收到更新推送啦~~~ JVM提供了多种垃圾回收器&#xff0c;可以根据应用程序的需求选择最适合的垃圾回收器。例如&#xff0c;如果应用程序需要更快的响应时间&#xff0c;可以选择并行垃圾回收…...

Python numpy中的correlate相关性详解

看代码看见这个方法&#xff0c;记录一下&#xff0c;这个是人家官网的链接np.correlate 云里雾里的&#xff0c;其实就是两个数组点乘&#xff0c;不同模式就是错位点乘&#xff0c;直接看代码 a是原本的数组&#xff0c;v就是滤波器&#xff0c;对应相乘 import numpy as …...

用python实现xmind用例转换为excel/csv用例

from xmindparser import xmind_to_dict from openpyxl import Workbook# 解析XMind文件 xmind_file path/to/xmind/file.xmind xmind_data xmind_to_dict(xmind_file)# 创建Excel文件 excel_file path/to/excel/file.xlsx wb Workbook() ws wb.active# 定义用例表格的列名…...

Verdi VC Apps批量模式实战:如何用listRegisters.pl脚本高效提取寄存器列表(附常见报错解决方案)

Verdi VC Apps批量模式实战&#xff1a;如何用listRegisters.pl脚本高效提取寄存器列表&#xff08;附常见报错解决方案&#xff09; 在数字IC验证的日常工作中&#xff0c;寄存器列表的提取是一项基础但极其重要的工作。无论是覆盖率分析、寄存器模型生成还是调试效率提升&…...

影像诊断四剑客:B超、X光、CT、核磁共振如何各显神通

1. 影像诊断四剑客&#xff1a;谁是你的最佳拍档&#xff1f; 第一次去医院做影像检查时&#xff0c;面对医生开的B超、X光、CT、核磁共振检查单&#xff0c;你是不是也一头雾水&#xff1f;这四种检查看起来都很高科技&#xff0c;但价格相差悬殊&#xff0c;等待时间也各不相…...

告别硬接线!用Wireshark抓包实战解析IEC 61850 GOOSE报文(附报文文件)

实战解析IEC 61850 GOOSE报文&#xff1a;从抓包到故障排查全流程 在变电站自动化系统中&#xff0c;GOOSE&#xff08;Generic Object Oriented Substation Event&#xff09;报文扮演着至关重要的角色。这种基于以太网多播的通信机制&#xff0c;已经彻底改变了传统IED&#…...

如何通过手机号快速找回QQ号:开源工具的3分钟解决方案

如何通过手机号快速找回QQ号&#xff1a;开源工具的3分钟解决方案 【免费下载链接】phone2qq 项目地址: https://gitcode.com/gh_mirrors/ph/phone2qq 在数字生活中&#xff0c;你是否曾因忘记QQ账号而焦急万分&#xff1f;手机更换、系统重装或长期未登录&#xff0c;…...

STM32上跑矩阵运算老是卡死?可能是你没避开CMSIS-DSP库的这些‘坑’

STM32上跑矩阵运算老是卡死&#xff1f;可能是你没避开CMSIS-DSP库的这些‘坑’ 当你第一次在STM32上尝试使用CMSIS-DSP库进行矩阵运算时&#xff0c;那种兴奋感很快就会被现实浇灭——程序莫名其妙地卡死、计算结果全错&#xff0c;或者性能远低于预期。这不是你的错&#xf…...

GetQzonehistory:你的QQ空间数字记忆终极备份方案

GetQzonehistory&#xff1a;你的QQ空间数字记忆终极备份方案 【免费下载链接】GetQzonehistory 获取QQ空间发布的历史说说 项目地址: https://gitcode.com/GitHub_Trending/ge/GetQzonehistory 在数字时代&#xff0c;我们的记忆分散在各个社交平台&#xff0c;QQ空间作…...

文墨共鸣大模型Dify平台无缝集成:可视化构建AI文本处理应用

文墨共鸣大模型Dify平台无缝集成&#xff1a;可视化构建AI文本处理应用 你是不是也遇到过这样的场景&#xff1a;手头有一个很棒的AI大模型&#xff0c;比如文墨共鸣&#xff0c;但每次想用它做点事情&#xff0c;都得写代码、调接口&#xff0c;过程繁琐&#xff0c;门槛不低…...

macOS 强制运行拦截程序

当你从 Chrome、Safari 或其它网络渠道下载文件时&#xff0c;macOS 会自动给这个文件贴上一张“隐形贴纸”&#xff0c;名字就叫 com.apple.quarantine。系统的逻辑&#xff1a; 当你双击运行一个文件时&#xff0c;系统的 Gatekeeper会先检查有没有这张贴纸。拦截逻辑&#x…...

【C# .NET 11 AI推理加速权威指南】:5大零拷贝内存优化+3层GPU绑定策略,实测吞吐提升4.7倍(含微软内部验证数据)

第一章&#xff1a;C# .NET 11 AI推理加速安全性最佳方案总览.NET 11 引入了原生 AI 推理加速支持与深度安全增强机制&#xff0c;为 C# 开发者构建高性能、可验证、低延迟的 AI 应用提供了统一平台。其核心围绕 ONNX Runtime 集成优化、硬件加速抽象层&#xff08;HAL&#xf…...

nanobot快速入门:超轻量级AI助手部署,支持QQ机器人智能回复

nanobot快速入门&#xff1a;超轻量级AI助手部署&#xff0c;支持QQ机器人智能回复 1. nanobot简介与核心优势 nanobot是一款受OpenClaw启发的超轻量级个人人工智能助手&#xff0c;其核心设计理念是用最精简的代码实现最实用的AI助手功能。与传统AI助手动辄数十万行代码的庞…...