当前位置： 首页 > news >正文

AutoModelForCausalLM.from_pretrained 函数调用本地权重报错

news 2026/2/10 4:38:18

文章目录

  • 1、代码报错的位置（前情提要）
    • finetune_lora.sh
    • fintune_clm_lora.py
  • 2、报错截图
    • 2.1、huggingfaces上的 meta-llama/Llama-2-7b-chat-hf
    • 2.2、服务器上模型文件路径
  • 3、特别注意事项

1、代码报错的位置（前情提要）

在终端直接运行finetune_lora.sh文件，–model_name_or_path该参数是指定加载的模型权重，可以是huggingface上的model_name，也可以使本地保存模型权重的路径。

使用默认的模型参数配置是（meta-llama/Llama-2-7b-chat-hf），该情况下模型权重会直接去huggingface官网上去下载。

finetune_lora.sh

在这里插入图片描述

fintune_clm_lora.py

–model_name_or_path 参数会在这里作为 AutoModelForCausalLM.from_pretrained 函数的参数

在这里插入图片描述

2、报错截图

服务器无法直接访问huggingface网站，因此只能采用指定本地模型路径的方法。（需要先申请并下载模型权重）

在这里插入图片描述

2.1、huggingfaces上的 meta-llama/Llama-2-7b-chat-hf

这个是需要去meta website申请之后，再在huggingface的meta_llama项目下再提交一次信息才可以查看和下载这些信息

权重文件有【.safetensor】 【.bin】两种，默认是加载.safetensor权重文件

在这里插入图片描述

2.2、服务器上模型文件路径

两种权重其实都可以使用，大小都一致，要想只使用.bin权重文件，需要删除.safetensor文件和对应的.safetensor.index.json文件才可以。

在这里插入图片描述

3、特别注意事项

若只想使用.bin权重文件，但是.bin.index.json文件有残留，运行就会报错找不到.safetensor权重文件。

可以侧面看出AutoModelForCausalLM.from_pretrained 函数是根据json文件进行读取对应的权重文件（同门李伟发现！）

在这里插入图片描述

相关文章：

AutoModelForCausalLM.from_pretrained 函数调用本地权重报错

文章目录 1、代码报错的位置（前情提要）finetune_lora.shfintune_clm_lora.py 2、报错截图2.1、huggingfaces上的 meta-llama/Llama-2-7b-chat-hf2.2、服务器上模型文件路径 3、特别注意事项 1、代码报错的位置（前情提要） 在终端直…...

编程日记 2024/5/15 2:49:24

【qt】动态属性

这里写目录标题 一.属性1.属性的好处2.添加属性3.使用属性 二.只读属性 一.属性 1.属性的好处 说到属性（property），你们会想到什么？我会联想到特点，就是一类对象所特有的，在C中，成员数据就是这…...

编程日记 2024/5/15 2:47:22

Git知识点总结

目录 1、版本控制 1.1什么是版本控制 1.2常见的版本控制工具 1.3版本控制分类 2、集中版本控制 SVN 3、分布式版本控制 Git 2、Git与SVN的主要区别 3、软件下载 安装：无脑下一步即可！安装完毕就可以使用了！ 4、启动Git 4.1常用的Li…...

编程日记 2024/5/15 2:46:21

【数据库】数据库指令

一。数据库打开 1.命令行 2.进入mysql mysql -uroot -p密码 3.退出 exit； 二。针对数据库的操作 1.创建数据库（有分号） create database student; 2.使用数据库 use student 3.删除数据库（有分号） drop database…...

编程日记 2024/5/15 2:45:19

设计模式——状态模式（State）

状态模式（State Pattern）是一种行为设计模式，它允许一个对象在其内部状态改变时改变它的行为。对象看起来似乎修改了它的类。状态模式通过把对象的每一个状态都封装到一个单独的类中，并将请求委托给当前状态对象来让状态的变化与行…...

编程日记 2024/5/15 2:44:18

理解打包好的vue项目结构dist包

目录 linux查询dist目录整体解释子目录文件解释CSSFONTSJS linux查询dist目录 roothcss-ecs-7881:/www/java_project/dist# ls -l total 3004 drwxr-xr-x 2 root root 4096 Dec 31 10:15 css -rw-r--r-- 1 root root 4286 Dec 31 10:15 favicon.ico drwxr-xr-x 2 root r…...

编程日记 2024/5/15 2:43:17

24深圳杯C题18页高质量论文＋可执行代码＋图表

比赛题目的完整版思路可执行代码数据参考论文都会在第一时间更新上传的，大家可以参考我往期的资料，所有的资料数据以及到最后更新的参考论文都是一次付费后续免费的。注意：（建议先下单占坑，因为随着后续我们更新资料数…...

编程日记 2024/5/15 2:41:14

Midjourney Imagine API 申请及使用

Midjourney Imagine API 申请及使用 申请流程 要使用 Midjourney Imagine API，首先可以到 Midjourney Imagine API 页面点击「Acquire」按钮，获取请求所需要的凭证： 如果你尚未登录或注册，会自动跳转到登录页面邀请您来注册和登…...

编程日记 2024/5/15 2:39:12

电子邮箱是什么？怎么申请一个电子邮箱？

电子邮箱是我们沟通的工具，细分为免费版电子邮箱和付费版电子邮箱。怎么申请一个属于自己的电子邮箱？今天小编就分享一下电子邮箱注册教程，手把手教您注册一个电子邮箱。 一、电子邮箱的定义 电子邮箱，简称邮箱，是一…...

编程日记 2024/5/15 2:36:09

C++ 并发编程指南（11）原子操作 | 11.4、通过内存序实现顺序模型

文章目录 一、通过内存序实现顺序模型1、Relaxed Ordering2、Sequencial Consistent Ordering3、Acquire Release Ordering 前言 前文介绍了六种内存顺序，以及三种内存模型，本文通过代码示例讲解六种内存顺序使用方法，并实现相应的内存模型。…...

编程日记 2024/5/15 2:35:08

【数据结构】栈和队列专题

前言 上篇博客我们讨论了栈和队列的有关结构，本篇博客我们继续来讨论有关栈和队列习题 这些题算是经典了 💓 个人主页：小张同学zkf ⏩ 文章专栏：数据结构 若有问题 评论区见📝 🎉欢迎大家点赞&#x1f44d…...

编程日记 2024/5/15 2:34:07

2024年程序员最应该关注的几件事？

对于程序员而言，技术和行业趋势的演变是持续关注的焦点。以下是几件2024年程序员应该关注的事情： 持续学习新技术：技术领域的快速变化要求程序员不断更新自己的技能集，包括编程语言、框架、工具和最佳实践。 人工智能与机器学习&…...

编程日记 2024/5/15 2:33:06

【初阶数据结构】单链表基础OJ题讲解

前言 📚作者简介：爱编程的小马，正在学习C/C，Linux及MySQL。 📚本文收录与初阶数据结构系列，本专栏主要是针对时间、空间复杂度，顺序表和链表、栈和队列、二叉树以及各类排序算法，持…...

编程日记 2024/5/15 2:32:05

基于Java的俄罗斯方块游戏的设计与实现

关于俄罗斯方块项目源码.zip资源-CSDN文库https://download.csdn.net/download/JW_559/89300281 基于Java的俄罗斯方块游戏的设计与实现 摘 要 俄罗斯方块是一款风靡全球，从一开始到现在都一直经久不衰的电脑、手机、掌上游戏机产品，是一款游戏规则简单…...

编程日记 2024/5/15 2:30:02

Hadoop 3.4.0+HBase2.5.8+ZooKeeper3.8.4+Hive+Sqoop 分布式高可用集群部署安装 大数据系列二

创建服务器,参考 虚拟机创建服务器 节点名字节点IP系统版本master11192.168.50.11centos 8.5slave12192.168.50.12centos 8.5slave13192.168.50.13centos 8.5 1 下载组件 Hadoop:官网地址 Hbase:官网地址 ZooKeeper:官网下载 Hive:官网下载 Sqoop:官网下载 为方便同学…...

编程日记 2024/5/15 2:29:00

umi搭建react项目

UMI 是一个基于 React 的可扩展企业级前端应用框架，提供路由、状态管理、构建和部署等功能，可以帮助开发者快速构建复杂的单页面应用（SPA）和多页面应用（MPA）。它与 React 的关系是，UMI 构建在 R…...

编程日记 2024/5/15 2:27:59

mybatis-plus之数据源切换事务失效问题

为什么存在数据源切换和食物时效问题？ 由于业务数据来源不同 需要配置多个数据源来进行数据的查询 编辑等操作 这一切换业务对数据的一致性要求很高那就要保证ACID啦 也就是数据的有效性 要么是成功的 要么是失败的。 数据源切换采用mybatisplus支持 多数据源配置&a…...

编程日记 2024/5/15 2:26:58

vue 百度地图点击marker修改marker图片，其他marker图片不变。

解决思路，就是直接替换对应marker的图片。获取marker对象判断点击的marker替换成新图片，上一个被点击的就替换成老图片。 marker.name tag;marker.id i; //一定要设置id，我这里是设置的循环key值，要唯一性。map.addOverlay(mark…...

编程日记 2024/5/15 2:25:54

【Javaer学习Python】 1、Django安装

安装 Python 和 PyCharm 的方法就略过了，附一个有效激活PyCharm的链接：https://www.quanxiaoha.com/pycharm-pojie/pycharm-pojie-20241.html 1、安装Django # 安装Django pip install Django# 查看当前版本 python -m django --version 5.0.62、创建项…...

编程日记 2024/5/15 2:23:51

SSL协议

SSL 安全传输协议（安全套接层） 也叫TLS ---- 传输层安全协议 SSL的工作原理：SSL协议因为是基于TCP协议工作的，通信双方需要先建立TCP会话。因为SSL协议需要进行安全保证，需要协商安全参数，所以也需要建立…...

编程日记 2024/5/15 2:22:49

阿里云ACP云计算备考笔记 (5)——弹性伸缩

目录 第一章 概述 第二章 弹性伸缩简介 1、弹性伸缩 2、垂直伸缩 3、优势 4、应用场景 ① 无规律的业务量波动 ② 有规律的业务量波动 ③ 无明显业务量波动 ④ 混合型业务 ⑤ 消息通知 ⑥ 生命周期挂钩 ⑦ 自定义方式 ⑧ 滚的升级 5、使用限制 第三章 主要定义 …...

编程新知 2026/1/22 6:07:24

Debian系统简介

目录 Debian系统介绍 Debian版本介绍 Debian软件源介绍 软件包管理工具dpkg dpkg核心指令详解 安装软件包 卸载软件包 查询软件包状态 验证软件包完整性 手动处理依赖关系 dpkg vs apt Debian系统介绍 Debian 和 Ubuntu 都是基于 Debian内核 的 Linux 发行版&#xff…...

编程新知 2026/2/1 13:41:09

什么是EULA和DPA

文章目录 EULA（End User License Agreement）DPA（Data Protection Agreement）一、定义与背景二、核心内容三、法律效力与责任四、实际应用与意义 EULA（End User License Agreement） 定义： EULA即…...

编程新知 2025/10/18 7:13:10

JUC笔记(上)-复习 涉及死锁 volatile synchronized CAS 原子操作

一、上下文切换 即使单核CPU也可以进行多线程执行代码，CPU会给每个线程分配CPU时间片来实现这个机制。时间片非常短，所以CPU会不断地切换线程执行，从而让我们感觉多个线程是同时执行的。时间片一般是十几毫秒(ms)。通过时间片分配算法执行。…...

编程新知 2026/1/31 23:25:09

代码规范和架构【立芯理论一】（2025.06.08）

1、代码规范的目标 代码简洁精炼、美观，可持续性好高效率高复用，可移植性好高内聚，低耦合没有冗余规范性，代码有规可循，可以看出自己当时的思考过程特殊排版，特殊语法，特殊指令，必须…...

编程新知 2026/1/28 11:47:09

Web后端基础(基础知识)

BS架构：Browser/Server，浏览器/服务器架构模式。客户端只需要浏览器，应用程序的逻辑和数据都存储在服务端。 优点：维护方便缺点：体验一般 CS架构：Client/Server，客户端/服务器架构模式。需要单独…...

编程新知 2026/2/2 0:52:30

离线语音识别方案分析

随着人工智能技术的不断发展，语音识别技术也得到了广泛的应用，从智能家居到车载系统，语音识别正在改变我们与设备的交互方式。尤其是离线语音识别，由于其在没有网络连接的情况下仍然能提供稳定、准确的语音处理能力，广…...

编程新知 2025/9/22 13:00:25

DAY 45 超大力王爱学Python

来自超大力王的友情提示：在用tensordoard的时候一定一定要用绝对位置，例如：tensorboard --logdir"D:\代码\archive (1)\runs\cifar10_mlp_experiment_2" 不然读取不了数据 知识点回顾： tensorboard的发展历史和原理tens…...

编程新知 2026/1/24 1:45:30

如何把工业通信协议转换成http websocket

1.现状 工业通信协议多数工作在边缘设备上，比如：PLC、IOT盒子等。上层业务系统需要根据不同的工业协议做对应开发，当设备上用的是modbus从站时，采集设备数据需要开发modbus主站；当设备上用的是西门子PN协议时&#xf…...

编程新知 2026/2/8 19:10:03

CppCon 2015 学习:Simple, Extensible Pattern Matching in C++14

什么是 Pattern Matching（模式匹配） ❝ 模式匹配就是一种“描述式”的写法，不需要你手动判断、提取数据，而是直接描述你希望的数据结构是什么样子，系统自动判断并提取。❞ 你给的定义拆解： ✴ Instead of …...

编程新知 2026/1/11 9:41:00