[linux] Qwen2Tokenizer报错 transformers版本问题
上午没问题，下午pull了新代码，就有了报错。。
发现是transformers版本问题。但。。其实我都默认安的是最新版本。。
也许这就是人生吧。。
报错：
File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 213, in build_tokenizertokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__self.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedraise ValueError(raise ValueError(
ValueError ValueErrorraise ValueError(: :
Tokenizer class Qwen2Tokenizer does not exist or is not currently imported.Tokenizer class Qwen2Tokenizer does not exist or is not currently imported.raise ValueError(raise ValueError( ValueError
raise ValueError(解决方案：
原本的：
pip install -U transformers -i https://pypi.doubanio.com/simple/
改成：
pip install transformers==4.40 -i https://mirrors.aliyun.com/pypi/simple/Successfully installed huggingface-hub-0.23.3 safetensors-0.4.3 tokenizers-0.19.1 transformers-4.41.2
相关文章：
[linux] Qwen2Tokenizer报错 transformers版本问题
上午没问题，下午pull了新代码，就有了报错。。 发现是transformers版本问题。但。。其实我都默认安的是最新版本。。 也许这就是人生吧。。 报错： File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 213…...
算法刷题笔记 单链表（C++实现）
文章目录 题目描述基本思路实现代码 题目描述 实现一个单链表，链表初始为空，支持三种操作： 向链表头插入一个数；删除第 k个插入的数后面的一个数；在第 k个插入的数后插入一个数。 现在要对该链表进行M次操作&#x…...
Oracle 排查慢SQL
Oracle 排查慢SQL select * from v s q l a r e a w h e r e r o w n u m < 10 ; s e l e c t ∗ f r o m v sqlarea where rownum<10; select * from v sqlareawhererownum<10;select∗fromvsql where rownum<10; select * from dba_hist_sqltext where rownum<…...
java技术专家面试指南80问【java学习+面试宝典】（七）
Dubbo需要 Web 容器吗？ 不需要，如果硬要用 Web 容器，只会增加复杂性，也浪费资源。 PrintStream、BufferedWriter、PrintWriter的比较? PrintStream类的输出功能非常强大，通常如果需要输出文本内容，都应…...
4机器学习期末复习
在机器学习中，数据清洗与转换包括哪些内容？ 对数据进行初步的预处理，需要将其转换为一种适合机器学习模型的表示形式对许多模型类型来说，这种表示就是包含数值数据的向量或者矩阵： 1）将类别数据编码成为对…...
chatgpt: int t[] int *t 区别
在C语言中，int t[]和int *t虽然在某些情况下可以相互替换，但它们有一些关键的区别。这些区别主要体现在声明的语义、内存分配方式和使用场景上。以下是详细的解释： ### 1. int t[] #### 语义: - int t[]声明了一个数组，t是一个数…...
网络安全技术实验六 入侵检测技术实践
一、实验目的和要求 理解基于网络的入侵检测系统的基本原理，掌握snort IDS工作机理； 学习应用snort三种方式工作；熟练编写snort规则； 完成snort数据包记录、日志查看、字符串匹配、ARP欺骗攻击检测、端口扫描工具检测等功能。 …...
SpringBoot中获取当前请求的request和response
在Spring Boot中，你可以以多种方式获取当前请求的HttpServletRequest和HttpServletResponse对象。以下是几种常见的写法示例： 1. 在方法参数中声明 最常见和推荐的方式是在控制器方法的参数中直接声明HttpServletRequest和HttpServletResponse对象。Sp…...
Neo4j 桌面版打不开踩坑贴
真的踩坑。。。没有人告诉我为啥桌面版和社区版不能一起下啊！！ 我是先下载了社区版之后再下载的桌面版，结果桌面版界面一直打不开。 尝试了网上多种办法都没效果，好多都是说jdk不兼容导致无法打开，让我从JDK 17 ->…...
[数据集][目标检测]中国象棋检测数据集VOC+YOLO格式300张12类别
数据集格式：Pascal VOC格式YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：300 标注数量(xml文件个数)：300 标注数量(txt文件个数)：300 标注类别…...
全方位·多层次·智能化，漫途水库大坝安全监测方案
党的十九届五中全会提出，到2025年前，完成新出现病险水库的除险加固，配套完善重点小型水库雨水情和安全监测设施，实现水库安全鉴定和除险加固常态化。 加快推进小型水库除险加固。加快构建气象卫星和测雨雷达、雨量站、水文站组成…...
windows安装SQLyog
windows安装SQLyog 1. 下载 SQLyog 安装包 访问 SQLyog 的官方网站。在网站上找到下载链接，通常会有一个“Download”或“Try Now”按钮。如果需要注册或填写信息以获取下载链接，请按提示操作。 2. 运行安装程序 下载完成后，双击运行下载…...
jEasyUI 转换 HTML 表格为数据网格
jEasyUI 转换 HTML 表格为数据网格 jEasyUI 是一个基于 jQuery 的框架，它为用户提供了一套完整的用户界面组件，使得网页开发变得更加简单快捷。在本文中，我们将探讨如何使用 jEasyUI 将一个普通的 HTML 表格转换为功能丰富的数据网格（datagrid）。 为什么使用数据网格？ …...
深度解析RocketMq源码-持久化组件（一） MappedFile
1. 绪论 rocketmq之所以能够有如此大的吞吐量，离不开两个组件，一个是利用netty实现的高性能网络通信组件；另一个就是利用mmap技术实现的存储组件。而在rocketmq的存储组件中主要有三个组件，分别是持久化文件commitLog，…...
贝壳APP渗透测试WP
前期配置 环境说明 使用PIXEL 4手机，为Android 12系统 APP名为贝壳找房，包名com.lianjia.beike，版本号3.01.10，截至2024/05/07为最新版，小米应用市场下载 绕过反Frida机制 可以参考往期推送，《绕过最新…...
IDEA快速入门02-快速入门
二、快速入门 2.1 打开IDEA,点击New一个项目 入口，依次打开 File -> New -> Project。 2.2 使用Spring Initializr方式构建Spring Boot项目 2.3 设置项目所属组、项目名称、java版本等 2.4 选择SpringBoot版本及依赖组件 点击Create进行创建。 2.6 创建成…...
快速构建本地RAG聊天机器人：使用LangFlow和Ollama实现无代码开发
基于LangChain的快速RAG应用原型制作方法 还记得构建智能聊天机器人需要数月编码的日子吗？ LangChain这样的框架确实简化了开发流程，但对非程序员来说，数百行代码仍然是一道门槛。 有没有更简单的方法呢？ 图片由 Ravi Palwe 在…...
关于使用pycharm中控制台运行代码错误之FileNotFoundError: [Errno 2] No such file or directory:
在使用pycharm环境下复现《python编程：从入门到实践》这本书第16.1.1内容中分析csv文件头一节的代码时出现如下问题： 1、文章中使用的数据来源问题 直接参考本站Kenny C同学的文章提供内容即可。 https://github.com/kenidi8215/Hello-World 打开网页&a…...
【SpringBoot】深入分析 SpringApplication 源码：彻底理解 SpringBoot 启动流程
在黄昏的余晖里，梦境渐浓，如烟如雾。心随星辰，徜徉远方，岁月静好，愿如此刻般绵长。 文章目录 前言一、SpringBoot 应用二、SpringApplication2.1 SpringApplication 中的属性2.2 SpringApplication 的构造器2.3 Sprin…...
边界内聚和耦合
内聚 功能内聚 功能内聚是软件工程中一个重要的概念，它描述了一个模块内部各个元素之间的紧密程度。一个具有高功能内聚的模块意味着其内部的各个组件都共同完成一个具体的、明确的功能，并且这些组件之间的联系不是偶然的，而是因为它们共同服…...
宠物店主的福音：用LongCat一键生成宠物服装电商主图，省时省力
宠物店主的福音：用LongCat一键生成宠物服装电商主图，省时省力 1. 为什么宠物店主需要AI图片编辑工具 开宠物店的朋友们都知道，商品主图的质量直接影响销量。一件宠物小衣服，如果只是平铺拍摄或者随便套在模特身上，很…...
5分钟掌握：billd-desk跨平台远程控制高效解决方案
5分钟掌握：billd-desk跨平台远程控制高效解决方案 【免费下载链接】billd-desk 基于Vue3 WebRTC Nodejs Flutter搭建的远程桌面控制 项目地址: https://gitcode.com/gh_mirrors/bi/billd-desk 还在为远程办公的卡顿和限制而烦恼吗？当你急需远程…...
5步释放游戏潜能：面向玩家的原神帧率解锁完全指南
5步释放游戏潜能：面向玩家的原神帧率解锁完全指南 【免费下载链接】genshin-fps-unlock unlocks the 60 fps cap 项目地址: https://gitcode.com/gh_mirrors/ge/genshin-fps-unlock 一、问题发现：为什么你的高端显卡在原神中无法全力奔跑…...
别再只查列表了！Flowable 7.x 待办任务‘状态’字段的实战设计与前端动态渲染
Flowable 7.x 待办任务状态引擎设计与前端动态交互实战 在当今企业级应用开发中，工作流引擎已成为复杂业务流程管理的核心基础设施。作为Activiti的下一代产品，Flowable 7.x在任务状态管理和前后端协同方面提供了更强大的能力。本文将深入探讨如何基于Fl…...
在Ubuntu 20.04上搞定Synopsys SpyGlass 2016：一份针对高内核版本的详细避坑指南
在Ubuntu 20.04上搞定Synopsys SpyGlass 2016：一份针对高内核版本的详细避坑指南 当IC设计工程师遇到Ubuntu 20.04与SpyGlass 2016的版本冲突时，那种熟悉的挫败感往往伴随着终端里红色的报错信息一起涌现。这不是简单的"安装-运行"问题&#x…...
FlexRay帧格式拆解：从Header到Trailer，手把手教你读懂汽车总线的‘数据包’
FlexRay帧格式实战解析：像拆解网络包一样掌握汽车总线通信 在汽车电子系统开发中，理解总线协议就像网络工程师需要精通TCP/IP一样重要。FlexRay作为高性能车载网络的核心协议，其帧格式设计既体现了汽车电子对确定性的严苛要求，又融…...
Blender 3MF插件终极指南：从零开始掌握3D打印文件格式
Blender 3MF插件终极指南：从零开始掌握3D打印文件格式 【免费下载链接】Blender3mfFormat Blender add-on to import/export 3MF files 项目地址: https://gitcode.com/gh_mirrors/bl/Blender3mfFormat 3MF（3D Manufacturing Format）格…...
从Dify到Coze再回来：一个后端开发用Gin+Swagger构建AI工作流的踩坑实录
从Dify到Coze再回来：一个后端开发用GinSwagger构建AI工作流的踩坑实录 作为一名长期使用Gin框架的后端开发者，当我第一次尝试将现有服务接入Dify平台构建AI工作流时，本以为会是一次顺畅的旅程。毕竟，我们的API已经通过Swagger 2.0…...
基于 SpringBoot 的自助图书借阅管理系统源码讲解
以下是一个基于 SpringBoot 的自助图书借阅管理系统的 核心源码讲解，涵盖用户管理、图书管理、借阅管理、设备对接等关键模块，代码结构清晰，可直接用于学习或二次开发。一、项目结构src/main/java/com/library/ ├── config/ # 配…...
Ubuntu系统磁盘管理
要在Ubuntu系统中开机自动挂载AWS EBS卷（设备名为/dev/xvdd），需通过**/etc/fstab文件**配置自动挂载规则。以下是完整步骤（含前提条件、命令和验证）： 一、前提条件 确认磁盘状态：/dev/xvdd需已…...