[linux] Qwen2Tokenizer报错 transformers版本问题
上午没问题，下午pull了新代码，就有了报错。。
发现是transformers版本问题。但。。其实我都默认安的是最新版本。。
也许这就是人生吧。。
报错：
File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 213, in build_tokenizertokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__self.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedraise ValueError(raise ValueError(
ValueError ValueErrorraise ValueError(: :
Tokenizer class Qwen2Tokenizer does not exist or is not currently imported.Tokenizer class Qwen2Tokenizer does not exist or is not currently imported.raise ValueError(raise ValueError( ValueError
raise ValueError(解决方案：
原本的：
pip install -U transformers -i https://pypi.doubanio.com/simple/
改成：
pip install transformers==4.40 -i https://mirrors.aliyun.com/pypi/simple/Successfully installed huggingface-hub-0.23.3 safetensors-0.4.3 tokenizers-0.19.1 transformers-4.41.2
相关文章：
[linux] Qwen2Tokenizer报错 transformers版本问题
上午没问题，下午pull了新代码，就有了报错。。 发现是transformers版本问题。但。。其实我都默认安的是最新版本。。 也许这就是人生吧。。 报错： File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 213…...
算法刷题笔记 单链表（C++实现）
文章目录 题目描述基本思路实现代码 题目描述 实现一个单链表，链表初始为空，支持三种操作： 向链表头插入一个数；删除第 k个插入的数后面的一个数；在第 k个插入的数后插入一个数。 现在要对该链表进行M次操作&#x…...
Oracle 排查慢SQL
Oracle 排查慢SQL select * from v s q l a r e a w h e r e r o w n u m < 10 ; s e l e c t ∗ f r o m v sqlarea where rownum<10; select * from v sqlareawhererownum<10;select∗fromvsql where rownum<10; select * from dba_hist_sqltext where rownum<…...
java技术专家面试指南80问【java学习+面试宝典】（七）
Dubbo需要 Web 容器吗？ 不需要，如果硬要用 Web 容器，只会增加复杂性，也浪费资源。 PrintStream、BufferedWriter、PrintWriter的比较? PrintStream类的输出功能非常强大，通常如果需要输出文本内容，都应…...
4机器学习期末复习
在机器学习中，数据清洗与转换包括哪些内容？ 对数据进行初步的预处理，需要将其转换为一种适合机器学习模型的表示形式对许多模型类型来说，这种表示就是包含数值数据的向量或者矩阵： 1）将类别数据编码成为对…...
chatgpt: int t[] int *t 区别
在C语言中，int t[]和int *t虽然在某些情况下可以相互替换，但它们有一些关键的区别。这些区别主要体现在声明的语义、内存分配方式和使用场景上。以下是详细的解释： ### 1. int t[] #### 语义: - int t[]声明了一个数组，t是一个数…...
网络安全技术实验六 入侵检测技术实践
一、实验目的和要求 理解基于网络的入侵检测系统的基本原理，掌握snort IDS工作机理； 学习应用snort三种方式工作；熟练编写snort规则； 完成snort数据包记录、日志查看、字符串匹配、ARP欺骗攻击检测、端口扫描工具检测等功能。 …...
SpringBoot中获取当前请求的request和response
在Spring Boot中，你可以以多种方式获取当前请求的HttpServletRequest和HttpServletResponse对象。以下是几种常见的写法示例： 1. 在方法参数中声明 最常见和推荐的方式是在控制器方法的参数中直接声明HttpServletRequest和HttpServletResponse对象。Sp…...
Neo4j 桌面版打不开踩坑贴
真的踩坑。。。没有人告诉我为啥桌面版和社区版不能一起下啊！！ 我是先下载了社区版之后再下载的桌面版，结果桌面版界面一直打不开。 尝试了网上多种办法都没效果，好多都是说jdk不兼容导致无法打开，让我从JDK 17 ->…...
[数据集][目标检测]中国象棋检测数据集VOC+YOLO格式300张12类别
数据集格式：Pascal VOC格式YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：300 标注数量(xml文件个数)：300 标注数量(txt文件个数)：300 标注类别…...
全方位·多层次·智能化，漫途水库大坝安全监测方案
党的十九届五中全会提出，到2025年前，完成新出现病险水库的除险加固，配套完善重点小型水库雨水情和安全监测设施，实现水库安全鉴定和除险加固常态化。 加快推进小型水库除险加固。加快构建气象卫星和测雨雷达、雨量站、水文站组成…...
windows安装SQLyog
windows安装SQLyog 1. 下载 SQLyog 安装包 访问 SQLyog 的官方网站。在网站上找到下载链接，通常会有一个“Download”或“Try Now”按钮。如果需要注册或填写信息以获取下载链接，请按提示操作。 2. 运行安装程序 下载完成后，双击运行下载…...
jEasyUI 转换 HTML 表格为数据网格
jEasyUI 转换 HTML 表格为数据网格 jEasyUI 是一个基于 jQuery 的框架，它为用户提供了一套完整的用户界面组件，使得网页开发变得更加简单快捷。在本文中，我们将探讨如何使用 jEasyUI 将一个普通的 HTML 表格转换为功能丰富的数据网格（datagrid）。 为什么使用数据网格？ …...
深度解析RocketMq源码-持久化组件（一） MappedFile
1. 绪论 rocketmq之所以能够有如此大的吞吐量，离不开两个组件，一个是利用netty实现的高性能网络通信组件；另一个就是利用mmap技术实现的存储组件。而在rocketmq的存储组件中主要有三个组件，分别是持久化文件commitLog，…...
贝壳APP渗透测试WP
前期配置 环境说明 使用PIXEL 4手机，为Android 12系统 APP名为贝壳找房，包名com.lianjia.beike，版本号3.01.10，截至2024/05/07为最新版，小米应用市场下载 绕过反Frida机制 可以参考往期推送，《绕过最新…...
IDEA快速入门02-快速入门
二、快速入门 2.1 打开IDEA,点击New一个项目 入口，依次打开 File -> New -> Project。 2.2 使用Spring Initializr方式构建Spring Boot项目 2.3 设置项目所属组、项目名称、java版本等 2.4 选择SpringBoot版本及依赖组件 点击Create进行创建。 2.6 创建成…...
快速构建本地RAG聊天机器人：使用LangFlow和Ollama实现无代码开发
基于LangChain的快速RAG应用原型制作方法 还记得构建智能聊天机器人需要数月编码的日子吗？ LangChain这样的框架确实简化了开发流程，但对非程序员来说，数百行代码仍然是一道门槛。 有没有更简单的方法呢？ 图片由 Ravi Palwe 在…...
关于使用pycharm中控制台运行代码错误之FileNotFoundError: [Errno 2] No such file or directory:
在使用pycharm环境下复现《python编程：从入门到实践》这本书第16.1.1内容中分析csv文件头一节的代码时出现如下问题： 1、文章中使用的数据来源问题 直接参考本站Kenny C同学的文章提供内容即可。 https://github.com/kenidi8215/Hello-World 打开网页&a…...
【SpringBoot】深入分析 SpringApplication 源码：彻底理解 SpringBoot 启动流程
在黄昏的余晖里，梦境渐浓，如烟如雾。心随星辰，徜徉远方，岁月静好，愿如此刻般绵长。 文章目录 前言一、SpringBoot 应用二、SpringApplication2.1 SpringApplication 中的属性2.2 SpringApplication 的构造器2.3 Sprin…...
边界内聚和耦合
内聚 功能内聚 功能内聚是软件工程中一个重要的概念，它描述了一个模块内部各个元素之间的紧密程度。一个具有高功能内聚的模块意味着其内部的各个组件都共同完成一个具体的、明确的功能，并且这些组件之间的联系不是偶然的，而是因为它们共同服…...
Java结构化并发崩溃了？手把手教你用VirtualThread+StructuredTaskScope定位线程泄漏与作用域越界（附JDK21真机调试录屏）
第一章：Java结构化并发崩溃了？手把手教你用VirtualThreadStructuredTaskScope定位线程泄漏与作用域越界（附JDK21真机调试录屏）Java 21 正式引入结构化并发（Structured Concurrency），其核心组件 …...
BG3ModManager模组管理工具完全指南
BG3ModManager模组管理工具完全指南 【免费下载链接】BG3ModManager A mod manager for Baldurs Gate 3. 项目地址: https://gitcode.com/gh_mirrors/bg/BG3ModManager 一、初识BG3ModManager BG3ModManager作为《博德之门3》的专用模组管理工具，为玩家提供…...
石油勘探中的地震波“翻译官”：如何读懂时距曲线图里的地下秘密？
石油勘探中的地震波“翻译官”：如何读懂时距曲线图里的地下秘密？ 站在戈壁滩的勘探营地，望着屏幕上那些看似杂乱的波形曲线，刚入行的地质工程师小李皱起了眉头。"这些弯弯曲曲的线条，到底在诉说什么样的地下故事&…...
AD快捷键避坑指南：为什么你的自定义快捷键总是不生效？
AD快捷键避坑指南：为什么你的自定义快捷键总是不生效？ 在AD（Altium Designer）这个功能强大的电子设计自动化软件中，快捷键是提升工作效率的利器。但很多用户都遇到过这样的困扰：明明按照教程设置了自定义快…...
运算放大器入门难？这篇超详细运算放大器原理与应用指南帮你轻松上手！
1. 运算放大器到底是什么？ 第一次接触运算放大器时，我也被这个专业名词吓到了。但后来发现，它其实就是个"超级放大镜"——能把微弱的电信号放大成千上万倍。想象一下医生用的听诊器，它能将微弱的心跳声放大到清晰可闻&a…...
从零搭建无人船：两年实战后，我总结的ArduPilot+Pixhawk避坑全流程
从零搭建无人船：两年实战后，我总结的ArduPilotPixhawk避坑全流程 第一次把无人船放进水里时，GPS信号突然丢失，船体在河中央失控打转——这个惊心动魄的瞬间让我意识到，开源飞控的实战应用远不是下载代码、连接硬件那么…...
CefFlashBrowser：终极Flash浏览器解决方案，轻松玩转经典Flash游戏与课件
CefFlashBrowser：终极Flash浏览器解决方案，轻松玩转经典Flash游戏与课件 【免费下载链接】CefFlashBrowser Flash浏览器 / Flash Browser 项目地址: https://gitcode.com/gh_mirrors/ce/CefFlashBrowser 你是否还在为无法打开珍藏的Flash游戏而烦…...
WarcraftHelper：魔兽争霸III游戏性能优化与兼容性解决方案完整指南
WarcraftHelper：魔兽争霸III游戏性能优化与兼容性解决方案完整指南 【免费下载链接】WarcraftHelper Warcraft III Helper , support 1.20e, 1.24e, 1.26a, 1.27a, 1.27b 项目地址: https://gitcode.com/gh_mirrors/wa/WarcraftHelper 还在为经典游戏《魔兽争…...
忍者像素绘卷镜像免配置部署：自动检测GPU型号并加载最优配置
忍者像素绘卷镜像免配置部署：自动检测GPU型号并加载最优配置 1. 产品概览：打破次元壁的像素艺术工作站 忍者像素绘卷是一款基于Z-Image-Turbo深度优化的图像生成工作站，专为像素艺术创作而设计。它将传统漫画创作与现代AI技术相结合&#x…...
Qwen3.5-2B图文对话实战：教育场景中学生作业图题智能解析案例
Qwen3.5-2B图文对话实战：教育场景中学生作业图题智能解析案例 1. 引言：教育场景中的AI助手需求 想象一下这样的场景：晚上10点，孩子拿着数学作业来问问题，题目是一张手绘的几何图形。家长可能已经忘记了几十年前学过的…...