[linux] Qwen2Tokenizer报错 transformers版本问题
上午没问题，下午pull了新代码，就有了报错。。
发现是transformers版本问题。但。。其实我都默认安的是最新版本。。
也许这就是人生吧。。
报错：
File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 213, in build_tokenizertokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__self.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedraise ValueError(raise ValueError(
ValueError ValueErrorraise ValueError(: :
Tokenizer class Qwen2Tokenizer does not exist or is not currently imported.Tokenizer class Qwen2Tokenizer does not exist or is not currently imported.raise ValueError(raise ValueError( ValueError
raise ValueError(解决方案：
原本的：
pip install -U transformers -i https://pypi.doubanio.com/simple/
改成：
pip install transformers==4.40 -i https://mirrors.aliyun.com/pypi/simple/Successfully installed huggingface-hub-0.23.3 safetensors-0.4.3 tokenizers-0.19.1 transformers-4.41.2
相关文章：
[linux] Qwen2Tokenizer报错 transformers版本问题
上午没问题，下午pull了新代码，就有了报错。。 发现是transformers版本问题。但。。其实我都默认安的是最新版本。。 也许这就是人生吧。。 报错： File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 213…...
算法刷题笔记 单链表（C++实现）
文章目录 题目描述基本思路实现代码 题目描述 实现一个单链表，链表初始为空，支持三种操作： 向链表头插入一个数；删除第 k个插入的数后面的一个数；在第 k个插入的数后插入一个数。 现在要对该链表进行M次操作&#x…...
Oracle 排查慢SQL
Oracle 排查慢SQL select * from v s q l a r e a w h e r e r o w n u m < 10 ; s e l e c t ∗ f r o m v sqlarea where rownum<10; select * from v sqlareawhererownum<10;select∗fromvsql where rownum<10; select * from dba_hist_sqltext where rownum<…...
java技术专家面试指南80问【java学习+面试宝典】（七）
Dubbo需要 Web 容器吗？ 不需要，如果硬要用 Web 容器，只会增加复杂性，也浪费资源。 PrintStream、BufferedWriter、PrintWriter的比较? PrintStream类的输出功能非常强大，通常如果需要输出文本内容，都应…...
4机器学习期末复习
在机器学习中，数据清洗与转换包括哪些内容？ 对数据进行初步的预处理，需要将其转换为一种适合机器学习模型的表示形式对许多模型类型来说，这种表示就是包含数值数据的向量或者矩阵： 1）将类别数据编码成为对…...
chatgpt: int t[] int *t 区别
在C语言中，int t[]和int *t虽然在某些情况下可以相互替换，但它们有一些关键的区别。这些区别主要体现在声明的语义、内存分配方式和使用场景上。以下是详细的解释： ### 1. int t[] #### 语义: - int t[]声明了一个数组，t是一个数…...
网络安全技术实验六 入侵检测技术实践
一、实验目的和要求 理解基于网络的入侵检测系统的基本原理，掌握snort IDS工作机理； 学习应用snort三种方式工作；熟练编写snort规则； 完成snort数据包记录、日志查看、字符串匹配、ARP欺骗攻击检测、端口扫描工具检测等功能。 …...
SpringBoot中获取当前请求的request和response
在Spring Boot中，你可以以多种方式获取当前请求的HttpServletRequest和HttpServletResponse对象。以下是几种常见的写法示例： 1. 在方法参数中声明 最常见和推荐的方式是在控制器方法的参数中直接声明HttpServletRequest和HttpServletResponse对象。Sp…...
Neo4j 桌面版打不开踩坑贴
真的踩坑。。。没有人告诉我为啥桌面版和社区版不能一起下啊！！ 我是先下载了社区版之后再下载的桌面版，结果桌面版界面一直打不开。 尝试了网上多种办法都没效果，好多都是说jdk不兼容导致无法打开，让我从JDK 17 ->…...
[数据集][目标检测]中国象棋检测数据集VOC+YOLO格式300张12类别
数据集格式：Pascal VOC格式YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：300 标注数量(xml文件个数)：300 标注数量(txt文件个数)：300 标注类别…...
全方位·多层次·智能化，漫途水库大坝安全监测方案
党的十九届五中全会提出，到2025年前，完成新出现病险水库的除险加固，配套完善重点小型水库雨水情和安全监测设施，实现水库安全鉴定和除险加固常态化。 加快推进小型水库除险加固。加快构建气象卫星和测雨雷达、雨量站、水文站组成…...
windows安装SQLyog
windows安装SQLyog 1. 下载 SQLyog 安装包 访问 SQLyog 的官方网站。在网站上找到下载链接，通常会有一个“Download”或“Try Now”按钮。如果需要注册或填写信息以获取下载链接，请按提示操作。 2. 运行安装程序 下载完成后，双击运行下载…...
jEasyUI 转换 HTML 表格为数据网格
jEasyUI 转换 HTML 表格为数据网格 jEasyUI 是一个基于 jQuery 的框架，它为用户提供了一套完整的用户界面组件，使得网页开发变得更加简单快捷。在本文中，我们将探讨如何使用 jEasyUI 将一个普通的 HTML 表格转换为功能丰富的数据网格（datagrid）。 为什么使用数据网格？ …...
深度解析RocketMq源码-持久化组件（一） MappedFile
1. 绪论 rocketmq之所以能够有如此大的吞吐量，离不开两个组件，一个是利用netty实现的高性能网络通信组件；另一个就是利用mmap技术实现的存储组件。而在rocketmq的存储组件中主要有三个组件，分别是持久化文件commitLog，…...
贝壳APP渗透测试WP
前期配置 环境说明 使用PIXEL 4手机，为Android 12系统 APP名为贝壳找房，包名com.lianjia.beike，版本号3.01.10，截至2024/05/07为最新版，小米应用市场下载 绕过反Frida机制 可以参考往期推送，《绕过最新…...
IDEA快速入门02-快速入门
二、快速入门 2.1 打开IDEA,点击New一个项目 入口，依次打开 File -> New -> Project。 2.2 使用Spring Initializr方式构建Spring Boot项目 2.3 设置项目所属组、项目名称、java版本等 2.4 选择SpringBoot版本及依赖组件 点击Create进行创建。 2.6 创建成…...
快速构建本地RAG聊天机器人：使用LangFlow和Ollama实现无代码开发
基于LangChain的快速RAG应用原型制作方法 还记得构建智能聊天机器人需要数月编码的日子吗？ LangChain这样的框架确实简化了开发流程，但对非程序员来说，数百行代码仍然是一道门槛。 有没有更简单的方法呢？ 图片由 Ravi Palwe 在…...
关于使用pycharm中控制台运行代码错误之FileNotFoundError: [Errno 2] No such file or directory:
在使用pycharm环境下复现《python编程：从入门到实践》这本书第16.1.1内容中分析csv文件头一节的代码时出现如下问题： 1、文章中使用的数据来源问题 直接参考本站Kenny C同学的文章提供内容即可。 https://github.com/kenidi8215/Hello-World 打开网页&a…...
【SpringBoot】深入分析 SpringApplication 源码：彻底理解 SpringBoot 启动流程
在黄昏的余晖里，梦境渐浓，如烟如雾。心随星辰，徜徉远方，岁月静好，愿如此刻般绵长。 文章目录 前言一、SpringBoot 应用二、SpringApplication2.1 SpringApplication 中的属性2.2 SpringApplication 的构造器2.3 Sprin…...
边界内聚和耦合
内聚 功能内聚 功能内聚是软件工程中一个重要的概念，它描述了一个模块内部各个元素之间的紧密程度。一个具有高功能内聚的模块意味着其内部的各个组件都共同完成一个具体的、明确的功能，并且这些组件之间的联系不是偶然的，而是因为它们共同服…...
多云管理“拦路虎”：深入解析网络互联、身份同步与成本可视化的技术复杂度
一、引言：多云环境的技术复杂性本质 企业采用多云策略已从技术选型升维至生存刚需。当业务系统分散部署在多个云平台时，基础设施的技术债呈现指数级积累。网络连接、身份认证、成本管理这三大核心挑战相互嵌套：跨云网络构建数据…...
Zustand 状态管理库：极简而强大的解决方案
Zustand 是一个轻量级、快速和可扩展的状态管理库，特别适合 React 应用。它以简洁的 API 和高效的性能解决了 Redux 等状态管理方案中的繁琐问题。 核心优势对比 基本使用指南 1. 创建 Store // store.js import create from zustandconst useStore create((set)…...
8k长序列建模，蛋白质语言模型Prot42仅利用目标蛋白序列即可生成高亲和力结合剂
蛋白质结合剂（如抗体、抑制肽）在疾病诊断、成像分析及靶向药物递送等关键场景中发挥着不可替代的作用。传统上，高特异性蛋白质结合剂的开发高度依赖噬菌体展示、定向进化等实验技术，但这类方法普遍面临资源消耗巨大、研发周期冗长…...
PPT|230页| 制造集团企业供应链端到端的数字化解决方案：从需求到结算的全链路业务闭环构建
制造业采购供应链管理是企业运营的核心环节，供应链协同管理在供应链上下游企业之间建立紧密的合作关系，通过信息共享、资源整合、业务协同等方式，实现供应链的全面管理和优化，提高供应链的效率和透明度，降低供应链的成…...
工程地质软件市场：发展现状、趋势与策略建议
一、引言 在工程建设领域，准确把握地质条件是确保项目顺利推进和安全运营的关键。工程地质软件作为处理、分析、模拟和展示工程地质数据的重要工具，正发挥着日益重要的作用。它凭借强大的数据处理能力、三维建模功能、空间分析工具和可视化展示手段&…...
页面渲染流程与性能优化
页面渲染流程与性能优化详解（完整版） 一、现代浏览器渲染流程（详细说明） 1. 构建DOM树 浏览器接收到HTML文档后，会逐步解析并构建DOM（Document Object Model）树。具体过程如下： (…...
论文浅尝 | 基于判别指令微调生成式大语言模型的知识图谱补全方法（ISWC2024）
笔记整理：刘治强，浙江大学硕士生，研究方向为知识图谱表示学习，大语言模型 论文链接：http://arxiv.org/abs/2407.16127 发表会议：ISWC 2024 1. 动机 传统的知识图谱补全（KGC）模型通过…...
根据万维钢·精英日课6的内容，使用AI（2025）可以参考以下方法：
根据万维钢精英日课6的内容，使用AI（2025）可以参考以下方法： 四个洞见 模型已经比人聪明：以ChatGPT o3为代表的AI非常强大，能运用高级理论解释道理、引用最新学术论文，生成对顶尖科学家都有用的…...
安宝特案例丨Vuzix AR智能眼镜集成专业软件，助力卢森堡医院药房转型，赢得辉瑞创新奖
在Vuzix M400 AR智能眼镜的助力下，卢森堡罗伯特舒曼医院（the Robert Schuman Hospitals, HRS）凭借在无菌制剂生产流程中引入增强现实技术（AR）创新项目，荣获了2024年6月7日由卢森堡医院药剂师协会࿰…...
在鸿蒙HarmonyOS 5中使用DevEco Studio实现企业微信功能
1. 开发环境准备 安装DevEco Studio 3.1： 从华为开发者官网下载最新版DevEco Studio安装HarmonyOS 5.0 SDK 项目配置： // module.json5 {"module": {"requestPermissions": [{"name": "ohos.permis…...