AttributeError: ‘ChatGLMTokenizer‘ object has no attribute ‘sp_tokenizer‘. 已解决

                                             

                                   📑打牌 ： da pai ge的个人主页
                                   🌤️个人专栏 ： da pai ge的博客专栏
                                   ☁️宝剑锋从磨砺出，梅花香自苦寒来

                                   ☁️运维工程师的职责：监控，备份，应急故障处理

                   

​​

目录

一

二

---

一

解决方法1：有可能安装torch时候缺少了相关依赖包
把缺少的cudatoolkit和其他包安装一下：

conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch

如果下载安装慢可以加上：

-i  https://pypi.tuna.tsinghua.edu.cn/simple/

执行完这个命令后，解决。
解决方法2：
升级numpy库到新版：

pip install --upgrade numpy

解决方法3：
可能是系统缺少了缺少C++运行库：C++ Redistributable
下载地址：https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=48145
下载后安装即可

二

导致该问题的主要原因是transformers版本的问题。

原始的transformer版本为4.29.2：

再结合自己原本的虚拟环境中有trl和vllm,也对transformers有一定的限定，因此安装transformers 4.33.1解决该问题。如果没有trl和vllm的限制，只需要安装transformers<4.34即可。

pip uninstall transforms 
在
pip install transforms