奇怪的错误记录

https://github.com/meta-llama/llama3/issues/80

读模型没问题，推理时出现：
RuntimeError: “triu_tril_cuda_template” not implemented for ‘BFloat16’

————————————————

事发原因

我尝试了解transformers的AutoProcessor时，它提示我：
RuntimeError: Failed to import transformers.models.auto.processing_auto because of the following error (look up to see its traceback):
Detected that PyTorch and torchvision were compiled with different CUDA versions. PyTorch has CUDA Version=11.8 and torchvision has CUDA Version=11.7. Please reinstall the torchvision that matches your PyTorch install.
说我torch和torchvision的cuda版本对不上？我当初是按Pytorch安装的啊。。。

我的torch 版本如下：
torch 2.0.0+cu118
torchaudio 2.0.1
torchvision 0.15.1

很怪，俩后面确实没跟cu118字样。所以我找pytorch官方网站又下了一次：
pip install torch2.0.0 torchvision0.15.1 torchaudio==2.0.1 --index-url https://download.pytorch.org/whl/cu118

这回对了。我只卸载了torchvision，所以torchaudio没有更新。
torch 2.0.0+cu118
torchaudio 2.0.1
torchvision 0.15.1+cu118

此时就出现了最前面的错误。

————————

暂时的补救方法

我读的是qwen1.5 7B，设置torch_dtype=torch.bfloat16。把bfloat16改成torch_dtype=torch.float16后， 就能推理了。或者把torchvision退回普通版本。
但是torch.float16和torch.bfloat16是完全不同的两个东西，就这么换了，不对劲啊。。。