预训练Bert添加new token的问题

问题

最近遇到使用transformers的AutoTokenizer的时候，修改vocab.txt中的[unused1]依然无法识别相应的new token。

实例：
我将[unused1]修改为了[TRI]，句子中的[TRI]并没有被整体识别，而是识别为了[,T,RI,]。这明显是有问题的。

解决

若去掉[TRI]的方括号，问题就消失了。
所以可以认定，Bert对带有方括号的token统一按special token处理，所以要使用

tokenizer.add_special_tokens({})

来添加此类token。