解决pandas写入excel时的ValueError: All strings must be XML compatible报错

报错内容：
ValueError: All strings must be XML compatible: Unicode or ASCII, no NULL bytes or control characters

报错背景

用pands批量写入excel文件，发生编码报错。检索了很多方案，都不能解决。

导致报错的原因是存在违法字符，不符合 XML 的解析规则。pandas写入应该是调用了xml的解析方法，所以这里也要符合xml的字符规则。

很多方法都是针对自己任务中遇到的特定违法字符进行的替换操作，不具备一般性。所以这里列出了一个最终解法——逐个字符的判断是否符合xml编译规则，只保留符合规则的编码。

最终代码

def valid_xml_char_ordinal(c):codepoint = ord(c)# conditions ordered by presumed frequencyreturn (0x20 <= codepoint <= 0xD7FF orcodepoint in (0x9, 0xA, 0xD) or0xE000 <= codepoint <= 0xFFFD or0x10000 <= codepoint <= 0x10FFFF)def wash_data(text):cleaned_string = ''.join(c for c in text if valid_xml_char_ordinal(c))return cleaned_stringtext = "xxx"
text = wash_data(text)  # 完成清洗

参考

[1] 在python中过滤掉某些字节_python_Mangs-Python