我用AI做数据分析之数据清洗

我用AI做数据分析之数据清洗

AI与数据分析的融合效果怎样？
这里描述自己在使用AI进行数据分析（数据清洗）过程中的几个小故事：

1. 变量名的翻译

有一个项目是某医生自己收集的数据，变量名使用的是中文，分析的时候一般会变化成英文更方便一些，传统的手段需要查找变量名的中文，然后使用代码替换原来的列名，不复杂，无奈变量名较多，处理起来还是会花费不少的时间。

这种情况下，我尝试着将数据表格提交给AI，使用自然语言让它把“列名翻译成英文全称并符合python的命名方式”，效果可以说是非常不错，返回的新数据表中，正确地给出了符合要求的列名，也很效率。

2. 英文缩写改全称

另外一个项目，列名是缩写，有一些我自己都不知道什么含义，在我没有详细提供上下文的情况下，让AI把缩写改成英文全称。
AI也很好地完成了这个工作，并在对话框中解释了变量名的含义。

3. 纠正录入错误

在另外的一个项目中，部分的变量里面误录入了制表符-“\tyes”等，平时不太处理这种情况，一个一个检查也很繁琐，所以尝试使用AI来处理这个问题。与AI交流过程中，我并没有具体指出是什么样的录入错误，只说检查可能的录入错误，AI就能够将这些错误检查出来并进行纠正。

令人意外的是AI还检测出一个数值型数据的录入错误，这是没有专业知识，不容易发现的。

类似的情况，还有在自己收集的一些数据中，录入不统一的情况，比如有的中文“是”，有的是英文“yes”， 自然语言描述起来很容易，代码写起来就很复杂，我觉得AI也可以处理。

以上体验是基于豆包AI数据分析模块的体验，总体来说都属于语言相关的范畴，感觉是AI可以表现很好的环节，因为AI本身是LLM（大语言模型）。这一部分，严格说没有涉及LLM生成代码的部分，因为代码是在AI发现了问题之后，用来修改数据表使用的。
结论是在这一部分上AI的表现是相当合格的。AI的能力在逐步增强，如何改变即有的数据分析流程，让我们拭目以待，我也会通过一些具体的小例子来向大家描述AI在数据分析过程中的表现。