类 ChatGPT 模型存在的局限性

尽管类ChatGPT模型经过数月的迭代和完善，已经初步融入了部分领域以及人们的日常生活，但目前市面上的产品和相关技术仍然存在一些问题，以下列出一些局限性进行详细说明与成因分析：

1）互联网上高质量、大规模、经过清洗的公开数据集和开源、结构高效的预训练LLM仍然不足。这是因为收集和清洗数据集的过程非常烦琐和复杂，且预训练LLM的训练需要高性能设备和大量优质数据集。

2）针对同一问题，重复输入会导致不一致的回答。有时也会出现稍微改变一些词语，模型的回答就会从无法回答转变为正确回答的情况。这是因为训练时得到的LLM缺乏泛化能力，输入格式不规范且噪声多。

3）模型虽然能够回答一些通用性问题，但是在涉及一些专业领域或者具体情境的问题时，就会显得力不从心。这是因为LLM训练数据并没有覆盖所有领域和场景，而且模型本身也缺乏足够的知识库和推理能力来处理复杂的问题。

4）LLM由于缺乏常识知识，输入缺乏事实依据和事实验证，因此在类ChatGPT模型在大规模运用时容易产生幻觉，生成错误答案，并出现推理错误等问题。

5）类ChatGPT模型在生成文本时，存在输出很难被人类理解和解释且很难被人类监督并纠正的问题，这是因为模型基于深度学习，生成文本时并不遵循任何明确的规则或逻辑，而是根据概率分布来选择最可能的词汇。

6）类ChatGPT模型依赖于基础模型，但基础模型为了产生能力“涌现”的现象，需要庞大的参数量来支撑其存储的知识规模。因此，相关产品的部署和运行不仅需要高昂的硬件成本和资源消耗，而且难以适应移动设备和边缘计算等场景。

7）类ChatGPT模型使用奖励机制作为训练类ChatGPT模型的主要方法，并不受法律和道德准则的约束。因此可能会被恶意利用，造成严重的安全隐患或者法律风险。此外，与用户交互时，能够记住与会话相关的项目以及用户输入、缓存、日志等隐私信息。以及可能存在利用模型逻辑强大的对话能力与丰富的知识进行诈骗或作弊的情况。除了上述局限外，目前，作为构建基石的基础模型仍存在一些原理问题尚未得到突破，例如无法保持自我一致性、无法处理比token更小的单元以及多模态领域表示困难等问题。

学术问题付费咨询及相关探讨
博士，担任《Mechanical System and Signal Processing》审稿专家，担任
《中国电机工程学报》优秀审稿专家，《控制与决策》，《系统工程与电子技术》等EI期刊审稿专家，担任《计算机科学》，《电子器件》 ， 《现代制造过程》 ，《船舶工程》 ，《轴承》 ，《工矿自动化》 ，《重庆理工大学学报》 ，《噪声与振动控制》 ，《机械传动》 ，《机械强度》 ，《机械科学与技术》 ，《机床与液压》，《声学技术》，《应用声学》等中文核心审稿专家。
擅长领域：现代信号处理，机器学习，深度学习，数字孪生，时间序列分析，设备缺陷检测、设备异常检测、设备智能故障诊断与健康管理PHM等。