chatGTP的全称Chat Generative Pre-trained Transformer

chatGPT，有时候我会拼写为：chatGTP，所以知道这个GTP的全称是很有用的。

ChatGPT全名：Chat Generative Pre-trained Transformer ，中文翻译是：聊天生成预训练变压器，所以是GPT，G是生成，P是预训练，T是变压器。

Transformer是变压器，它的过程是学习的方式，它由Encoder和Decoder构成。

1. chatGPT介绍

chatGPT是由OpenAI开发的一个人工智能聊天机器人程序，于2022年11月推出。该程序使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。

ChatGPT目前仍以文字方式交互，而除了可以通过人类自然对话方式进行交互，还可以用于相对复杂的语言工作，包括自动文本生成、自动问答、自动摘要等在内的多种任务。如：在自动文本生成方面，ChatGPT可以根据输入的文本自动生成类似的文本（剧本、歌曲、企划等），在自动问答方面，ChatGPT可以根据输入的问题自动生成答案。还具有编写和调试计算机程序的能力。[3]在推广期间，所有人可以免费注册，并在登录后免费使用ChatGPT实现与AI机器人对话[4]。

ChatGPT可以写出相似于真人程度的文章，并因其在许多知识领域给出详细的回答和清晰的答案而迅速获得关注，证明了从前认为不会被AI取代的知识型工作它也足以胜任，对于金融与白领人力市场的冲击相当大，但其事实准确性参差不齐被认为是一重大缺陷，其基于意识形态的模型训练结果并被认为需要小心地校正[5][6]。ChatGPT于2022年11月发布后，OpenAI估值已涨至290亿美元[7]。上线两个月后，用户数量达到1亿[8]。

2. chatGPT如何训练数据

ChatGPT使用基于人类反馈的监督学习和强化学习在 GPT-3.5 之上进行了微调。这两种方法都使用了人类训练员来提高模型的性能, 通过人类干预以增强机器学习的效果，从而获得更为逼真的结果。在监督学习的情况下，模型被提供了这样一些对话, 在对话中训练师j充当用户和AI助理两种角色。在强化步骤中，人类训练员首先对模型在先前对话中创建的响应进行评级。这些级别用于创建“奖励模型”, 使用近端策略优化(Proximal Policy Optimization-PPO)的多次迭代进一步微调。这种策略优化算法比信任域策略优化（trust region policy optimization）算法更为高效。这些模型是与 Microsoft合作,在其Microsoft Azure超级计算基础设施上训练的。

此外，OpenAI继续从ChatGPT用户那里收集数据，这些数据可用于进一步训练和微调 ChatGPT。 允许用户对他们从ChatGPT收到的回复投赞成票或反对票；在投赞成票或反对票时，他们还可以填写一个带有额外反馈的文本字段。

ChatGPT的训练数据包括各种文档以及关于互联网、编程语言等各类知识，如BBS和Python编程语言。

关于ChatGPT编写和调试计算机程序的能力的训练， 由于深度学习模型不懂编程，与所有其他基于深度学习的语言模型一样，只是在获取代码片段之间的统计相关性。

3. chatGPT特点和局限

虽然聊天机器人的核心功能是模仿人类对话者，但ChatGPT用途广泛。 例如，具有编写和调试计算机程序的能力； 创作音乐、电视剧、童话故事和学生论文； 回答测试问题（在某些测试情境下，水平高于普通人类测试者）；写诗和歌词；模拟Linux系统等。

与其前身InstructGPT相比，ChatGPT试图减少有害和误导性的回复。例如，当InstructGPT接受“告诉我2015年克里斯托弗·哥伦布何时来到美国”的提问时，它会认为这是对真实事件的描述，而ChatGPT针对同一问题则会使用其对哥伦布航行的知识和对现代世界的理解来构建一个答案，假设如果哥伦布在2015年来到美国时可能会发生什么。

与其他多数聊天机器人不同的是，ChatGPT能够记住与用户之前的对话内容和给它的提示。此外，为了防止ChatGPT接受或生成冒犯性言论，输入内容会由审核API进行过滤，以减少潜在的种族主义或性别歧视等内容。

ChatGPT也存在多种局限，OpenAI承认ChatGPT“有时会写出看似合理但不正确或荒谬的答案”，这在大型语言模型中很常见，称作人工智能幻觉。其奖励模型围绕人类监督而设计，可能导致过度优化，从而影响性能，即古德哈特定律。ChatGPT对2021年之后发生的事件知之甚少。据BBC报道，截至2022年12月，ChatGPT不被允许“表达政治观点或从事政治活动”。但研究表明，ChatGPT对两个投票建议应用程序的政治声明表明立场时，表现出亲环境主义、左翼自由主义的取向。训练过程中，不管实际理解或事实内容如何，审核者都会偏好更长的答案。训练数据也存在算法偏差，可能会在ChatGPT被问及人物描述时显现出来，比如当程序接受到首席执行官之类的模糊描述时可能会假设此人是白人男性。

4. chatGPT的服务

ChatGPT于2022年11月30日由OpenAI位于旧金山的总部推出。该服务最初是免费向公众推出的，并计划以后通过该服务获利。到12月4日，OpenAI估计ChatGPT已有超过一百万用户。2023年1月，ChatGPT的用户数超过1亿，成为该时间段内增长最快的消费者应用程序。2022年12月15日，CNBC写道，该服务“仍然不时地发生故障”。该服务在英语中效果最好，也能使用部分其他语言，但效果不一。与其他备受瞩目的AI进展不同，截至2022年12月，还没有关于ChatGPT的经同行评审的官方技术论文。

《纽约时报》2022年12月报道称，GPT的下一版本GPT-4据传言将于2023年某个时候推出。2023年2月，OpenAI面向美国用户推出了一项名为ChatGPT Plus的月度订阅计划，费用为20美元。OpenAI计划推出ChatGPT专业版计划，每月收费42美元，需求较低时可使用免费计划。

内容参考：https://zh.wikipedia.org/wiki/ChatGPT