【智能客服】ChatGPT大模型话术优化落地方案

本文原创作者：姚瑞南 AI-agent 大模型运营专家，先后任职于美团、猎聘等中大厂AI训练专家和智能运营专家岗；多年人工智能行业智能产品运营及大模型落地经验，拥有AI外呼方向国家专利与PMP项目管理证书。（转载需经授权）      

目录

一、项目背景

1.1 行业背景

1.2 业务现状

1.3 部分效果展示

二、项目目标

定性目标

定量目标

三、项目详情

3.1 现有能力

3.2 初步实验效果

3.3 正向节点总结

3.4 话术可优化点（持续拓展ing）

3.5 技术方案

1) 带示例的prompt

2）不带示例的prompt

3）增加会话情景（上下文）的Prompt

四、对接流程

step1：运营提供相关信息列表

step2：运营话术check&确认

step3：task节点命名规范

1. 添加节点时

2. 回退节点时

step4：灰度上线

五、效果评估

5.1 各业务情况梳理

5.2 正负面case总结

5.3 长线监控策略

六、落地节奏

6.1 多方里程碑

6.2 分工checklist

6.3 产品能力建设checklist

---

一、项目背景

1.1 行业背景

①划时代技术变革：LLM的出现对传统NLP来说是划时代的技术变革，几乎改变了所有NLP任务的游戏规则，已经成为了NLP领域各个任务的全新范式。

大语言模型能够根据用户的问题和对应的标准答案，给出个性化的答案，用户体验上已经不太容易分辨出是人工客户还是机器客服，这一点上是很明显的提升。

②人机交互新机会：可以预见的是，基于LLM技术所构建的智能客服正在从根本上改变传统的人机交互过程。

大模型自动生成对话流程让运营智能客服更高效，可以提升复杂缠绕问题解决率、人机交互感知程度，以及意图理解、流程构建、知识生成等运营内容的效率

③机遇与挑战并存：LLM的出现对智能客服是挑战与机遇并存，如何用好LLM的强大能力，提升智能客服机器人的效果，目前没有相对统一的技术路线，需要各方的积极探索

1.2 业务现状

①拟人化方面，智能客服产品虽然称之为“智能”，但回答问题尤其是兜底回复时，难免给用户留下“呆板”的印象，缺乏人情味case

②丰富化方面，回答内容以写好的模版为主，虽然覆盖面已尽可能广泛，但仍然有限度

③个性化方面，回复话术千人一面，而人工逐一改写成本高；且无法很好地识别情绪，适时进行安抚甚至提供情绪价值

④情景化方面，未能结合具体时间节日，如春节、生日、毕业季等，给予特定情景的暖心关怀与问候

1.3 部分效果展示

子业务	task名称	节点名称	原话术	新话术（活泼风格）	原转人工率	原解决率	新转人工率	新解决率
单车	0719车辆故障申诉流程（新版故障治理）	车辆故障，影响骑行	很抱歉，给您的出行带来不便。您可点击下方【故障上报】按钮提交您的问题，我们将在72小时内为您处理费用问题。 [无法识别的内容] 温馨提示：如影响您继续骑行，建议您在安全的情况下将车辆停好并关锁，选择其他车辆或交通工具出行。	嘿，抱歉给你带来不便啦！车辆故障真的超郁闷的😔，不过别担心，我来帮你解决问题🤗。 你可以点击下方的【故障上报】按钮告诉我们具体问题，然后我们会在72小时内处理费用问题哦✨。 另外，如果这影响到你继续骑行的话，建议你在安全的情况下把车停好并关锁，然后选择其他车辆或者交通工具出行⛑️。 如果还有其他问题或者需要帮助，随时告诉我，我都会尽力帮你解决哒！✌️ 【单车/电单车】话术优化
医药	商品使用方法说明	O2O-团APP+外卖APP	您好，药品/产品的用法用量、功能主治、适用人群等问题，您可以： ①参考药品/产品说明书上所述内容使用 ②联系商家进行咨询 ③在医师/药师等专业人士的指导下使用 客服不具备相应专业知识，无法为您直接解答。 如您不清楚当前症状需要购买哪种药品，也可以在 栏目，找到药师免费咨询用药。	Hi亲爱的顾客，看到你有关药品使用方法的问题了哦！我来帮你解答一下吧😊 首先，药品的使用方法可以通过以下方式获取：🌟 1️⃣你可以参考药品说明书上所述的内容来正确使用药品。 2️⃣如果你还有其他疑问，也可以联系商家进行咨询哦~ 3️⃣最重要的是，我还建议你在专业人士的指导下使用药品，例如医师或药师。 唷这里要提醒一下，由于客服们并没有相应的专业知识，我们无法直接解答用药问题。所以记得及时咨询专业人士哦😉 如果你不确定需要购买哪种药品，也可以在我们美团App的首页找到“看病买药”栏目，点击“问医生-用药咨询”，这样可以免费咨询药师的建议用药。 希望这些信息对你有所帮助哦~如果还有其他问题，记得随时联系我，我会尽力帮助你解决问题的！💪💛医药客服-大模型话术扩写	44.3%	12.5%

二、项目目标

本项目结合在线智能客服的实际情况，针对机器人存在的拟人化、丰富化、个性化、情景化等现状，引入LLM对机器人话术进行优化，同时保证可解释性、安全性和可控性。

定性目标

阶段一	阶段二
优化话术质量，更拟人	提高个性化水平：引入用户画像、订单详情、会话上下文等多维信息，针对不同用户（高价值、黑名单等）、不同场景（纠纷场景、咨询场景等）、对话特征（用户情绪）、回复篇幅（长文无分段）等有针对性的改写回复，做到回复话术的千人千面
测试多种话术风格，更丰富	融入情景化关怀：使回复话术更加拟人、顺畅，情绪体验良好

定量目标

指标类型	详情
核心指标	降低在线智能_不满意度
配对指标	降低被动_人工服务占比

根据已有实验，预计子业务不满意度降低5.14PP，转人工率降低0.04pp

三、项目详情

3.1 现有能力

三大能力：①解决方案润色；②不满意安抚；③寒暄

三大能力在不同场景和对话轮次上交叉使用，24年争取所有业务都用上

3.2 初步实验效果

结论先行：不论用户年龄大小，亲和、热情、友好的话术风格效果好，建议推广

话术风格分组	触发占比	触发量	转人工量	转人工率	参评量	不满意量	不满意度	参评率	分析
活泼话术-实验组	82.7%	16340	1283	7.85%（胜出）	618	194	31.39%（胜出）	4.10%	1.青年组触发量占比超80% 2.青年组实验组不满意度胜出5.14PP,转人工率降低0.04pp 3、结论：可以推广年轻活泼类型的话术
旧话术-对照组		16429	1296	7.89%	646	236	36.53%	4.27%
严肃话术-实验组	17.3%	3413	230	6.74%（落败）	197	74	37.56% （落败）	6.19%	1.老年组触发量占比较低，小于20% 2.实验组不满意度落败13.5pp,转人工率落败0.32pp 3.结论：严肃认真型话术效果较差，不适合客服场景使用
旧话术-对照组		3427	220	6.42%	212	51	24.06%	6.61%

3.3 正向节点总结

注：相关case分析详见5.3

话术内容

共性：与客户对话时，都应该有回应、共情和尊重

个性：与商家对话时需给予敬重，有更多的态度和原则；无解决方案或解决方案需要等待的，需要有安抚和诚恳的抱歉

话术范式

共性：与客户和商家对话，都需要有加粗和颜色做提示，隔3-4行分段更好读

个性：客服场景，可用符号“~”、表情包😉、语气词“哎呀”表示亲切；商服场景则没必要

场景	话术内容	话术范式
有解决方案-让人满意	有夸夸（哇，你真是太幸运了！）有回应（你的订单已经xxx了） 有共情（如果你想xxx）有尊重（一切都在你的掌控之中）	符号“~”；表情包😉；字体-加粗+标绿；段落-4行不分段
有解决方案-等待处理	有回应（看来你在xxx呢，xxx收到了）有共情（久等了）有安抚（别担心，我们会尽快）有尊重（让你的xxx体验更加顺畅）	语气词“哎呀”；符号“~”；表情包😉；段落-每隔两行分段
有解决方案-等待处理	有称谓（亲爱的）	符号“~【】”；表情包😉；段落-每隔三行分段
有解决方案-商家自助	有称谓（尊敬的商家）有态度（我们将积极为您解决）（我们保证不会随意处理）有原则（评价审核机制对所有的商户都是公平一致的，这亦是我们制定此机制的初心，旨在带给所有的商户信心和鼓励）有尊重（感谢您的理解与信任）	字体-加粗；段落-每隔三行分段
有解决方案-让人不满	有问候（