Re69：读论文 LaMDA: Language Models for Dialog Applications

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文名称：LaMDA: Language Models for Dialog Applications
ArXiv网址：https://arxiv.org/abs/2201.08239

本文介绍谷歌提出的对话大模型LaMDA，主要关注对各项指标（包括对话质量、安全性等）的优化。
因为我自己不是做对话的，所以很多对话子领域特有的内容我就不写了。

在研究中发现扩大模型能提高对话质量，但不能提高安全性和factual grounding（大概就是找出理论依据、减少幻觉这种任务），本文通过在标注数据上微调和引入外部知识源来解决这两个问题。
对话质量：sensibleness, specificity, and interestingness
安全性：不提供有害建议和偏见等。用有标数据构建分类器。（从网络搜集外部知识可能会降低安全性，本文用的是已知资料；微调能增强安全性）
引入外部知识源提高factual grounding：信息检索，翻译器，计算器等。指标：Informativeness（携带外部信息的比例），Citation accuracy（引用正确超链接的比例）

LaMDA方法对对话质量和安全性指标都能实现提升：

application-specific helpfulness (i.e., useful and correct responses)
role consistency (i.e., agent utterances match agent role) 指标：Helpfulness and Role consistency

预训练时的数据集Infiniset包括对话数据（众包打分）和通用语料，全是英语。

微调第一步：FT quality-safety

通用微调格式：<context> <sentinel> <response>（损失函数只计算response）
示例：What’s up? RESPONSE not much.

针对特定指标的格式：<context> <sentinel> <response> <attribute-name> <rating>（损失函数只计算rating）
示例：What’s up? RESPONSE not much. SENSIBLE 1

指标权重：3 * P(sensible) + P(specific) + P(interesting)

LaMDA的模型架构是Transformer decoder。

解码时采用sample-and-rank策略：抽样，根据对数似然和长度选择得分最高的座位输出。

The toolset (TS)

微调第二步：FT groundedness (LaMDA)

context + base
context + base + query + snippet

调用外部API，如信息检索系统

↑ 图中黄色为模型输入，红色为模型输出（以TS为标志，是否要检索），绿色为检索系统输出

微调数据：

不同尺寸模型的微调效果：（PT就是没有经过微调的版本，只经过了语言模型预训练）

指标结果：

微调子机制效果（模型分析）：

LaMDA在领域任务上的效果的实验，场景是：

用几轮role-specific dialogs开头来引导LaMDA模型进入角色：

公平、安全、耗能和碳足迹问题之类的，我以后需要参考了再看吧。略。

其他应该考虑的指标：
礼貌程度
appropriateness
人格化
不同应用对指标有着不同的需求

附录还有很详细的安全问题定义与分类、标注人员的信息和标注方法