NLG（自然语言生成）评估指标介绍

诸神缄默不语-个人CSDN博文目录

本文介绍自然语言生成任务中的各种评估指标。
因为我是之前做文本摘要才接触到这一部分内容的，所以本文也是文本摘要中心。

持续更新。

1. 常用术语

模型生成的句子、预测结果——candidate
真实标签——reference、ground-truth

2. ROUGE (Recall Oriented Understudy for Gisting Evaluation)

ROUGE值是文本摘要任务重最常用的机器评估指标，衡量生成文本与真实标签之间的相似程度。

precision：candidate中匹配reference的内容占candidate比例
recall：candidate中匹配reference的内容占reference比例

示例：

Reference: I work on machine learning.Candidate A: I work.Candidate B: He works on machine learning.

在这个例子中，用unigram（可以理解为一个词或token）¹衡量匹配：A就比B的precision更高（A的匹配内容I work占candidate 100%，B的on machine learning占60%），但B的recall更高（60% VS 40%）。

出处论文：(2004 WS) ROUGE: A Package for Automatic Evaluation of Summaries

感觉没有2004年之后的文本摘要论文不使用这个指标的，如果看到有的话我会专门来这里提一嘴的。

分类：ROUGE-N（常用其中的ROUGE-1和ROUGE-2）, ROUGE-L，ROUGE-W，ROUGE-S（后两种不常用）
原版论文中ROUGE主要关注recall值，但事实上在用的时候可以用precision、recall和F值。（我看到很多论文都用的是F值）

1. 计算指标

每种rouge值原本都是计算recall的，主要区别在于这个匹配文本的单位的选择：

ROUGE-N：基于n-grams，如ROUGE-1计算基于匹配unigrams的recall，以此类推。
ROUGE-L：基于longest common subsequence (LCS)
ROUGE-W：基于weighted LCS
ROUGE-S：基于skip-bigram co-occurence statistics（skip-bigram指两个共同出现的单词，不管中间隔了多远。要计算任何bigram的出现可能 $C_n^2$）

以ROUGE-L为例，$A$ 是candidate，长度 $m$；$B$ 是reference，长度 $n$：
$$P=\frac{LCS(A,B)}{m}$$$$R=\frac{LCS(A,B)}{n}$$$$F=\frac{(1+b^2)RP}{R+b^{2}P}$$

2. 对rouge指标的更深入研究和改进

(2018 EMNLP) A Graph-theoretic Summary Evaluation for ROUGE

批判文学：(2023 ACL) Rogue Scores：喷原包有bug。嘛我之前也喷过²，终于有顶会论文喷了我很欣慰

3. BLEU (Bilingual Evaluation Understudy)

常用于翻译领域。
出处论文：(2002 ACL) Bleu: a Method for Automatic Evaluation of Machine Translation

precision用modified n-gram precision估计，recall用best match length估计。

Modified n-gram precision:
n-gram precision是candidate中与reference匹配的n-grams占candidates的比例。但仅用这一指标会出现问题。
举例来说：

Reference: I work on machine learning.Candidate 1: He works on machine learning.Candidate 2: He works on on machine machine learning learning.

candidate 1的unigram precision有60%（3/5），candidate 2的有75%（6/8），但显然candidate 1比2更好。
为了解决这种问题，我们提出了“modified” n-gram precision，仅按照reference中匹配文本的出现次数来计算candidate中的出现次数。这样candidate中的on、machine和learning就各自只计算一次，candidate 2的unigram precision就变成了37.5%（3/8）。

对多个candidate的n-gram precision，求几何平均（因为precision随n呈几何增长，因此対数平均能更好地代表所有数值（这块其实我没看懂））：
$$Precision=\exp (\sum _{n=1}^N{w}_n\log p_n),\text{where}{w}_n=1/n$$

Best match length:
recall的问题在于可能存在多个reference texts，故难以衡量candidate对整体reference的sensitivity（这块其实我也没看懂）。显然长的candidate会包含更多匹配文本，但我们也已经保证了candidate不会无限长，因为这样的precision可能很低。因此，我们可以从惩罚candidate的简洁性（文本短）入手来设计recall指标：
在modified n-gram precision中添加一个multiplicative factor $BP$：
$$\begin{array}{r}BP=\{\begin{array}{ll}1,& \text{if}c>r\\ \exp \left(1-\frac{r}{c}\right),& \text{otherwise}\end{array}\end{array}$$
其中 $c$ 是candidates总长度，$r$ 是reference有效长度（如reference长度平均值），随着candidate长度（$c$）下降，$BP$ 也随之减少，起到了惩罚短句的作用。

4. METEOR (Metric for Evaluation for Translation with Explicit Ordering)

常用于翻译领域。

出处：(2005) METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments

BLEU的问题在于 $BP$ 值所用的长度是平均值，因此单句得分不清晰。而METEOR调整了precision和recall的计算方式，用基于mapping unigrams的weighted F-score和penalty function for incorrect word order来代替。

Weighted F-score:
首先，我们要找到candidate和reference间最大的可以形成对齐（alignment）的映射（mappings）子集（subset）。在经过Porter stemming[^3]、用了WordNet同义词后，假设找到的对齐数是 $m$，则precision就是 $m/c$（$c$ 是candidate长度）、recall是 $m/r$（$r$ 是reference长度），F就是 $F=\frac{PR}{\alpha P+(1-\alpha )R}$

Penalty function:
考虑candidate中的单词顺序：
$$Penalty=\gamma (\frac{c}{m}{)}^{\beta },\text{where}0\le \gamma \le 1$$
其中 $c$ 是matching chunks数，$m$ 是matches总数。因此如果大多数matches是连续的，$c$ 就会小，penalty就会低。这部分我的理解是：连续的matches组成一个chunk。但我不确定，可能我会去查阅更多资料。

最终METEOR得分的计算方式为：
$$(1-Penalty)F$$

5. Perplexity

常用于语言模型训练。
待补。

6. Bertscore

使用该指标的论文：Rewards with Negative Examples for Reinforced Topic-Focused Abstractive Summarization
待补。

7. Faithfulness

1. Entailment Ranking Generated Summaries by Correctness: An Interesting but Challenging Application for Natural Language Inference：用预训练的基于entailment的方法评估原文蕴含生成摘要的概率
2. FactCC Evaluating the Factual Consistency of Abstractive Text Summarization：用基于规则的变换生成假摘要，训练基于Bert的模型，分类生成摘要是否faithful
3. DAE Annotating and Modeling Fine-grained Factuality in Summarization：收集细粒度的词/依赖/句级别的faithfulness的标注，用这些标注训练factuality检测模型

8. 人工评估指标

文本的流畅程度、对原文的忠实程度、对原文重要内容的包含程度、语句的简洁程度等

9. InfoLM

出处论文：(2022 AAAI) InfoLM: A New Metric to Evaluate Summarization & Data2Text Generation
待补。

10. MOVERSCORE

待补

11. BEER

待补。

12. BEND

待补。

参考资料

1. Metrics for NLG evaluation. Simple natural language processing… | by Desh Raj | Explorations in Language and Learning | Medium
2. 我还没看，等我看完了补上：
   Revisiting Automatic Evaluation of Extractive Summarization Task: Can We Do Better than ROUGE?
   Benchmarking Answer Verification Methods for Question Answering-Based Summarization Evaluation Metrics
   SARI
   InfoLM: A New Metric to Evaluate Summarization & Data2Text Generation
   SPICE
   Play the Shannon Game With Language Models: A Human-Free Approach to Summary Evaluation
   Reference-free Summarization Evaluation via Semantic Correlation and Compression Ratio

---

1. 参考unigram_百度百科
   父词条：n-gram
   unigram: 1个word
   bigram: 2个word
   trigram : 3个word
   （注意此处的word是英文的概念，在中文中可能会根据需要指代字或词）
   中文中如果用字作为基本单位，示例：
   西安交通大学：
   unigram 形式为：西/安/交/通/大/学
   bigram形式为： 西安/安交/交通/通大/大学
   trigram形式为：西安交/安交通/交通大/通大学 ↩︎

2. pyrouge和rouge在Linux上的安装方法以及结果比较 ↩︎