MT-Metrics

MT-Metrics 是一类用于评估生成文本质量的指标，最初用于机器翻译任务，后来扩展到生成任务（如对话生成、文本摘要等）。它的核心思想是通过比较生成文本与参考文本之间的相似性（如词汇重叠、句法结构、语义相似性）来评估生成质量。

原理

1. BLEU（Bilingual Evaluation Understudy）：

   • 定义：BLEU 通过计算生成文本与参考文本之间的 n-gram 重叠程度来评估生成质量。
   • 公式：
     $$\text{BLEU}=\text{BP}\times \exp \left(\sum _{n=1}^N{w}_n\log p_n\right)$$
     其中：
     • $\text{BP}$ 是 brevity penalty（惩罚过短的生成文本）。
     • $p_n$ 是 n-gram 的精确率。
     • $w_n$ 是权重。
   • 示例：
     • 生成文本与参考文本有 4 个相同的单词，BLEU 分数会较高。

2. ROUGE（Recall-Oriented Understudy for Gisting Evaluation）：

   • 定义：ROUGE 通过计算生成文本与参考文本之间的词汇重叠（尤其是召回率）来评估生成质量。
   • 公式：
     $$\text{ROUGE}=\frac{\text{生成文本与参考文本的词汇重叠数}}{\text{参考文本的词汇总数}}$$
   • 示例：
     • 生成文本与参考文本有 5 个相同的单词，参考文本共有 10 个单词，则 ROUGE 分数为 50%。

3. METEOR：

   • 定义：METEOR 结合精确匹配、同义词匹配和句法结构匹配，评估生成文本的质量。
   • 公式：
     $$\text{METEOR}=\frac{\text{精确匹配数}+\text{同义词匹配数}+\text{句法匹配数}}{\text{生成文本的词汇总数}}$$
   • 示例：
     • 生成文本与参考文本有 3 个精确匹配、2 个同义词匹配，生成文本共有 10 个单词，则 METEOR 分数为 50%。

4. BERTScore：

   • 定义：BERTScore 基于预训练的 BERT 模型，计算生成文本与参考文本之间的语义相似性。
   • 公式：
     $$\text{BERTScore}=\frac{1}{N}\sum _{i=1}^N\text{cosine\_similarity}(\text{BERT}(w_i),\text{BERT}(w_i^{\prime }))$$
     其中：
     • $w_i$ 是生成文本的单词。
     • $w_i^{\prime }$ 是参考文本的单词。
   • 示例：
     • 生成文本与参考文本的语义相似性较高，BERTScore 分数较高。

适用场景

• 开放性问题：例如生成任务（对话生成、文本摘要、故事生成等）。
• 无标准答案的任务：例如创意写作、长文本生成等。