Can Language Models Make Fun? A Case Study in Chinese Comical Crosstalk

本文是LLM系列文章，针对《Can Language Models Make Fun? A Case Study in Chinese Comical Crosstalk》的翻译。

摘要

语言是人类交流的主要工具，幽默是其中最具吸引力的部分之一。像人类一样使用计算机生成自然语言，也就是自然语言生成(NLG)，已被广泛用于对话系统、聊天机器人、文本摘要以及人工智能生成内容(AIGC)，例如创意生成和脚本编写。然而，自然语言的幽默方面的研究相对较少，特别是在预训练语言模型的时代。在这项工作中，我们的目的是初步测试NLG是否能像人类一样产生幽默。我们建立了由大量中国滑稽相声剧本(简称c3)组成的最大数据集，这是自19世纪以来中国流行的表演艺术“相声”或“相声”。我们对各种生成方法进行基准测试，包括从头开始训练Seq2seq，微调的中等规模plm，以及带和不带微调的大规模plm。此外，我们还进行了人工评估，结果表明:1)大规模预训练大大提高了相声生成的质量;2)即使是最好的PLM生成的脚本也远远达不到我们的期望。我们得出结论，使用大规模plm可以极大地改善幽默生成，但它仍处于起步阶段。数据和基准测试代码可在https://github.com/ anonNo2/crosstalk-generation中公开获得。

1 引言

2 问题定义

3 数据集

4 使用自动评估生成基准

5 人工评估

6 讨论

7 结论与未来工作

在本文中，我们收集了中国相声的数据集。基于数据集，我们评估了几种现有的生成模型，包括LSTM Seq2seq、GPT、UniLM、CPM、Pangu-α、Zhouwenwang和GPT-3。这是幽默生成的初步步骤，说明大规模的预训练在很大程度上提高了相声生成的质量，但生成的脚本与人工创作的脚本之间仍然存在很大的差距。请注意，人们对相声的偏见/刻板印象存在一些担忧，例如教育背景歧视和性别偏见。在未来的工作中，我们有兴趣收集相声音频，以适应幽默的口音来促进端到端的相声生成。