大语言模型训练数据集

大语言模型的数据集有很多，以下是一些常用的：

- 中文维基百科：这是一个包含大量中文文本的数据集，可用于训练中文语言模型。
- 英文维基百科：这是一个包含大量英文文本的数据集，可用于训练英文语言模型。
- Common Crawl：这是一个包含大量英文文本的数据集，可用于训练英文语言模型。
- WebQuestionSP数据集、ComplexWebQuestions数据集、GraphQuestions数据集、GrailQA数据集、KQApro数据集、QALD-9数据集、MKQA数据集等：这些都是近年来大火的大语言模型数据集。

此外，一个1.6TB的数据集跨越了59种语言(46种自然语言，13种编程语言)，用于训练拥有1760亿个参数的BigScience大型公开科学多语言开放访问(BLOOM)语言模型。

在开发大语言模型时，选择适合的数据集是非常重要的。为了节省数据准备时间并带来启发，可以参考OpenDataLab已上架的、不同分类对应的的可用于大语言模型的预训练、指令微调等数据资源。同时，也可以参考huggingface，modelscope等平台，这些平台上有一些常用的数据集。

1. **Common Crawl**
   - 网址: [http://commoncrawl.org](http://commoncrawl.org)
   - 介绍: Common Crawl是一个非盈利组织，提供公共访问的Web数据集。它定期爬取整个网站，并通过其归档让大量的网页文本数据可用于各种研究和开发目的。

2. **Wikipedia**
   - 网址: [https://dumps.wikimedia.org](https://dumps.wikimedia.org)
   - 介绍: 维基百科数据转储包含了所有维基百科条目的文本，用于提供信息，学术研究或者作为NLP任务的数据源。它支持多种语言，并且可以免费下载和使用。

3. **OpenWebText**
   - 网址: 未官方发布，通常在研究论文或项目中分享。
   - 介绍: OpenWebText数据集受到OpenAI GPT训练数据集的启发，由网上的公共文章组成。用于训练语言模型，尤其是用来预训练类似于GPT风格的变换器模型。

4. **COCA (Corpus of Contemporary American English)**
   - 网址: [https://www.english-corpora.org/coca/](https://www.english-corpora.org/coca/)
   - 介绍: COCA是一个大型的美国英语语料库，主要用于语言学研究和教育目的。可以用于开放语言模型训练的典型数据集。

COCA是美国当代英语语料库（Corpus of Contemporary American English）的简称。它是世界上使用最广泛的英语语料库之一，不仅被语言学家用于研究，也广泛用于教育和翻译等领域。

 

COCA语料库的特点可以概括为三个字：大、全、新。它收录了高达5.6亿个词汇，每年还会以两千万的数量持续扩充，以保证其时效性。因此，无论是对于英语母语者还是英语学习者，都可以通过COCA获取到非常全面和最新的语言资料。此外，该语料库还囊括了各种类型的文本，如新闻、小说、电视剧、电影和广播等，覆盖了美国英语的各个方面。

 

5. **TED Talks**
   - 网址: [https://www.ted.com/participate/translate/get-started](https://www.ted.com/participate/translate/get-started)
   - 介绍: TED演讲的数据集不仅包括视频内容的字幕文本，还包含了许多语言的翻译版本。这是一个有用的多语言数据集，可用于构建语音识别系统、机器翻译、以及语料库分析等任务。

6. **BookCorpus**
   - 网址: BookCorpus数据集原始官方网站已经关闭，目前很难找到合法的下载源。BookCorpus是一个由多伦多大学的Yukun Zhu等人在2015年提出的大型文本语料库。该数据集主要收录了由尚未出版且是免费的书籍所组成的文本，数量多达196,640本。这些书籍的内容覆盖广泛，因此 BookCorpus可以视为一个丰富的语言资源，经常被用于语句编码/解码的无监督学习等场景。

   - 介绍: 该数据集包含数千本未获版权保护的图书文本，以前常用来训练大型语言模型，如BERT。

7. **SQuAD (Stanford Question Answering Dataset)**
   - 网址: [https://rajpurkar.github.io/SQuAD-explorer/](https://rajpurkar.github.io/SQuAD-explorer/)
   - 介绍: SQuAD是斯坦福大学创建的阅读理解数据集。它提供了一系列问题和相应的段落，其中包含问题的答案。常用于训练和评估机器阅读理解系统。

8. **GLUE (General Language Understanding Evaluation)**
   - 网址: [https://gluebenchmark.com/](https://gluebenchmark.com/)
   - 介绍: GLUE是一系列评估自然语言理解系统的基准测试。它包含了不同的任务，比如句子相似性、自然语言推理等，用于衡量语言模型的综合性能。

 

9. **SuperGLUE**
   - 网址: [https://super.gluebenchmark.com/](https://super.gluebenchmark.com/)
   - 介绍: SuperGLUE是GLUE基准的后续项目，提供了更具挑战性的任务集合，以评估语言模型的推理能力。SuperGLUE是一个在通用语言理解评估（GLUE）基准平台之上进行的升级，该平台是由谷歌DeepMind、华盛顿大学和纽约大学在2018年联合成立的。SuperGLUE的目标是进一步提升自然语言理解模型的性能，通过提供更复杂、更有挑战性的任务来衡量模型的能力。

 

10. **SNLI (Stanford Natural Language Inference)**
    - 网址: [https://nlp.stanford.edu/projects/snli/](https://nlp.stanford.edu/projects/snli/)
    - 介绍: SNLI是一个大规模集合，包括句子对及它们之间的关系标签（蕴含、矛盾和中立）。用于训练和测试自然语言推理（NLI）模型。SNLI，全称Stanford Natural Language Inference，是一个自然SNLI，全称Stanford Natural Language Inference，是一个自然语言推理（NLI）的数据集。它是由斯坦福大学的Bowman, Manning和Raffel等人在2015年提出的。这个数据集包含了约570k的句子对，每个句子对都被标注为“中立”，“蕴含”或“矛盾”三个标签之一。这些样本被广泛用于训练和测试自然语言推理模型。

 

1. The Pile：这是一个825 GiB多样化的开源语言建模数据集，由22个较小的高质量数据集组合在一起组成。The Pile是一个开源语言建模数据集，由22个不同的高质量数据集构成，总数据量达825GB。这些数据集包含多种类型的文本，例如论坛、知识库和电子书等。此外，Pile不仅被用于训练大型语言模型，也可以用作评估语言模型跨领域知识和泛化能力的广泛覆盖基准。

下载地址：https://openxlab.org.cn/datasets?keywords=pile&lang=zh-CN&pageNo=1&pageSize=12。

2. C4：这是一个750GB的英文语料库，使用启发式方法，仅提取自然语言数据，同时删除所有乱码文本，C4还进行了大量重复数据删除以提高其质量，MPT-7B 和 T5 等语言模型是使用 C4 进行预训练的。下载地址：https://huggingface.co/datasets/c4。

3. WanJuan的发布：所有数据均采用统一的JSON格式组织，并提供了数据集下载工具及相关文档。这个开源的大规模多语言多模态数据集已被用于InternLM模型的训练，相比同规模模型，InternLM在多维度评测中展现出明显优势。WanJuan的发布填补了公开源数据的空白，有助于自然语言处理、计算机视觉等领域的技术进步，特别是需要多模态理解生成的任务。 InternLM模型在各项评测中也十分优秀，看样子这份数据集功不可没！详情参考：https://www.datalearner.com/ai-models/llm-evaluation。

 

大语言模型的核心是数据集，一定要收集大量数据集，并非某种模型或者算法。再说一遍，先收集数据，而不是算法和硬件。

 

注意，以上内容可能随着时间而失效或者受到限制。