当前位置： 首页 > news >正文

开发大语言模型需要数据？算法？算力？

news 2026/6/3 12:25:21

开发大语言模型的关键是什么。最近看到不少文章为了流量，甚至连 5G 通讯都说成了是开发大语言模型的关键 

其实从前面的原理介绍，不难看出，大语言模型的其中一个关键点是数据。

关键一：数据​

训练数据主要是所谓的语料库。今天的很多语言模型的语料库主要有以下几种：

  • Books：BookCorpus 是之前小语言模型如 GPT-2 常用的数据集，包括超过 11000 本电子书。主要包括小说和传记，最近更新时间是 2015 年 12 月。大一点的书籍语料库是 Gutenberg，它有 70000 本书，包括小说、散文、戏剧等作品，是目前最大的开源书籍语料库之一，最近更新时间是 2021 年 12 月。
  • CommonCrawl：这个是目前最大的开源网络爬虫数据库，不过这个数据包含了大量脏数据，所以目前常用的四个数据库是 C4、CC-Stories、CC-News 和 RealNews。另外还有两个基于 CommonCrawl 提取的新闻语料库 REALNEWS 和 CC-News。
  • Reddit Links：简单理解 Reddit 就是外国版本的百度贴吧 + 知乎。目前开源的数据库有 OpenWebText 和 PushShift.io。
  • Wikipedia：维基百科是目前大模型广泛使用的语料库。
  • Code：一般包含 GitHub 上的开源公共代码库，或者是

相关文章：

开发大语言模型需要数据？算法？算力？

开发大语言模型的关键是什么。最近看到不少文章为了流量，甚至连 5G 通讯都说成了是开发大语言模型的关键 其实从前面的原理介绍，不难看出，大语言模型的其中一个关键点是数据。 关键一：数据​ 训练数据主要是所谓的语料库。今天的很多语言模型的语料库主要有以下几种： …...

编程日记 2023/5/31 17:03:40

CSS选择器的常见用法

目录 1、CSS编写方式 2.CSS选择器 1.标签选择器 2.类选择器 3.id选择器 4.后代选择器 3.CSS属性 CSS叫做"层叠样式表",作用就是装饰网页.类似于我们平时所说的化妆。 字体、大小、间距、颜色、位置、边框、背景等等统称为样式，用来描述一个网页。 …...

编程日记 2023/5/14 6:28:01

Oracle EBS修改密码

FNDCPASS修改密码 用户名必须出现在FND_USER或FND_ORACLE_USERID表中。FNDCPASS实用程序和ALLRACLE功能是为应用程序用户/模式设计的。 对于FND_USER或FND_ORACLE_USERID中不存在的用户，可以使用alter命令更改密码。 查询用户是否存在FND_USER或FND_ORACLE_USERI…...

编程日记 2023/5/14 6:23:00

《花雕学AI》33：如何用XMind制作AI思维导图、鱼骨图和组织结构图

思维导图是一种有效的思维工具，它可以帮助我们整理信息，激发创意，提高效率。思维导图是一种以中心主题为核心，以分支结构为形式，以关键词和图像为内容的图形表示法。它可以让我们一目了然地看到知识的层次和逻辑&#…...

编程日记 2023/5/29 17:04:44

【rust】| 06——语言特性 | 所有权

系列文章目录 【rust】| 00——开发环境搭建 【rust】| 01——编译并运行第一个rust程序 【rust】| 02——语法基础 | 变量(不可变?)和常量 【rust】| 03——语法基础 | 数据类型 【rust】| 04——语法基础 | 函数 【rust】| 05——语法基础 | 流程控制 【rust】| 06——语言特…...

编程日记 2023/5/14 6:12:57

AUTOSAR入门

简介 AUTOSAR（AUTomotive Open System ARchitecture）是一种汽车软件架构标准，由德国大陆、博世、宝马等汽车及零部件制造商共同发起，拥有广泛的行业参与。其目标是为了解决汽车电子和软件系统日益复杂的问题，提高可重…...

编程日记 2023/5/14 6:07:55

运维高可用架构的 6 大常规方案

在介绍高可用架构的方案之前，先说一下什么是高可用架构，高可用架构应具备但不限于以下特征： 主从切换 很好理解，当其中一台机器的服务宕机后，对于服务调用者来说，能够迅速的切换到其他可用服务，…...

编程日记 2023/5/14 6:02:55

Java设计模式-桥接模式

简介 桥接模式（Bridge Pattern）是一种结构性设计模式，它的主要作用是将抽象部分和实现部分解耦，使它们可以独立变化而不会互相影响。桥接模式最早由GoF（Gang of Four）提出，在《设计模式》一书中…...

编程日记 2023/5/14 5:57:54

计及N-k安全约束的含光热电站电力系统优化调度模型【IEEE14节点、118节点】（Matlab代码实现）

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。 ⛳️座右铭&a…...

编程日记 2023/5/14 5:52:53

欧拉函数详解

文章目录 欧拉函数定义性质计算公式求某个数欧拉函数值线性筛求区域内欧拉函数 欧拉函数 定义 在[1,n]的范围内所有与n互质的数字的个数。 我们用 φ ( n ) \varphi(n) φ(n)来表示数字n的欧拉函数的值，例如： φ ( 4 ) 2 \varphi(4)2 φ(4)2&#xf…...

编程日记 2023/5/14 5:47:52

手把手教你如何将安卓手机数据导入iPhone！【详解】

案例：安卓数据导入苹果手机 【大神们，刚换了新的苹果手机，原本的安卓手机数据怎么导入新手机？】 想要换用iPhone，但是又不想丢失安卓手机里的重要数据怎么办？如何将安卓手机数据导入iphone？本文…...

编程日记 2023/5/14 5:42:51

怎么轻松地搞定Win11系统备份任务？

“我是一个电脑小白，不是很懂电脑的一些操作。我刚买了一台新电脑，它装的是Win11系统，我害怕它出现什么问题，听朋友说可以通过备份的方法保护系统，这是真的吗？有谁知道该怎么进行Win11系统备份吗&#xff1…...

编程日记 2023/5/30 16:20:55

MySQL集群

目录 主从复制 主从复制流程： 为什么要有relay log中继日志？ 为什么要有主从复制，好处？ 实际生产环境中。如果对MySQL数据库的读写都在一台数据库服务器中操作，无论是再安全性、高可用性，还是高并发性等…...

编程日记 2023/5/14 5:32:44

关于Kerberos认证的一些攻击手法学习总结

Kerberos认证流程 前言 本文主要分享最近学习的关于域内Kerberos认证的一些攻击手法，以自我的理解为主，从原理理解切入到基本工具利用来阐述，个人的理解分析较为啰嗦，嫌太兀长的可以跳着看就好，还请各位谅解。如有错误…...

编程日记 2023/5/14 5:27:43

STL-deque容器

双端数组，可以对头端进行插入删除操作 deque 容器和 vecotr 容器有很多相似之处，比如： deque 容器也擅长在序列尾部添加或删除元素（时间复杂度为O(1)），而不擅长在序列中间添加或删除元素。deque 容器也可…...

编程日记 2023/5/14 5:22:42

❤ go语言和java语言的优缺点

❤ go语言和java语言的优缺点对比 对比GOJAVA介绍Java是一种流行的面向对象的编程语言，它的语法类似于C，并且具有丰富的类库和工具。Java的可移植性很好，可以在多种平台上运行。Go是一种新兴的编程语言，它比Java更加简洁和易学&a…...

编程日记 2023/5/14 5:17:41

安全成就未来｜Fortinet Accelerate 2023·中国区巡展首站启幕

Fortinet Accelerate 2023中国区巡展 年度网络安全盛会 Fortinet Accelerate 2023中国区巡展，昨日在深圳拉开帷幕，开启15城巡展的“首城之站”。本年度巡展主题“安全成就未来”，Fortinet与中企通信、亚马逊云科技等生态合作伙伴&#xff0c…...

编程日记 2023/5/14 5:12:40

输入URL到显示界面的整个过程

以如下这个比较简单的网络拓扑模型作为例子，探究中间发生的整个过程： 1 HTTP 浏览器做的第一步工作就是要对 URL 进行解析，从而生成发送给 Web 服务器的请求信息。下图展示了一条长长的URL里各个元素代表什么： 所以整个长长的URL…...

编程日记 2023/5/14 5:07:39

BetaFlight飞控启动运行过程简介

BetaFlight飞控启动&运行过程简介 1. 源由2. 启动过程2.1 main（主程序）2.2 init （初始化）2.3 run 3. 任务调度3.1 任务定义3.2 scheduler (调度器) 4. 总结5. 参考资料6. 附录 -- 问题汇总6.1 Why desiredPeriodCycles is so …...

编程日记 2023/5/14 5:02:38

智能汽车实验二(视觉传感器标定)

实验二 视觉传感器标定（实验报告） 【实验目的】 1、了解开源图像处理库OpenCV的结构，掌握OpenCV的基本使用方法。 2、了解开源图像处理库OpenCV的基本模块功能，掌握常用图像处理方法。 3、掌握摄像机标定算法，学会使用…...

编程日记 2023/5/30 3:59:16

2605.VGGT-Omega 论文解读: 3D重建的Scaling Law, Register Attention效率革命 | Oxford+Meta CVPR26 Oral

VGGT-Omega: Scaling Feed-Forward 3D Reconstruction Jianyuan Wang, Minghao Chen, Shangzhan Zhang, Nikita Karaev, Johannes Schonberger, et al. Visual Geometry Group, Oxford Meta AI | CVPR 2026 Oral | arXiv 2605.15195 Paper | Project Page 一句话总结 VGGT-Om…...

编程新知 2026/5/26 1:33:08

3分钟掌握HashCalculator：你的文件完整性守护专家

3分钟掌握HashCalculator：你的文件完整性守护专家 【免费下载链接】HashCalculator 哈希值计算工具，批量计算/批量校验/查找重复文件/改变哈希值等，支持集成到系统右键菜单 项目地址: https://gitcode.com/gh_mirrors/ha/HashCalculator …...

编程新知 2026/5/26 0:50:41

LizzieYzy：你的智能围棋教练，让AI分析变得简单有趣 [特殊字符]

LizzieYzy：你的智能围棋教练，让AI分析变得简单有趣 🎯 【免费下载链接】lizzieyzy LizzieYzy - GUI for Game of Go 项目地址: https://gitcode.com/gh_mirrors/li/lizzieyzy 还在为复盘找不到关键点而烦恼吗？想提升棋力却…...

编程新知 2026/5/25 22:42:37

Allegro PCB设计小技巧：如何让Route Keepout区域既能走线又能打过孔（附详细步骤图）

Allegro PCB设计实战：Route Keepout区域的灵活控制技巧 在高速PCB设计中，Route Keepout区域的管理常常让工程师陷入两难境地——元件封装自带的限制区域与实际布线需求产生冲突。特别是处理PCIE等高速信号时，这种矛盾尤为突出。传统做法要么完…...

编程新知 2026/5/25 22:40:36

超维计算(HDC)原理与ScalableHD架构优化实践

1. 超维计算（HDC）基础解析超维计算（Hyperdimensional Computing, HDC）是一种受大脑信息处理机制启发的计算范式，其核心思想是用高维随机向量（通常称为超向量或HV）来表示和处理信息。与传统神经网…...

编程新知 2026/5/25 22:38:33

武汉国电华美16875kVA串联谐振试验装置，这手活儿细

在超高压变电站和长距离电缆的现场，交流耐压试验是检验设备绝缘的“最后一关”。这位老师傅经手过不少大工程，他说，面对GIS、大型变压器这些“大块头”电容性试品，能不能顺利“过关”，往往就看串联谐振装置顶不顶得住。…...

编程新知 2026/5/25 22:06:17

星露谷物语SMAPI模组加载器：从新手到专家的完整使用指南

星露谷物语SMAPI模组加载器：从新手到专家的完整使用指南 【免费下载链接】SMAPI The modding API for Stardew Valley. 项目地址: https://gitcode.com/gh_mirrors/smap/SMAPI 星露谷物语SMAPI模组加载器是官方推荐的模组API，它为玩家和开发者提供…...

编程新知 2026/5/25 16:04:24

PDF差异对比神器diff-pdf：告别文档核对烦恼，提升工作效率的智能解决方案

PDF差异对比神器diff-pdf：告别文档核对烦恼，提升工作效率的智能解决方案 【免费下载链接】diff-pdf A simple tool for visually comparing two PDF files 项目地址: https://gitcode.com/gh_mirrors/di/diff-pdf 你是否曾在核对PDF文档时感到头疼…...

编程新知 2026/5/25 15:23:54

TII投稿避坑指南：LaTeX模板编译报错‘xxx-eps-converted-to.pdf not found’的终极解决方案

TII投稿LaTeX避坑实战：从编译报错到完美PDF生成的终极指南 凌晨三点的实验室，屏幕上闪烁的xxx-eps-converted-to.pdf not found错误提示仿佛在嘲笑你连续八小时的徒劳尝试。这不是科幻场景，而是每位用LaTeX撰写TII论文的研究者都可能遭遇的真…...

编程新知 2026/5/25 15:16:02

Java入门全记录

一、表达式 1. 概念 由变量、运算符、字面值组成的式子，运算后会产生一个结果。 两变量参与运算，结果类型规则 如果参与运算的变量有一个为 double 类型，结果就是 double 类型 如果没有 double ，有一个为 float 类型，结…...

编程新知 2026/5/25 11:34:23