当前位置： 首页 > news >正文

速递FineWeb：一个拥有无限潜力的15T Tokens的开源数据集

news 2026/4/6 4:29:03

大模型技术论文不断，每个月总会新增上千篇。本专栏精选论文重点解读，主题还是围绕着行业实践和工程量产。若在某个环节出现卡点，可以回到大模型必备腔调或者LLM背后的基础模型新阅读。而最新科技（Mamba,xLSTM,KAN）则提供了大模型领域最新技术跟踪。若对于具身智能感兴趣的请移步具身智能专栏。技术宅麻烦死磕AI架构设计。

FineWeb

FineWeb是一个新发布的开源数据集，它希望通过其广泛收集的英语网络数据来推动语言模型研究发展。FineWeb 由 huggingface 领导的团体研发，提供超过15万亿个Token，这些Token来自2013年至2024年的 CommonCrawl转储。

FineWeb在设计时一丝不苟，使用datatrove进行流水线处理。这个过程针对数据集进行清理和重复数据删除的操作，从而提高其质量和适用性以便利于大语言模型的训练和评估。

FineWeb的主要优势之一在于其性能。通过精心策划和创新的过滤技术，FineWeb在各种基准测试任务中优于C4、Dolma v1.6、The Pile和 SlimPajama 等已建立的数据集。在FineWeb上训练的模型表现出卓越的性能，它已经成为自然语言处理的宝贵资源。

透明度和可重建是FineWeb发展的核心原则。该数据集及其处理管道代码在ODC-By 1.0许可下发布，使研究人员能够轻松复制和构建其发现。FineWeb还进行了广泛的消融和基准测试，以验证其对已建立数据集的有效性，确保其在语言模型研究中的可靠性和有用性。

FineWeb利用了URL 过滤、语言检测和质量评估等过滤步骤提高数据集的完整性和丰富性。每个CommonCrawl转储都使用高级MinHash技术单独删除重复数据，进一步提高了数据集的质量和实用性。<小编认为Minio其实也是可以的！>

关联阅读

2024年似乎已经打破了数据集方面的“4 分钟英里”。尽管Redpajama 2提供了高达30T 的Tokens，但大多数在2023年的LLMs都使用高达2.5T 的Tokens进行训练。随后DBRX推出12T的Tokens，Reka Core/Flash/Edge 推出5T的Tokens，Llama 3推出15T的Tokens。现在Huggingface 发布了一个开放数据集，其中包含12年过滤和重复数据删除的CommonCrawl的数据，总共有15T个Tokens。

相关文章：

速递FineWeb：一个拥有无限潜力的15T Tokens的开源数据集

大模型技术论文不断&#xff0c;每个月总会新增上千篇。本专栏精选论文重点解读&#xff0c;主题还是围绕着行业实践和工程量产。若在某个环节出现卡点&#xff0c;可以回到大模型必备腔调或者LLM背后的基础模型新阅读。而最新科技&#xff08;Mamba,xLSTM,KAN&#xff09;则提…...

编程日记 2024/6/4 3:46:37

HDLBits答案汇总

一.Getting Started Getting started-CSDN博客 二.Verilog Basics-CSDN博客 Vectors-CSDN博客 Module Hierarchy-CSDN博客 Procedures-CSDN博客 More Verilog Features-CSDN博客 三.Circuits Combinational Basic-CSDN博客 Multiplexers-CSDN博客 Arithmetic-CSDN博客 Karnau…...

编程日记 2024/6/4 3:45:35

云端数据提取：安全、高效地利用无限资源

在当今的大数据时代&#xff0c;企业和组织越来越依赖于云平台存储和处理海量数据。然而&#xff0c;随着数据的指数级增长&#xff0c;数据的安全性和高效的数据处理成为了企业最为关心的议题之一。本文将探讨云端数据安全的重要性&#xff0c;并提出一套既高效又安全的数据提…...

编程日记 2024/6/4 3:44:34

Java开发：Spring Boot 实战教程

序言 随着技术的快速发展和数字化转型的深入推进&#xff0c;软件开发领域迎来了前所未有的变革。在众多开发框架中&#xff0c;Spring Boot凭借其“约定大于配置”的核心理念和快速开发的能力&#xff0c;迅速崭露头角&#xff0c;成为当今企业级应用开发的首选框架之一。 《…...

编程日记 2024/6/4 3:43:33

【Python3.11版本利用whl文件安装对应的dlib-19.24.1-cp311-cp311-win_amd64.whl库】

下载Python对应的安装包 找到自己Python版本对应的dlib whl库将网盘下载好的文件放在安装Python的Scripts路径下面接着在该路径输入cmdpip进行安装使用的是国内的源 找到自己Python版本对应的dlib whl库 python 3.11 对应 dlib-19.24.1-cp311-cp311-win_amd64.whl -i 也可以去…...

编程日记 2024/6/4 3:42:32

HW面试常见知识点2——研判分析（蓝队中级版）

&#x1f340;文章简介&#xff1a;又到了一年一度的HW时刻&#xff0c;本文写给新手想快速进阶HW蓝中的网安爱好者们&#xff0c; 通读熟练掌握本文面试定个蓝中还是没问题的&#xff01;大家也要灵活随机应变&#xff0c;不要太刻板的回答&#xff09; &#x1f341;个人主页…...

编程日记 2024/6/4 3:40:29

鲁教版七年级数学下册-笔记

文章目录 第七章 二元一次方程组1 二元一次方程组2 解二元一次方程组3 二元一次方程组的应用4 二元一次方程与一次函数5 三元一次方程组 第八章 平行线的有关证明1 定义与命题2 证明的必要性3 基本事实与定理4 平行线的判定定理5 平行限的性质定理6 三角形内角和定理 第九章 概…...

编程日记 2024/6/4 3:39:28

带你走进在线直线度测量仪 解析测量方法！

在线直线度测量仪 在线直线度测量仪可安装于生产线上&#xff0c;进行非接触式的无损检测&#xff0c;能检测米直线度尺寸&#xff0c;对截面为圆形的产品&#xff0c;进性直线度检测的帮手。 测量方法 在线直线度拟采用我公司的光电测头对矫直后的棒材直线度进行测量。测量时…...

编程日记 2024/6/4 3:38:27

力扣1 两数之和

给定一个整数数组 nums 和一个整数目标值 target&#xff0c;请你在该数组中找出 和为目标值 target 的那 两个 整数&#xff0c;并返回它们的数组下标。 你可以假设每种输入只会对应一个答案。但是&#xff0c;数组中同一个元素在答案里不能重复出现。 你可以按任意顺序返回…...

编程日记 2024/6/4 3:37:25

AndroidFlutter混合开发

为什么要有混合开发 我们知道&#xff0c;Flutter是可以做跨平台开发的&#xff0c;即一份Flutter的Dart代码&#xff0c;可以编译到多个平台上运行。这么做的好处就是&#xff0c;在不降低多少性能的情况下&#xff0c;尽最大可能的节省开发的时间成本&#xff0c;直接将开发…...

编程日记 2024/6/4 3:36:24

Halcon 光度立体 缺陷检测

一、概述 halcon——缺陷检测常用方法总结&#xff08;光度立体&#xff09; - 唯有自己强大 - 博客园 (cnblogs.com) 上周去了康耐视的新品发布会&#xff0c;我真的感觉压力山大&#xff0c;因为VM可以实现现在项目中的80% 的功能&#xff0c;感觉自己的不久就要失业了。同时…...

编程日记 2024/6/4 3:34:21

关于找暑期实习后的一些反思

日期 2024年6月3日 写在前面&#xff1a;距离研究生毕业还有9个月&#xff0c;前端时间一直在不停地投简历&#xff0c;不停地刷笔试题&#xff0c;不停地被拒绝&#xff0c;今天悬着的心终于死透了&#xff0c;心情还是比较糟糕的&#xff0c;可能唯一的安慰就是一篇小论文终于…...

编程日记 2024/6/4 3:30:18

Rust struct

Rust struct 1.实例化需要初始化全部成员变量2.如果需要实例化对象可变&#xff0c;加上mut则所有成员变量均可变 Rust支持通过已实例化的对象&#xff0c;赋值给未赋值的对象的成员变量 #![allow(warnings)] use std::io; use std::error::Error; use std::boxed::Box; use s…...

编程日记 2024/6/4 3:28:16

【UE5：CesiumForUnreal】——加载无高度地形数据

目录 1.实现目的 2.数据准备 2.1下载数据 2.2 数据切片 3.加载无地形数据 1.实现目的 在CesiumForUnreal插件中&#xff0c;我们加载地图和地形图层之后&#xff0c;默认都是加载的带有高程信息的地形数据&#xff0c;在实际的项目和开发中&#xff0c;有时候我们需要加载无…...

编程日记 2024/6/4 3:27:15

证件/文书类日期中文大写js/ts插件

说明 证件/文书类落款日期中文大写往往会将“零”写作“〇”&#xff0c;而数字依然使用简体“一二三”&#xff0c;而不是“壹贰叁”。 如下&#xff1a; 针对这一点&#xff0c;写了如下转换插件。 代码 function DateToUpperCase(date: Date new Date()) {const chStr …...

编程日记 2024/6/4 3:26:12

03JAVA基础(方法/类/封装(构造方法))

目录 1.方法 1.1 方法的定义 1.2 方法的重载 2.类和对象 3.封装 1. private关键字 2. this关键字 3. 封装 4. 构造方法 1.方法 含义: 将具有独立功能的代码块组织成一个整体,具有特殊功能的代码集 注意: 方法必须先创建才可以使用,需要手动调用执行 1.1 方法的定义 格…...

编程日记 2024/6/4 3:25:11

数据容器的通用操作、字符串大小比较 总结完毕！

1.数据容器的通用操作 1&#xff09;五类数据容器是否都支持while循环/for循环 五类数据容器都支持for循环遍历 列表、元组、字符串都支持while循环&#xff0c;集合、字典不支持&#xff08;无法下标索引&#xff09; 尽管遍历的形式不同&#xff0c;但都支持遍历操作 2&a…...

编程日记 2024/6/4 3:23:09

KAN(Kolmogorov-Arnold Network)的理解 3

系列文章目录 第一部分 KAN的理解——数学背景 第二部分 KAN的理解——网络结构 第三部分 KAN的实践——第一个例程 文章目录 系列文章目录前言KAN 的第一个例程 get started 前言 这里记录我对于KAN的探索过程&#xff0c;每次会尝试理解解释一部分问题。欢迎大家和我一起讨…...

编程日记 2024/6/4 3:22:07

lux和ffmpeg进行下载各大主流自媒体平台视频

1、lux下载&#xff0c;链接&#xff1a;https://pan.baidu.com/s/1WjGbouL3KFTU6LeqZmACpA?pwdagpp 提取码&#xff1a;agpp 2、ffmpeg下载&#xff0c;跟lux放在同一个目录&#xff1b; 3、为lux、ffmpeg设置环境变量&#xff1b; 4、WINR&#xff0c;打开运行&#xff0…...

编程日记 2024/6/4 3:21:06

day25-XML

1.xml 1.1概述【理解】 1.2语法规则【应用】 1.5DTD约束【理解】 1.6schema约束【理解】 1.4xml解析【应用】 概述 xml解析就是从xml中获取到数据 常见的解析思想 DOM(Document Object Model)文档对象模型:就是把文档的各个组成部分看做成对应的对象。 会把xml文件全部加载到…...

编程日记 2024/6/4 3:20:04

深入解析 OpenSTLinux 6.6 Yocto SDK 环境配置与 BSP 源码部署 - STM32MP2 实战（基于STM32CubeMX）

1. OpenSTLinux 6.6 Yocto SDK环境配置全攻略 刚拿到STM32MP2开发板时&#xff0c;最让人头疼的就是搭建开发环境。我花了整整三天时间才把Yocto SDK环境配置明白&#xff0c;今天就把这些实战经验分享给大家&#xff0c;让你少走弯路。 首先需要下载两个关键文件&#xff1a;S…...

编程新知 2026/4/6 4:01:51

别再只调RGB了！用HSV给你的WS2812灯带调出更自然的彩虹渐变（附Arduino代码）

别再只调RGB了&#xff01;用HSV给你的WS2812灯带调出更自然的彩虹渐变&#xff08;附Arduino代码&#xff09; 每次看到WS2812灯带突然跳变的颜色&#xff0c;总觉得少了点优雅。RGB数值的直接操控就像用扳手调钢琴——理论上可行&#xff0c;但实际操作起来总差那么点意思。上…...

编程新知 2026/4/6 3:00:58

SinricPro_Generic库：多平台MCU接入Alexa的嵌入式通信框架

1. SinricPro_Generic 库深度技术解析&#xff1a;面向多平台嵌入式设备的 Alexa 智能家居接入方案1.1 库定位与核心价值SinricPro_Generic是一个高度工程化的、面向生产环境的嵌入式 IoT 通信中间件&#xff0c;其核心使命是将资源受限的微控制器&#xff08;MCU&#xff09;无…...

编程新知 2026/4/6 1:39:50

Matlab代码源码实现：复杂环境下的非饱和非均质土坡三维稳定性分析极限研究

Matlab代码源码实现&#xff1a;复杂条件下非饱和非均质土坡三维稳定性极限分析MATLAB 代码的功能介绍文章&#xff0c;涵盖了代码的整体目标、结构、功能模块及其在工程与科研中的应用价值。一、项目背景与研究目标 本 MATLAB 程序集旨在实现 复杂条件下非饱和非均质土坡的三维…...

编程新知 2026/4/6 0:45:21

数据集成与 ETL 实践：从设计到优化

数据集成与 ETL 实践&#xff1a;从设计到优化 前言 作为一个在数据深渊里捞了十几年 Bug 的女码农&#xff0c;我深知数据集成和 ETL&#xff08;Extract, Transform, Load&#xff09;在企业数据管理中的重要性。随着数据量的爆炸式增长和数据来源的多样化&#xff0c;数据集…...

编程新知 2026/4/5 23:56:22

保姆级教程：在CentOS 7.9上从源码编译安装nvtop 3.1.0（含CMake 3.29.7依赖安装）

在CentOS 7.9上从源码构建GPU监控神器nvtop 3.1.0的全流程指南 当你面对一台运行CentOS 7.9的老旧服务器&#xff0c;需要实时监控NVIDIA、AMD或Intel GPU的运行状态时&#xff0c;nvtop无疑是最佳选择之一。这款类似htop的工具能直观展示GPU使用率、温度、显存占用等关键指标&…...

编程新知 2026/4/5 23:36:10

永磁同步电机参数辨识全解析：从原理到代码实现

永磁同步电机参数辨识 提供原理图、PCB和BOM表及文档说明 永磁同步电机参数辨识 包括初始位置检测&#xff0c;编码器零点位置、方向辨识&#xff1b; 包括电机极对数、电阻、电感、磁链、反电势常数、编码器零位等 包括源C代码&#xff0c;代码详细注释文档&#xff0c;可见…...

编程新知 2026/4/5 22:49:08

JAVA重点基础、进阶知识及易错点总结（35）注解与反射

&#x1f680; Java 巩固进阶 第 35 天 主题&#xff1a;注解与反射结合 —— 让注解"活"起来&#x1f4c5; 进度概览&#xff1a;继昨天学习注解定义之后&#xff0c;今天进入 注解的核心应用场景&#xff1a;注解 反射。单独的注解只是"标签"&#xff…...

编程新知 2026/4/5 22:26:58

云原生下的PostgreSQL高可用实战：在K8s里用StatefulSet和Patroni API告别VIP和HAProxy

云原生时代的PostgreSQL高可用架构&#xff1a;基于Kubernetes与Patroni的实践指南 当企业的数据库基础设施全面转向云原生环境时&#xff0c;传统基于虚拟机的高可用方案显得格格不入。在Kubernetes生态中&#xff0c;StatefulSet控制器和Patroni的Kubernetes原生集成让我们能…...

编程新知 2026/4/5 22:01:50

GitHub中文插件终极指南：3分钟让GitHub界面全面中文化

GitHub中文插件终极指南&#xff1a;3分钟让GitHub界面全面中文化 【免费下载链接】github-chinese GitHub 汉化插件&#xff0c;GitHub 中文化界面。 (GitHub Translation To Chinese) 项目地址: https://gitcode.com/gh_mirrors/gi/github-chinese 你是否曾经因为GitH…...

编程新知 2026/4/5 21:51:41