当前位置： 首页 > news >正文

XetHub 加入 Hugging Face！

news 2026/4/7 5:40:37

我们非常激动地正式宣布，Hugging Face 已收购 XetHub 🔥

XetHub 是一家位于西雅图的公司，由 Yucheng Low、Ajit Banerjee 和 Rajat Arya 创立，他们之前在 Apple 工作，构建和扩展了 Apple 的内部机器学习基础设施。XetHub 的使命是为 AI 开发提供软件工程的最佳实践。XetHub 开发了技术，能够使 Git 扩展到 TB 级别的存储库，并使团队能够探索、理解和共同处理大型不断变化的数据集和模型。不久之后，他们加入了一支由 12 名才华横溢的团队成员组成的团队。你可以在他们的新组织页面关注他们：hf.co/xet-team。

我们在 Hugging Face 的共同目标

XetHub 团队将帮助我们通过切换到我们自己的、更好的 LFS 版本作为 Hub 存储库的存储后端，解锁 Hugging Face 数据集和模型的未来五年增长。

—— Julien Chaumond, Hugging Face CTO

早在 2020 年，当我们构建第一个 Hugging Face Hub 版本时，我们决定将其构建在 Git LFS 之上，因为它相当知名，并且是启动 Hub 使用的合理选择。

然而，我们当时就知道，某个时候我们会希望切换到我们自己的、更优化的存储和版本控制后端。Git LFS——即使它代表的是大文件存储——也从未适合我们在 AI 中处理的那种类型的大文件，这些文件不仅大，而且非常大 😃。

未来的示例用例 🔥 – 这将如何在 Hub 上实现

假设你有一个 10GB 的 Parquet 文件。你添加了一行。今天你需要重新上传 10GB。使用 XetHub 的分块文件和重复数据删除技术，你只需要重新上传包含新行的几个块。

另一个例子是 GGUF 模型文件：假设@bartowski想要更新 Llama 3.1 405B 存储库的 GGUF 头部中的一个元数据值。将来，bartowski 只需重新上传几千字节的单个块，使这个过程更加高效 🔥。

@bartowskihttps://hf.co/bartowski

随着该领域在未来几个月内转向万亿参数模型 (感谢 Maxime Labonne 提供新的BigLlama-3.1-1T🤯) ，我们希望这种新技术将解锁社区和企业内部的新规模。

BigLlama-3.1-1Thttps://hf.co/mlabonne/BigLlama-3.1-1T-Instruct

最后，随着大数据集和大模型的

出现，协作也面临挑战。团队如何共同处理大型数据、模型和代码？用户如何理解他们的数据和模型是如何演变的？我们将努力找到更好的解决方案来回答这些问题。

Hub 存储库的有趣当前统计数据 🤯🤯

  • 存储库数量：130 万个模型，45 万个数据集，68 万个空间

  • 累计总大小：LFS 中存储了 12PB (2.8 亿个文件) / git (非 LFS) 中存储了 7.3TB

  • Hub 每日请求次数：10 亿次

  • Cloudfront 每日带宽：6PB 🤯

来自@ylow的个人话语

@ylowhttps://hf.co/yuchenglow

我在 AI/ML 领域工作了 15 年以上，见证了深度学习如何慢慢接管视觉、语音、文本，甚至越来越多的每个数据领域。

我严重低估了数据的力量。几年前看起来不可能的任务 (如图像生成) ，实际上通过数量级更多的数据和能够吸收这些数据的模型变得可能。从历史上看，这是一再重复的机器学习历史教训。

自从我的博士学位以来，我一直在数据领域工作。首先在初创公司 (GraphLab/Dato/Turi) 中，我使结构化数据和机器学习算法在单机上扩展。之后被 Apple 收购，我致力于将 AI 数据管理扩展到超过 100PB，支持数十个内部团队每年发布数百个功能。2021 年，与我的联合创始人们一起，在 Madrona 和其他天使投资者的支持下，创立了 XetHub，将我们在实现大规模协作方面的经验带给全世界。

XetHub 的目标是使 ML 团队像软件团队一样运作，通过将 Git 文件存储扩展到 TB 级别，无缝实现实验和可重复性，并提供可视化功能来理解数据集和模型的演变。

我和整个 XetHub 团队都非常高兴能够加入 Hugging Face，并继续我们的使命，通过将 XetHub 技术整合到 Hub 中，使 AI 协作和开发更加容易，并向全球最大的 ML 社区发布这些功能！

最后，我们的基础设施团队正在招聘 👯

如果你喜欢这些主题，并希望为开源 AI 运动构建和扩展协作平台，请联系我们！

欢迎访问：hf.co/xet-team。

英文原文:https://hf.co/blog/xethub-joins-hf

原文作者: Yucheng Low, Julien Chaumond

译者: AdinaY

相关文章：

XetHub 加入 Hugging Face！

我们非常激动地正式宣布，Hugging Face 已收购 XetHub 🔥 XetHub 是一家位于西雅图的公司，由 Yucheng Low、Ajit Banerjee 和 Rajat Arya 创立，他们之前在 Apple 工作，构建和扩展了 Apple 的内部机器学习基础设施。XetH…...

编程日记 2024/8/12 21:52:55

在编程学习的海洋中，如何打造高效的知识宝库

目录 在编程学习的海洋中，如何打造高效的知识宝库一、笔记记录的重要性：为知识设立灯塔二、快速记录的策略：抓住知识的核心三、系统化的整理：构建个人知识体系四、实用工具推荐：为知识管理添砖加瓦五、保持条理性的秘诀…...

编程日记 2024/8/12 21:51:53

string详解（1）

1.C语言中的字符串 C语言中，字符串是以\0结尾的一些字符的集合，为了操作方便，C标准库中提供了一些str系列的库函数，但是这些库函数与字符串是分离开的，不太符合OOP的思想，而且底层空间需要用户自己管理&…...

编程日记 2024/8/12 21:50:51

Linux云计算 |【第二阶段】NETWORK-DAY4

主要内容： NAT 原理与配置（私有IP地址、静态NAT转换、Easy IP）、VRRP解析（主路由器、备份路由器、虚拟路由器、优先级） 一、NAT概述 NAT 网络地址转换（Network Address Translation）是一种网络…...

编程日记 2024/8/12 21:48:49

amazon linux使用密码登录或者root登陆

1. 首先要把创建root密码，如果原来的密码不记得了，可以直接用 sudo passwd -d root 删除原来的密码 然后创建root密码 sudo passwd root 2. 修改 sshd_config 文件 vim /etc/ssh/sshd_config 允许使用密码登录 PasswordAuthentication yes 允许root…...

编程日记 2024/8/12 21:47:48

集智书童 | CNN 与 Transformer 的强强联合：AResNet-ViT在图像分析中的优势 ！

本文来源公众号“集智书童”，仅用于学术分享，侵权删，干货满满。 原文链接：CNN 与 Transformer 的强强联合：AResNet-ViT在图像分析中的优势 ！ 作者针对残差CNN分支的注意力引导设计进行了消融实验。同时&a…...

编程日记 2024/8/12 21:44:45

Ubuntu基础使用指南

Ubuntu基础使用指南 Ubuntu作为一款流行的开源操作系统，以其稳定性、安全性和易用性著称。无论是作为服务器操作系统还是桌面操作系统，Ubuntu都能满足用户的各种需求。下面，我们将从Ubuntu的基础使用开始，带你深入了解这个强大的…...

编程日记 2024/8/12 21:43:44

怎样才算精通 Excel？

最强AI视频生成：小说文案智能分镜智能识别角色和场景批量Ai绘图自动配音添加音乐一键合成视频百万播放量https://aitools.jurilu.com/ 高赞回答很系统，但普通人这么学，没等精通先学废了！ 4年前，我为了学数据分析&#…...

编程日记 2024/8/12 21:42:41

怎么学算法并找到工作

1.基础 找一本基础的内容看一遍 时间复杂度、空间复杂度计算方式数组、队列、栈、树、图结构十大排序算法 2.《hello算法》 动画图解算法 https://www.hello-algo.com/chapter_hello_algo/ 3.《剑指Offer》 一些面试的高频有年度的题解 里么的题很有特色，而…...

编程日记 2024/8/12 21:40:38

【实时建图】MapTR（1）------ 论文详解

作者们提出了一种有效构建高清地图的方法（MapTR），该地图为自动驾驶系统的规划提供丰富且精确的环境信息。这是一种结构化端到端变换器，用于高效在线矢量化地图构建。作者提出了一种统一的置换等价建模方法，即将地图元素建模为一个具有一组等价置换的点集，这准确地描述了地…...

编程日记 2024/8/12 21:39:36

通用Builder工具类

假设有一个Java实体类定义： public class Request {private String type;private String op;private PageInfo pageInfo;public static class PageInfo {private Integer pageNum;private Integer pageSize;}// 省略getter和setter... }在代码中创建这个对象&#…...

编程日记 2024/8/12 21:36:33

开源免费的海报设计器vue-fabric-editor

vue-fabric-editor 是一个基于 Vue.js 和 Fabric.js 的创新前端富文本编辑器，它将传统的文本输入体验与图形设计元素相结合，为用户提供了全新的内容创作方式。 以下是关于 vue-fabric-editor 的详细介绍： 一、技术特点 框架结合：…...

编程日记 2024/8/12 21:34:30

【学习笔记】Day 4 - Day 5

一、进度概述 1、新机环境配置 2、《地震勘探原理》第一章 3、对 “DL-FWI 研究方向展望” 组会的一些想法 二、详情 1、新机环境配置 配置新机环境着实耗了较多时间，导致理论进度推进较慢。 2、《地震勘探原理》第一章学习笔记 相关笔记在另一篇…...

编程日记 2024/8/12 21:32:28

MySQL数据分析进阶（十四）保护数据库

※食用指南：文章内容为‘CodeWithMosh’SQL进阶教程系列学习笔记，笔记整理比较粗糙，主要目的自存为主，记录完整的学习过程。（图片超级多，慎看！） 【中字】SQL进阶教程 | 史上最易懂S…...

编程日记 2024/8/12 21:28:24

排序算法之堆排序

title: 堆排序 date: 2024-7-23 15:48:25 0800 categories: 排序算法 tags:排序算法堆排序 description: 堆排序（Heap Sort）是一种基于堆的排序算法，具有较高的效率和稳定性。 math: true 堆排序 堆排序（Heap Sort）是…...

编程日记 2024/8/12 21:27:23

Python中的NLP宝库：探索顶级库与工具

标题：Python中的NLP宝库：探索顶级库与工具 Python，作为人工智能和机器学习任务中的关键编程语言，为自然语言处理（NLP）提供了丰富的库和工具。这些库不仅功能强大，而且大多数都是开源的&#xf…...

编程日记 2024/8/12 21:26:21

springboot + springcloud + Google pubsub+ firebase

1.pom依赖 <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-gcp-starter</artifactId><version>1.2.6.RELEASE</version></dependency><dependency><groupId>org.springframe…...

编程日记 2024/8/12 21:25:20

时序数据库TDengine和QuestDB对比

QuestDB和TDengine都是高性能的时序数据库&#xff08;Time Series Database, TSDB&#xff09;&#xff0c;但它们在设计、功能、适用场景以及性能表现上各有特色。 以下是对两者的详细对比&#xff1a; 一、设计与架构 QuestDB 是一个开源的高性能SQL时序数据库&#xff0…...

编程日记 2024/8/12 21:24:19

Neuralink的进展与马斯克的技术愿景——从脑机接口到AI融合的未来

引言 Neuralink&#xff0c;这个由埃隆马斯克&#xff08;Elon Musk&#xff09;创立的公司&#xff0c;一直是科技界的焦点。自从其发布以来&#xff0c;Neuralink的脑机接口技术便吸引了全球的目光。最近&#xff0c;马斯克再次向公众展示了Neuralink的突破性进展&#xff0…...

编程日记 2024/8/12 21:17:13

大数据技术——实战项目：广告数仓（第四部分）

目录 第7章 数据仓库环境准备 7.1 数据仓库运行环境 7.1.1 Hive环境搭建 7.1.2 Yarn环境配置 7.2 数据仓库开发环境 第8章 广告数仓ODS层 8.1 广告信息表 8.2 推广平台表 8.3 产品表 8.4 广告投放表 8.5 日志服务器列表 8.6 广告监测日志表 8.7 数据装载脚本 第7章…...

编程日记 2024/8/12 21:16:12

Java版Playwright实战：从零开始搭建自动化测试框架（含完整代码示例）

Java版Playwright实战&#xff1a;从零开始搭建自动化测试框架&#xff08;含完整代码示例&#xff09; 在当今快节奏的软件开发环境中&#xff0c;自动化测试已成为保障产品质量不可或缺的一环。对于Java开发者而言&#xff0c;Playwright以其跨浏览器支持、现代化API设计和出…...

编程新知 2026/4/7 3:07:49

如何计算SEO页面优化的费用_SEO页面优化费用如何收取

如何计算SEO页面优化的费用_SEO页面优化费用如何收取 在当今数字化时代&#xff0c;网站的SEO优化成为了提升网站流量和品牌知名度的关键因素。SEO页面优化的费用如何计算和收取&#xff0c;这个问题困扰着许多初学者和企业主。本文将详细解析如何计算SEO页面优化的费用&#…...

编程新知 2026/4/7 2:37:24

基于R语言的自动数据收集：网络抓取和文本挖掘实用指南【1.7】

3.5 XML和R的实践现在让我们转到实际例子。XML文件在R会话中如何查看、如何导入、如何访问&#xff0c;以及如何把来自XML文档的信息转化为更便于进一步图形化或统计化分析的数据结构&#xff0c;例如常规的数据框&#xff08;data frame&#xff09;呢&#xff1f;正如我们前面…...

编程新知 2026/4/7 2:17:20

Vue.js核心原理之VNode如何映射真实DOM元素流程全解

VNode是Vue中描述DOM结构的轻量、可比较、不可变的JavaScript对象&#xff0c;包含tag、data、children等字段&#xff0c;不直接操作DOM&#xff0c;其真实DOM绑定和更新由patch过程完成。Vue.js 中的 VNode&#xff08;虚拟节点&#xff09;是实现响应式更新和高效 DOM 操作的…...

编程新知 2026/4/7 1:42:43

Arduino嵌入式LittleFS文件系统C++封装库

1. 项目概述107-Arduino-littlefs是一个面向 Arduino 生态的轻量级嵌入式文件系统封装库&#xff0c;其核心目标是为资源受限的微控制器平台提供符合 POSIX 风格、具备掉电安全特性的非易失性存储抽象层。该库并非从零实现文件系统逻辑&#xff0c;而是对业界广泛采用的littlef…...

编程新知 2026/4/7 0:13:25

云原生环境中的配置中心实践

云原生环境中的配置中心实践 &#x1f525; 硬核开场 各位技术老铁&#xff0c;今天咱们聊聊云原生环境中的配置中心实践。别跟我扯那些理论&#xff0c;直接上干货&#xff01;在云原生时代&#xff0c;配置管理是系统可靠性和可维护性的关键。不搞配置中心&#xff1f;那你…...

编程新知 2026/4/6 23:48:44

保姆级教程：从官网下载到成功运行，手把手搞定CANoe 16.0安装（附常见报错排查）

CANoe 16.0安装全攻略&#xff1a;从零开始到完美运行的避坑指南 第一次接触CANoe 16.0时&#xff0c;很多人会被复杂的安装流程和各种报错搞得焦头烂额。作为汽车电子领域最常用的网络测试工具之一&#xff0c;CANoe的安装过程确实比普通软件要复杂得多——从官网下载的正确姿…...

编程新知 2026/4/6 21:03:41

终极指南：如何为QuaggaJS构建自定义条形码扫描插件

终极指南&#xff1a;如何为QuaggaJS构建自定义条形码扫描插件 【免费下载链接】quaggaJS An advanced barcode-scanner written in JavaScript 项目地址: https://gitcode.com/gh_mirrors/qu/quaggaJS QuaggaJS是一款强大的JavaScript条形码扫描库&#xff0c;它允许开…...

编程新知 2026/4/6 20:45:32

[具身智能-244]：OpenCV目标跟踪应用程序调用OpenCV库函数实现该功能的主要流程

OpenCV 目标跟踪应用程序的实现流程&#xff0c;本质上是“初始化&#xff08;定义目标&#xff09; -> 循环更新&#xff08;预测位置&#xff09; -> 可视化&#xff08;反馈结果&#xff09;”的过程。这一流程完美体现了之前提到的“逻辑推演模式”&#xff1a;程序员…...

编程新知 2026/4/6 20:27:24

Qwen3-Reranker-0.6B镜像免配置：预置benchmark脚本一键跑通MTEB测试

Qwen3-Reranker-0.6B镜像免配置&#xff1a;预置benchmark脚本一键跑通MTEB测试 1. 开箱即用的重排序利器 如果你正在寻找一个开箱即用、性能出色的重排序模型&#xff0c;Qwen3-Reranker-0.6B绝对值得关注。这个仅有6亿参数的小巧模型&#xff0c;在文本重排序任务上展现出了…...

编程新知 2026/4/6 20:19:18