当前位置： 首页 > news >正文

XetHub 加入 Hugging Face！

news 文章来源：https://blog.csdn.net/HuggingFace/article/details/141075129 2025/5/7 3:48:03

我们非常激动地正式宣布，Hugging Face 已收购 XetHub 🔥

XetHub 是一家位于西雅图的公司，由 Yucheng Low、Ajit Banerjee 和 Rajat Arya 创立，他们之前在 Apple 工作，构建和扩展了 Apple 的内部机器学习基础设施。XetHub 的使命是为 AI 开发提供软件工程的最佳实践。XetHub 开发了技术，能够使 Git 扩展到 TB 级别的存储库，并使团队能够探索、理解和共同处理大型不断变化的数据集和模型。不久之后，他们加入了一支由 12 名才华横溢的团队成员组成的团队。你可以在他们的新组织页面关注他们：hf.co/xet-team。

我们在 Hugging Face 的共同目标

XetHub 团队将帮助我们通过切换到我们自己的、更好的 LFS 版本作为 Hub 存储库的存储后端，解锁 Hugging Face 数据集和模型的未来五年增长。

—— Julien Chaumond, Hugging Face CTO

早在 2020 年，当我们构建第一个 Hugging Face Hub 版本时，我们决定将其构建在 Git LFS 之上，因为它相当知名，并且是启动 Hub 使用的合理选择。

然而，我们当时就知道，某个时候我们会希望切换到我们自己的、更优化的存储和版本控制后端。Git LFS——即使它代表的是大文件存储——也从未适合我们在 AI 中处理的那种类型的大文件，这些文件不仅大，而且非常大 😃。

未来的示例用例 🔥 – 这将如何在 Hub 上实现

假设你有一个 10GB 的 Parquet 文件。你添加了一行。今天你需要重新上传 10GB。使用 XetHub 的分块文件和重复数据删除技术，你只需要重新上传包含新行的几个块。

另一个例子是 GGUF 模型文件：假设@bartowski想要更新 Llama 3.1 405B 存储库的 GGUF 头部中的一个元数据值。将来，bartowski 只需重新上传几千字节的单个块，使这个过程更加高效 🔥。

@bartowskihttps://hf.co/bartowski

随着该领域在未来几个月内转向万亿参数模型 (感谢 Maxime Labonne 提供新的BigLlama-3.1-1T🤯) ，我们希望这种新技术将解锁社区和企业内部的新规模。

BigLlama-3.1-1Thttps://hf.co/mlabonne/BigLlama-3.1-1T-Instruct

最后，随着大数据集和大模型的

出现，协作也面临挑战。团队如何共同处理大型数据、模型和代码？用户如何理解他们的数据和模型是如何演变的？我们将努力找到更好的解决方案来回答这些问题。

Hub 存储库的有趣当前统计数据 🤯🤯

  • 存储库数量：130 万个模型，45 万个数据集，68 万个空间

  • 累计总大小：LFS 中存储了 12PB (2.8 亿个文件) / git (非 LFS) 中存储了 7.3TB

  • Hub 每日请求次数：10 亿次

  • Cloudfront 每日带宽：6PB 🤯

来自@ylow的个人话语

@ylowhttps://hf.co/yuchenglow

我在 AI/ML 领域工作了 15 年以上，见证了深度学习如何慢慢接管视觉、语音、文本，甚至越来越多的每个数据领域。

我严重低估了数据的力量。几年前看起来不可能的任务 (如图像生成) ，实际上通过数量级更多的数据和能够吸收这些数据的模型变得可能。从历史上看，这是一再重复的机器学习历史教训。

自从我的博士学位以来，我一直在数据领域工作。首先在初创公司 (GraphLab/Dato/Turi) 中，我使结构化数据和机器学习算法在单机上扩展。之后被 Apple 收购，我致力于将 AI 数据管理扩展到超过 100PB，支持数十个内部团队每年发布数百个功能。2021 年，与我的联合创始人们一起，在 Madrona 和其他天使投资者的支持下，创立了 XetHub，将我们在实现大规模协作方面的经验带给全世界。

XetHub 的目标是使 ML 团队像软件团队一样运作，通过将 Git 文件存储扩展到 TB 级别，无缝实现实验和可重复性，并提供可视化功能来理解数据集和模型的演变。

我和整个 XetHub 团队都非常高兴能够加入 Hugging Face，并继续我们的使命，通过将 XetHub 技术整合到 Hub 中，使 AI 协作和开发更加容易，并向全球最大的 ML 社区发布这些功能！

最后，我们的基础设施团队正在招聘 👯

如果你喜欢这些主题，并希望为开源 AI 运动构建和扩展协作平台，请联系我们！

欢迎访问：hf.co/xet-team。

英文原文:https://hf.co/blog/xethub-joins-hf

原文作者: Yucheng Low, Julien Chaumond

译者: AdinaY

相关文章：

XetHub 加入 Hugging Face！

我们非常激动地正式宣布，Hugging Face 已收购 XetHub 🔥 XetHub 是一家位于西雅图的公司，由 Yucheng Low、Ajit Banerjee 和 Rajat Arya 创立，他们之前在 Apple 工作，构建和扩展了 Apple 的内部机器学习基础设施。XetH…...

编程日记 2024/8/12 21:52:55

在编程学习的海洋中，如何打造高效的知识宝库

目录 在编程学习的海洋中，如何打造高效的知识宝库一、笔记记录的重要性：为知识设立灯塔二、快速记录的策略：抓住知识的核心三、系统化的整理：构建个人知识体系四、实用工具推荐：为知识管理添砖加瓦五、保持条理性的秘诀…...

编程日记 2024/8/12 21:51:53

string详解（1）

1.C语言中的字符串 C语言中，字符串是以\0结尾的一些字符的集合，为了操作方便，C标准库中提供了一些str系列的库函数，但是这些库函数与字符串是分离开的，不太符合OOP的思想，而且底层空间需要用户自己管理&…...

编程日记 2024/8/12 21:50:51

Linux云计算 |【第二阶段】NETWORK-DAY4

主要内容： NAT 原理与配置（私有IP地址、静态NAT转换、Easy IP）、VRRP解析（主路由器、备份路由器、虚拟路由器、优先级） 一、NAT概述 NAT 网络地址转换（Network Address Translation）是一种网络…...

编程日记 2024/8/12 21:48:49

amazon linux使用密码登录或者root登陆

1. 首先要把创建root密码，如果原来的密码不记得了，可以直接用 sudo passwd -d root 删除原来的密码 然后创建root密码 sudo passwd root 2. 修改 sshd_config 文件 vim /etc/ssh/sshd_config 允许使用密码登录 PasswordAuthentication yes 允许root…...

编程日记 2024/8/12 21:47:48

集智书童 | CNN 与 Transformer 的强强联合：AResNet-ViT在图像分析中的优势 ！

本文来源公众号“集智书童”，仅用于学术分享，侵权删，干货满满。 原文链接：CNN 与 Transformer 的强强联合：AResNet-ViT在图像分析中的优势 ！ 作者针对残差CNN分支的注意力引导设计进行了消融实验。同时&a…...

编程日记 2024/8/12 21:44:45

Ubuntu基础使用指南

Ubuntu基础使用指南 Ubuntu作为一款流行的开源操作系统，以其稳定性、安全性和易用性著称。无论是作为服务器操作系统还是桌面操作系统，Ubuntu都能满足用户的各种需求。下面，我们将从Ubuntu的基础使用开始，带你深入了解这个强大的…...

编程日记 2024/8/12 21:43:44

怎样才算精通 Excel？

最强AI视频生成：小说文案智能分镜智能识别角色和场景批量Ai绘图自动配音添加音乐一键合成视频百万播放量https://aitools.jurilu.com/ 高赞回答很系统，但普通人这么学，没等精通先学废了！ 4年前，我为了学数据分析&#…...

编程日记 2024/8/12 21:42:41

怎么学算法并找到工作

1.基础 找一本基础的内容看一遍 时间复杂度、空间复杂度计算方式数组、队列、栈、树、图结构十大排序算法 2.《hello算法》 动画图解算法 https://www.hello-algo.com/chapter_hello_algo/ 3.《剑指Offer》 一些面试的高频有年度的题解 里么的题很有特色，而…...

编程日记 2024/8/12 21:40:38

【实时建图】MapTR（1）------ 论文详解

作者们提出了一种有效构建高清地图的方法（MapTR），该地图为自动驾驶系统的规划提供丰富且精确的环境信息。这是一种结构化端到端变换器，用于高效在线矢量化地图构建。作者提出了一种统一的置换等价建模方法，即将地图元素建模为一个具有一组等价置换的点集，这准确地描述了地…...

编程日记 2024/8/12 21:39:36

通用Builder工具类

假设有一个Java实体类定义： public class Request {private String type;private String op;private PageInfo pageInfo;public static class PageInfo {private Integer pageNum;private Integer pageSize;}// 省略getter和setter... }在代码中创建这个对象&#…...

编程日记 2024/8/12 21:36:33

开源免费的海报设计器vue-fabric-editor

vue-fabric-editor 是一个基于 Vue.js 和 Fabric.js 的创新前端富文本编辑器，它将传统的文本输入体验与图形设计元素相结合，为用户提供了全新的内容创作方式。 以下是关于 vue-fabric-editor 的详细介绍： 一、技术特点 框架结合：…...

编程日记 2024/8/12 21:34:30

【学习笔记】Day 4 - Day 5

一、进度概述 1、新机环境配置 2、《地震勘探原理》第一章 3、对 “DL-FWI 研究方向展望” 组会的一些想法 二、详情 1、新机环境配置 配置新机环境着实耗了较多时间，导致理论进度推进较慢。 2、《地震勘探原理》第一章学习笔记 相关笔记在另一篇…...

编程日记 2024/8/12 21:32:28

MySQL数据分析进阶（十四）保护数据库

※食用指南：文章内容为‘CodeWithMosh’SQL进阶教程系列学习笔记，笔记整理比较粗糙，主要目的自存为主，记录完整的学习过程。（图片超级多，慎看！） 【中字】SQL进阶教程 | 史上最易懂S…...

编程日记 2024/8/12 21:28:24

排序算法之堆排序

title: 堆排序 date: 2024-7-23 15:48:25 0800 categories: 排序算法 tags:排序算法堆排序 description: 堆排序（Heap Sort）是一种基于堆的排序算法，具有较高的效率和稳定性。 math: true 堆排序 堆排序（Heap Sort）是…...

编程日记 2024/8/12 21:27:23

Python中的NLP宝库：探索顶级库与工具

标题：Python中的NLP宝库：探索顶级库与工具 Python，作为人工智能和机器学习任务中的关键编程语言，为自然语言处理（NLP）提供了丰富的库和工具。这些库不仅功能强大，而且大多数都是开源的&#xf…...

编程日记 2024/8/12 21:26:21

springboot + springcloud + Google pubsub+ firebase

1.pom依赖 <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-gcp-starter</artifactId><version>1.2.6.RELEASE</version></dependency><dependency><groupId>org.springframe…...

编程日记 2024/8/12 21:25:20

时序数据库TDengine和QuestDB对比

QuestDB和TDengine都是高性能的时序数据库&#xff08;Time Series Database, TSDB&#xff09;&#xff0c;但它们在设计、功能、适用场景以及性能表现上各有特色。 以下是对两者的详细对比&#xff1a; 一、设计与架构 QuestDB 是一个开源的高性能SQL时序数据库&#xff0…...

编程日记 2024/8/12 21:24:19

Neuralink的进展与马斯克的技术愿景——从脑机接口到AI融合的未来

引言 Neuralink&#xff0c;这个由埃隆马斯克&#xff08;Elon Musk&#xff09;创立的公司&#xff0c;一直是科技界的焦点。自从其发布以来&#xff0c;Neuralink的脑机接口技术便吸引了全球的目光。最近&#xff0c;马斯克再次向公众展示了Neuralink的突破性进展&#xff0…...

编程日记 2024/8/12 21:17:13

大数据技术——实战项目：广告数仓（第四部分）

目录 第7章 数据仓库环境准备 7.1 数据仓库运行环境 7.1.1 Hive环境搭建 7.1.2 Yarn环境配置 7.2 数据仓库开发环境 第8章 广告数仓ODS层 8.1 广告信息表 8.2 推广平台表 8.3 产品表 8.4 广告投放表 8.5 日志服务器列表 8.6 广告监测日志表 8.7 数据装载脚本 第7章…...

编程日记 2024/8/12 21:16:12

cmake+ninja交叉编译android下的静态库

文章目录 cmakeninja案例背景重新安装ninja编译通过 参考 想整理一个库的cmake工程&#xff0c;他用 cmakeninja 简单了解了一下&#xff0c;是可以不依赖Android studio编译的cmake的&#xff0c;搜到了一个cmakeninja&#xff0c;参考[1] 案例 参考[1]中的代码 背景 cm…...

编程日记 2024/8/12 21:15:11

Vue项目-Table添加Form表单校验

一、HTML <template><div class"taskInfo"><el-form:model"generateParams":rules"formRules"ref"formRef"class"taskInfoForm"label-width"100px"><ul class"taskInfoSearch"&g…...

编程日记 2024/8/12 21:14:10

【iOS】—— 事件传递链和响应者链总结

事件传递链和响应者链总结 1. 事件传递链&#xff1a;事件传递链&#xff1a;传递流程&#xff1a;总结第一响应者&#xff1a; 2. 响应者链响应者链传递流程总结响应者链流程 总结&#xff1a; 之前也学习过这个内容这次在复习的时候&#xff0c;就想着写一下总结&#xff1a;…...

编程日记 2024/8/12 21:11:07

【多线程】初识进程和线程

&#x1f490;个人主页&#xff1a;初晴~ &#x1f4da;相关专栏&#xff1a;多线程 / javaEE初阶 前言 在我们之前编写的所有代码&#xff0c;都只能用上一个核心。众所周知&#xff0c;现在大多数CPU都有多个核心&#xff0c;但此时&#xff0c;无论如法优化程序&#xff0c…...

编程日记 2024/8/12 21:10:05

1DCNN-2DResNet并行故障诊断模型

往期精彩内容&#xff1a; Python-凯斯西储大学&#xff08;CWRU&#xff09;轴承数据解读与分类处理 Python轴承故障诊断入门教学-CSDN博客 Python轴承故障诊断 (13)基于故障信号特征提取的超强机器学习识别模型-CSDN博客 Python轴承故障诊断 (14)高创新故障识别模型-CSDN…...

编程日记 2024/8/12 21:09:03

Java设计模式（原型模式）

定义 使用原型实例指定待创建对象的类型&#xff0c;并且通过复制这个原型来创建新的对象。 角色 Prototype&#xff08;抽象原型角色&#xff09; ConcretePrototype&#xff08;具体原型角色&#xff09; Client&#xff08;客户端角色 优点 简化对象的创建过程&#xff0c…...

编程日记 2024/8/12 21:07:01

C/C++ 知识点：typedef 关键字

文章目录 一、typedef 关键字1、 基本用法2、常见用法2.1、为基本数据类型定义别名2.2、为结构体或联合体定义别名2.3、为指针类型定义别名2.4、为复杂模板类型定义别名 3、注意事项4、总结 前言&#xff1a; 在C&#xff08;以及C语言&#xff09;中&#xff0c;typedef 关键字…...

编程日记 2024/8/12 21:03:58

【Linux学习】进程间通信之 匿名管道 与 基于管道的进程池

&#x1f351;个人主页&#xff1a;Jupiter. &#x1f680; 所属专栏&#xff1a;Linux从入门到进阶 欢迎大家点赞收藏评论&#x1f60a; 目录 &#x1f351;进程间通信&#x1f42c;进程间通信目的 &#x1f4da;管道 &#x1f4d5;管道的原理&#x1f427;用fork来共享管道原…...

编程日记 2024/8/12 21:00:55

小团队如何选需求管理软件？8款顶级推荐

本文将分享8款适合小团队的需求管理软件&#xff1a;PingCode、Worktile、Tapd、Teambition、禅道、Asana、Jama Connect、Aha!。 在小团队中管理需求时&#xff0c;寻找合适的软件工具常常让人头疼&#xff0c;不同的需求管理软件提供各种功能&#xff0c;但哪些功能真正适合…...

编程日记 2024/8/12 20:58:54

docker操作入门

1.创建镜像&#xff0c;使用当前文件 docker build -t experience . 2.运行容器 docker run -d -p 8501:8501 --name my-running-app my-python-api docker run -p 8508:8508 experience docker run -p 8508:8508 -p 8509:8509 experience 3.查看容器状态 docker ps docker p…...

编程日记 2024/8/12 20:57:46