当前位置: 首页 > news >正文

JuiceFS 2024:开源与商业并进,迈向 AI 原生时代

即将过去的 2024 年,是 JuiceFS 开源版本推出的第 4 年,企业版的第 8 个年头。回顾过去这一年,JuiceFS 社区版依旧保持着快速成长的势头,GitHub 星标突破 11.1K,各项使用指标增长均超过 100%,其中文件系统总数量较前一年更是增长了 8.5 倍;企业版同样持续保持高速增长,继去年实现盈亏平衡后,商业营收实现了翻倍增长,为未来的社区持续投入和产品优化提供了坚实的保障

2024年,随着 AI 技术的迅猛发展,AI 正逐渐成为企业发展的新基建,企业的基础架构正朝着 AI 原生化趋势迈进。在这一变革的推动下,JuiceFS 社区也迎来了显著的增长。

今年,AI 场景的用户占比大幅增加,且渗透到教育、制造、风电、生物医药等多个行业。在新兴 AI 行业里,除了基础模型研究的企业,如 MiniMax、智谱、阶跃星辰等,大量中小型 AI 服务软件公司也加入了社区,成为重要的用户群体。

接下来,让我们一起回顾 JuiceFS 的这一年。

01 产品迭代:企业级管理 、多云架构、大规模 AI 场景

JuiceFS 社区版

过去一年,JuiceFS 社区版发布了 9 个版本。持续保持每年一个大版本的发布节奏,v1.2 版本是自 2021 年开源以来的第三个重大版本,此版本大幅提升了 JuiceFS 在企业级权限管理方面的能力,继续提升处理大规模数据的易用性,关键功能包括支持 POSIX ACL 、平滑升级、S3 Gateway 和 JuiceFS Sync 的诸多优化。

JuiceFS CSI Driver

JuiceFS CSI 在过去一年发布了 16 个版本,专注于为 Kubernetes 环境中的用户提供更稳定、易用的操作,主要更新包括平滑升级、统一配置、kubectl 插件和缓存组 Operator。

JuiceFS 企业版

JuiceFS 企业版专为海量文件高性能计算场景设计。过去一年中,针对大规模 AI 场景的需求,企业版在多云架构、AI 生态兼容性、海量文件的性能稳定性等方面进行了深入优化。v5.1 版本新增了可写镜像集群、支持 Python SDK 、分布式缓存副本和 S3 网关账号管理等功能。在下一个版本中,我们还在挑战更多的极限场景,继续推进分布式缓存性能优化、热点分区自动均衡、高性能 FUSE 改进等。

02 AI 助推社区发展:增长与活跃并进

社区版开源的第 4 年,社区用户还在持续壮大。根据用户反馈数据显示,JuiceFS 的各项关键数据上持续呈现出快速增长趋势,2024 年的增长尤为突出:

  • JuiceFS 文件系统数量达超 3 万个,增长 8.5 倍
  • 活跃客户端数量超 10.7 万个,增长超 2 倍
  • 文件数量增至 3,000 亿个,增长 3.3 倍
  • 管理的数据量达到 700 PiB,增长 4.2 倍

从数据使用规模来看,2024年的增长速度显著加快。加速增长的同时,社区依旧保持高度活跃。 2024 年一共处理了 265个 issue,Issue 的首次回复时间中位值为 22 小时,意味着用户在提出 Issue 后,通常在 1 天内就能得到回复。

全年,我们在多个行业大会分享我们的实践,KubeCon 中国、KCD 上海、QCon、稀土大会等。此外,还举办了 11 场 Office Hours,向用户介绍新功能、解答疑问;举行了 11 场 meetup,展示了 JuiceFS 在各行业和场景中的应用,帮助新用户更有信心地将 JuiceFS 应用于生产环境中,值得一提的是今年的案例多来自于 AI 领域。

分享案例

  1. 管锡鹏,BentoML:如何使用 JuiceFS 加速大模型加载?
  2. 鲁蔚征,中国人民大学:从 HPC 到 AI,探索文件系统的发展及性能评估
  3. 王新,知乎:多云架构下大模型训练,如何保障存储稳定性?
  4. 马涛,Jerry:稳定、省钱的 ClickHouse 读写分离方案,基于 JuiceFS 的主从架构实践
  5. 王天庆,贝壳找房: 为 AI 平台打造混合多云的存储加速底座
  6. 徐国昊,中山大学:基于 JuiceFS 构建高校 AI 存储方案:高并发、系统稳定、运维简单
  7. Jon Jiang,MemVerge:小文件写入性能 5 倍于 S3FS,JuiceFS 加速生信研究
  8. Jonnas,Clobotics :计算机视觉场景多云架构、 POSIX 全兼容、低运维的统一存储
  9. 星龙,MiniMax:混合云环境中大模型训练,基础系统的挑战与实践
  10. 吴森栋,海柔创新:仿真系统存储实践:混合云架构下实现高可用与极简运维
  11. 郑亚军,摩尔线程:从 NFS 到 JuiceFS, 低成本提升 AI 训练性能
  12. 于相洋,vivo: AI 计算平台存储性能优化实践
  13. 贺龙华,好未来:多云环境下基于 JuiceFS 建设低运维模型仓库
  14. 位传海,同程旅行:从 CephFS 到 JuiceFS,构建企业级统一存储平台
  15. 丁聪,Lepton AI:基于 JuiceFS 构建多租户高性能存储平台

除了上述案例提到的场景,JuiceFS 在 AI 领域的应用已非常广泛,用户涵盖多个子领域:

  • 生成式 AI:MiniMax、智谱、阶跃星辰、面壁智能等;
  • 平台应用类:小红书、WPS、知乎、韩国国民搜索平台 NAVER、LiblibAI 等;
  • AI 基础架构:如 Lepton AI、BentoML、硅基流动、Cerebrium 等;
  • 自动驾驶:Momenta、地平线、大疆卓驭等。

在应用 AI 技术的其他行业,如金融量化基金、消费电子、生物医药等,JuiceFS 也拥有众多用户。我们深感荣幸能获得这些科技创新者的信任。

海外用户也在持续增长,GitHub 上的星标、官网访问数据均显示,今年有超过 50% 的用户来自海外。此外,JuiceFS Slack 英文频道成员数量较去年增长了 70%,今年将 JuiceFS 应用在生产环境中的用户也逐渐增多,同样大量集中在 AI 领域,如 fal.ai、LeptonAI、BentoML、Cerebrium、Baseten 、 RunComfy 等。JuiceFS 的多篇技术文章被 DZone 等海外媒体收录,并多次登上 Hacker News 首页,同时我们也首次在 The IT Press Tour 和 DataTalksClub 等海外媒体上崭露头角。

在此,我们衷心感谢大家在过去一年里一路相伴与支持,你们每一位的参与与反馈,帮助 JuiceFS 持续进步;特别感谢在各类活动和博文中分享 JuiceFS 使用心得的用户们,让 JuiceFS 被更多人看见。希望新的一年,JuiceFS 能继续让你的工作更轻松、高效。

相关文章:

JuiceFS 2024:开源与商业并进,迈向 AI 原生时代

即将过去的 2024 年,是 JuiceFS 开源版本推出的第 4 年,企业版的第 8 个年头。回顾过去这一年,JuiceFS 社区版依旧保持着快速成长的势头,GitHub 星标突破 11.1K,各项使用指标增长均超过 100%,其中文件系统总…...

C#,动态规划问题中基于单词搜索树(Trie Tree)的单词断句分词( Word Breaker)算法与源代码

1 分词 分词是自然语言处理的基础,分词准确度直接决定了后面的词性标注、句法分析、词向量以及文本分析的质量。英文语句使用空格将单词进行分隔,除了某些特定词,如how many,New York等外,大部分情况下不需要考虑分词…...

计算机网络(六)应用层

6.1、应用层概述 我们在浏览器的地址中输入某个网站的域名后,就可以访问该网站的内容,这个就是万维网WWW应用,其相关的应用层协议为超文本传送协议HTTP 用户在浏览器地址栏中输入的是“见名知意”的域名,而TCP/IP的网际层使用IP地…...

上海亚商投顾:沪指探底回升微涨 机器人概念股午后爆发

上海亚商投顾前言:无惧大盘涨跌,解密龙虎榜资金,跟踪一线游资和机构资金动向,识别短期热点和强势个股。 一.市场情绪 市场全天探底回升,沪指盘中跌超1.6%,创业板指一度跌逾3%,午后集体拉升翻红…...

conda相关操作

conda 是一个开源的包管理和环境管理工具,主要用于 Python 和数据科学领域。它可以帮助用户安装、更新、删除和管理软件包,同时支持创建和管理虚拟环境。以下是关于 conda 的所有常见操作: 1. 安装 Conda Conda 通常通过安装 Anaconda 或 Mi…...

使用TCP协议实现智能聊天机器人

实验目的与要求 本实验是程序设计类实验,要求使用原始套接字编程,掌握TCP/IP协议与网络编程Sockets通信模型,并根据教师给定的任务要求,使用TCP协议实现智能聊天机器人。 (1)熟悉标准库socket 的用法。 …...

PHP二维数组去除重复值

Date: 2025.01.07 20:45:01 author: lijianzhan PHP二维数组内根据ID或者名称去除重复值 代码示例如下: // 假设 data数组如下 $data [[id > 1, name > Type A],[id > 2, name > Type B],[id > 1, name > Type A] // 重复项 ];// 去重方法 $dat…...

2025年01月11日Github流行趋势

项目名称:xiaozhi-esp32 项目地址url:https://github.com/78/xiaozhi-esp32项目语言:C历史star数:2433今日star数:321项目维护者:78, MakerM0, whble, nooodles2023, Kevincoooool项目简介:构建…...

备战蓝桥杯 队列和queue详解

目录 队列的概念 队列的静态实现 总代码 stl的queue 队列算法题 1.队列模板题 2.机器翻译 3.海港 双端队列 队列的概念 和栈一样,队列也是一种访问受限的线性表,它只能在表头位置删除,在表尾位置插入,队列是先进先出&…...

IT面试求职系列主题-Jenkins

想成功求职,必要的IT技能一样不能少,先说说Jenkins的必会知识吧。 1) 什么是Jenkins Jenkins 是一个用 Java 编写的开源持续集成工具。它跟踪版本控制系统,并在发生更改时启动和监视构建系统。 2)Maven、Ant和Jenkins有什么区别…...

Vue篇-06

1、路由简介 vue-rooter:是vue的一个插件库,专门用来实现SPA应用 1.1、对SPA应用的理解 1、单页 Web 应用(single page web application,SPA)。 2、整个应用只有一个完整的页面 index.html。 3、点击页面中的导航链…...

mysql binlog 日志分析查找

文章目录 前言一、分析 binlog 内容二、编写脚本结果总结 前言 高效快捷分析 mysql binlog 日志文件。 mysql binlog 文件很大 怎么快速通过关键字查找内容 一、分析 binlog 内容 通过 mysqlbinlog 命令可以看到 binlog 解析之后的大概样子 二、编写脚本 编写脚本 search_…...

ubuntu 配置OpenOCD与RT-RT-thread环境的记录

1.git clone git://git.code.sf.net/p/openocd/code openocd 配置gcc编译环境 2. sudo gedit /etc/apt/source.list #cdrom sudo apt-get install git sudo apt-get install libtool-bin sudo apt-get install pkg-config sudo apt-install libusb-1.0-0-dev sudo apt-get…...

双系统解决开机提示security Policy Violation的方法

最近,Windows系统更新后,发现电脑开机无法进入桌面,显示“Verifiying shim SBAT data failed: security Policy Violation; So mething has gone seriously Wrong: SBAT self-check failed: Security Policy Violation”的英文错误信息。为了…...

附加共享数据库( ATTACH DATABASE)的使用场景

附加共享数据库(使用 ATTACH DATABASE)的功能非常实用,通常会在以下几种场景下需要用到: 1. 跨数据库查询和分析 场景: 你的公司有两个独立的数据库: 一个存储了学生信息 (school.db)一个存储了员工信息 …...

matlab的绘图的标题中(title)添加标量以及格式化输出

有时候我们需要在matlab绘制的图像的标题中添加一些变量,这样在修改某些参数后,标题会跟着一块儿变。可以采用如下的方法: x -10:0.1:10; %x轴的范围 mu 0; %均值 sigma 1; %标准差 y normpdf(x,mu,sigma); %使用normpdf函数生成高斯函数…...

2、第一个GO 程序

引言 接下里我们就用Go Land 工具,开发第一个GO程序。大家也可以用其他的开发工具,例如 Vs Code 1、新建项目 第一个是选择你的程序保存位置 (不要有中文)。 第二个是你的Go的编译器的安装地址。 选择完毕后,就点击 …...

【Linux-多线程】-线程安全单例模式+可重入vs线程安全+死锁等

一、线程安全的单例模式 什么是单例模式 单例模式是一种“经典的,常用的,常考的”设计模式 什么是设计模式 IT行业这么火,涌入的人很多.俗话说林子大了啥鸟都有。大佬和菜鸡们两极分化的越来越严重,为了让菜鸡们不太拖大佬的后…...

00000007_C语言设计模式

C语言设计模式 尽管 C 语言并不直接支持面向对象编程,但通过结构体和函数指针的灵活运用,我们依然可以实现多种经典的设计模式。 1. 工厂模式 1.1 工厂方法的定义与实现 工厂模式通过统一的接口创建对象,客户端无需知道具体的创建逻辑。 代…...

探索数据存储的奥秘:深入理解B树与B+树

key value 类型的数据红黑树(最优二叉树,内存最优),时间复杂度:O(logn),调整方便;一个结点分出两个叉B树一个节点可以分出很多叉数据量相等的条件下:红黑树的层数很高&am…...

CVPR 2025 MIMO: 支持视觉指代和像素grounding 的医学视觉语言模型

CVPR 2025 | MIMO:支持视觉指代和像素对齐的医学视觉语言模型 论文信息 标题:MIMO: A medical vision language model with visual referring multimodal input and pixel grounding multimodal output作者:Yanyuan Chen, Dexuan Xu, Yu Hu…...

2025年能源电力系统与流体力学国际会议 (EPSFD 2025)

2025年能源电力系统与流体力学国际会议(EPSFD 2025)将于本年度在美丽的杭州盛大召开。作为全球能源、电力系统以及流体力学领域的顶级盛会,EPSFD 2025旨在为来自世界各地的科学家、工程师和研究人员提供一个展示最新研究成果、分享实践经验及…...

DockerHub与私有镜像仓库在容器化中的应用与管理

哈喽,大家好,我是左手python! Docker Hub的应用与管理 Docker Hub的基本概念与使用方法 Docker Hub是Docker官方提供的一个公共镜像仓库,用户可以在其中找到各种操作系统、软件和应用的镜像。开发者可以通过Docker Hub轻松获取所…...

镜像里切换为普通用户

如果你登录远程虚拟机默认就是 root 用户,但你不希望用 root 权限运行 ns-3(这是对的,ns3 工具会拒绝 root),你可以按以下方法创建一个 非 root 用户账号 并切换到它运行 ns-3。 一次性解决方案:创建非 roo…...

linux 下常用变更-8

1、删除普通用户 查询用户初始UID和GIDls -l /home/ ###家目录中查看UID cat /etc/group ###此文件查看GID删除用户1.编辑文件 /etc/passwd 找到对应的行,YW343:x:0:0::/home/YW343:/bin/bash 2.将标红的位置修改为用户对应初始UID和GID: YW3…...

土地利用/土地覆盖遥感解译与基于CLUE模型未来变化情景预测;从基础到高级,涵盖ArcGIS数据处理、ENVI遥感解译与CLUE模型情景模拟等

🔍 土地利用/土地覆盖数据是生态、环境和气象等诸多领域模型的关键输入参数。通过遥感影像解译技术,可以精准获取历史或当前任何一个区域的土地利用/土地覆盖情况。这些数据不仅能够用于评估区域生态环境的变化趋势,还能有效评价重大生态工程…...

C++八股 —— 单例模式

文章目录 1. 基本概念2. 设计要点3. 实现方式4. 详解懒汉模式 1. 基本概念 线程安全(Thread Safety) 线程安全是指在多线程环境下,某个函数、类或代码片段能够被多个线程同时调用时,仍能保证数据的一致性和逻辑的正确性&#xf…...

如何在最短时间内提升打ctf(web)的水平?

刚刚刷完2遍 bugku 的 web 题,前来答题。 每个人对刷题理解是不同,有的人是看了writeup就等于刷了,有的人是收藏了writeup就等于刷了,有的人是跟着writeup做了一遍就等于刷了,还有的人是独立思考做了一遍就等于刷了。…...

使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台

🎯 使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台 📌 项目背景 随着大语言模型(LLM)的广泛应用,开发者常面临多个挑战: 各大模型(OpenAI、Claude、Gemini、Ollama)接口风格不统一;缺乏一个统一平台进行模型调用与测试;本地模型 Ollama 的集成与前…...

Android第十三次面试总结(四大 组件基础)

Activity生命周期和四大启动模式详解 一、Activity 生命周期 Activity 的生命周期由一系列回调方法组成,用于管理其创建、可见性、焦点和销毁过程。以下是核心方法及其调用时机: ​onCreate()​​ ​调用时机​:Activity 首次创建时调用。​…...