Apache Celeborn 在B站的生产实践
背景介绍
Shuffle 演进
随着B站业务的飞速发展，数据规模呈指数级增长，计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务，大数据系统的高效性与稳定性成为公司业务发展的重要基石。如图1，目前在大数据基础架构下，我们主要采用 Spark、Flink、Presto 以及 Hive 作为计算引擎支撑各类复杂业务场景需求，离线计算集群基本每天运行30+万左右的 Spark 作业，包括任务调度平台的 ETL 任务、Kyuubi 提交的 Adhoc 作业等，其作业的 Shuffle 数据规模能够达到30PB以上，同时单个作业的 Shuffle 量最大规模有几百TB。同时 Shuffle 算子作为大数据计算引擎中间数据处理最重要的算子，Shuffle 的稳定性关系着线上大量离线作业的可靠性和性能。因此，对于海量的 Shuffle 中间数据和复杂多变的计算环境来说，保证 Shuffle 数据处理的稳定性对线上作业的稳定性和运行效率尤为重要。
图1：B站大数据基础架构图
相关文章：
Apache Celeborn 在B站的生产实践
背景介绍 Shuffle 演进 随着B站业务的飞速发展，数据规模呈指数级增长，计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务，大数据系统的高效性与稳定性成为公司业务发展的重要基石。如图1，目前在大数据基础架构下，我们主要采用 Spark、Fl…...
JOIN 和 OUTER JOIN,SQL中常见的连接方式
1. INNER JOIN（简称 JOIN） INNER JOIN 是 SQL 中最常用的一种连接方式，默认的 JOIN 就是 INNER JOIN。它返回两个表中满足连接条件的匹配记录。 作用：返回两个表中所有满足 ON 条件的记录。特性：如果表中的某些行在连…...
Vue2: table加载树形数据的踩坑记录
table中需要加载树形数据，如图： 官网给了两个例子，且每个例子中的tree-props都是这么写的： :tree-props="{children: children, hasChildren: hasChildren}" 给我一种错觉，以为数据结构中要同时指定children和hasChildren字段，然而，在非懒加载模式下，数据结…...
电子信息硕士面试经验
回顾2024年秋招一些面试常见的问题，主要涉及软件开发和嵌入式部分内容。 1. 浅拷贝深拷贝 深拷贝和浅拷贝是两种不同的拷贝方式，用于复制对象。它们主要区别在于对嵌套对象的处理方式。 浅拷贝：只复制对象的顶层，嵌套对象仍然是共享引用。 深拷贝：递归复制所有对象及其嵌…...
dns网址和ip是一一对应的吗？
DNS网址和IP地址是一一对应的吗？我们在上网时，为什么总是使用网址而不是一串数字？这些问题其实涉及到互联网的基本运作原理。DNS（域名系统）是我们日常上网过程中一个不可或缺的部分，它帮助我们将人类易于记…...
springboot3 redis 常用操作工具类
在 Spring Boot 3 中，操作 Redis 通常使用 Spring Data Redis 提供的工具类，如 RedisTemplate 和 StringRedisTemplate。以下是一个详细的 Redis 操作工具类的实现，涵盖了常用功能。 完整的 Redis 工具类 以下工具类可以实现基本的 Redis 操…...
Java工程师实现视频文件上传minio文件系统存储及网页实现分批加载视频播放
Java工程师实现minio存储大型视频文件网页实现分批加载视频播放 一、需求说明 老板给我出个题目，让我把的电影文件上传到minio文件系统，再通过WEB端分配加载视频播放，类似于我们普通的电影网站。小编把Java代码共享出来。是真正的能拿过来直…...
Redis（二）value 的五种常见数据类型简述
目录 一、string（字符串） 1、raw 2、int 3、embstr 二、hash（哈希表） 1、hashtable 2、ziplist 三、list（列表） 编辑 1、linkedlist 2、ziplist 3、quicklist（redis 3.2后的列表内…...
Docker 环境中搭建 Redis 哨兵模式集群的步骤与问题解决
在 Docker 环境中搭建 Redis 哨兵模式集群的步骤与问题解决 在 Redis 高可用架构中，哨兵模式（Sentinel）是确保 Redis 集群在出现故障时自动切换主节点的一种机制。通过使用 Redis 哨兵，我们可以实现 Redis 集群的监控、故障检测和…...
【网页自动化】篡改猴入门教程
安装篡改猴 打开浏览器扩展商店（Edge、Chrome、Firefox 等）。搜索 Tampermonkey 并安装。 如图安装后，浏览器右上角会显示一个带有猴子图标的按钮。 创建用户脚本 已进入篡改猴管理面板点击创建 脚本注释说明 name：脚本名称。…...
【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 4：MHE表示能力
目录 1 MHE的表示能力2 基于Frobenius-范数的低秩逼近3 基于CE的低秩近似 论文：Multi-Head Encoding for Extreme Label Classification 作者：Daojun Liang, Haixia Zhang, Dongfeng Yuan and Minggao Zhang 单位：山东大学 代码：h…...
Github - unexpected disconnect while reading sideband packet
Open git global config: git config --global -eLet’s try to resolve the issue by increasing buffer: git config --global http.postBuffer 52428800Try to clone again. If that doesn’t work! > You can try the partial fetch method and disabling compressi…...
Ubuntu 环境安装 之 RabbitMQ 快速入手
Hi~！这里是奋斗的明志，很荣幸您能阅读我的文章，诚请评论指点，欢迎欢迎 ~~ 🌱🌱个人主页：奋斗的明志 🌱🌱所属专栏：RabbitMQ 📚本系列文章为个人学…...
UE5中实现右键开镜效果
右键之后添加时间轴，然后设置视野即可。Set Field Of View 时间轴设置，第一个点设置0,90度，因为默认的就是90度 第二个点看武器的类型或者倍境来设置，时间就是开镜时间，值越小开镜速度越快，第二个值就是视野…...
Apache HTTPD 换行解析漏洞（CVE-2017-15715）
漏洞简介 pache HTTPD是一款HTTP服务器，它可以通过mod_php来运行PHP网页。其2.4.0~2.4.29版本中存在一个解析漏洞，在解析PHP时，1.php\x0A将被按照PHP后缀进行解析，导致绕过一些服务器的安全策略。 漏洞环境 vulhub/httpd/CVE-2…...
Excel重新踩坑5：二级下拉列表制作；★数据透视表；
0、在excel中函数公式不仅可以写在单元格里面，还可以写在公式里面。 1、二级下拉列表制作： 2、数据透视表： 概念：通过拖拉就能实现复杂函数才能实现的数据统计问题。 概览：在插入选项中有个数据透视表，数…...
力扣--35.搜索插入位置
题目 给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。 请必须使用时间复杂度为 O(log n) 的算法。 示例 1: 输入: nums [1,3,5,6], target 5 输出: 2 示例 …...
C# 设计模式（行为型模式）：模板方法模式
C# 设计模式（行为型模式）：模板方法模式 在开发过程中，我们经常会遇到一类问题：一些操作的整体步骤是固定的，但某些具体步骤的实现会因为场景不同而有所变化。模板方法模式（Template Method Pat…...
Leetcode打卡：设计一个ATM机器
执行结果：通过 题目 2241 设计一个ATM机器 一个 ATM 机器，存有 5 种面值的钞票：20 ，50 ，100 ，200 和 500 美元。初始时，ATM 机是空的。用户可以用它存或者取任意数目的钱。 取款时，…...
【TCP】SYN、ACK、FIN、RST、PSH、URG的全称
在 TCP 协议中，SYN、ACK、FIN、RST、PSH 和 URG 都是控制标志位（Flags），每个标志位对应不同的功能。它们的全称如下： URG：(URGent)紧急 ACK：(ACKnowledgment)确认 PSH：(PuSH)推送 RS…...
RestClient
什么是RestClient RestClient 是 Elasticsearch 官方提供的 Java 低级 REST 客户端，它允许HTTP与Elasticsearch 集群通信，而无需处理 JSON 序列化/反序列化等底层细节。它是 Elasticsearch Java API 客户端的基础。 RestClient 主要特点 轻量级ÿ…...
【Oracle APEX开发小技巧12】
有如下需求： 有一个问题反馈页面，要实现在apex页面展示能直观看到反馈时间超过7天未处理的数据，方便管理员及时处理反馈。 我的方法：直接将逻辑写在SQL中，这样可以直接在页面展示 完整代码： SELECTSF.FE…...
多场景 OkHttpClient 管理器 - Android 网络通信解决方案
下面是一个完整的 Android 实现，展示如何创建和管理多个 OkHttpClient 实例，分别用于长连接、普通 HTTP 请求和文件下载场景。 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas…...
C++中string流知识详解和示例
一、概览与类体系 C 提供三种基于内存字符串的流，定义在 <sstream> 中： std::istringstream：输入流，从已有字符串中读取并解析。std::ostringstream：输出流，向内部缓冲区写入内容，最终取…...
)
GitHub 趋势日报 (2025年06月08日)
📊 由 TrendForge 系统生成 | 🌐 https://trendforge.devlive.org/ 🌐 本日报中的项目描述已自动翻译为中文 📈 今日获星趋势图 今日获星趋势图 884 cognee 566 dify 414 HumanSystemOptimization 414 omni-tools 321 note-gen …...
【JavaWeb】Docker项目部署
引言 之前学习了Linux操作系统的常见命令，在Linux上安装软件，以及如何在Linux上部署一个单体项目，大多数同学都会有相同的感受，那就是麻烦。 核心体现在三点： 命令太多了，记不住 软件安装包名字复杂&…...
ABAP设计模式之---“简单设计原则(Simple Design)”
“Simple Design”（简单设计）是软件开发中的一个重要理念，倡导以最简单的方式实现软件功能，以确保代码清晰易懂、易维护，并在项目需求变化时能够快速适应。 其核心目标是避免复杂和过度设计，遵循“让事情保…...
【从零学习JVM|第三篇】类的生命周期(高频面试题)
前言： 在Java编程中，类的生命周期是指类从被加载到内存中开始，到被卸载出内存为止的整个过程。了解类的生命周期对于理解Java程序的运行机制以及性能优化非常重要。本文会深入探寻类的生命周期，让读者对此有深刻印象。 目录 …...
mac 安装homebrew (nvm 及git)
mac 安装nvm 及git 万恶之源 mac 安装这些东西离不开Xcode。及homebrew 一、先说安装git步骤 通用： 方法一：使用 Homebrew 安装 Git（推荐） 步骤如下：打开终端（Terminal.app） 1.安装 Homebrew…...
LOOI机器人的技术实现解析：从手势识别到边缘检测
LOOI机器人作为一款创新的AI硬件产品，通过将智能手机转变为具有情感交互能力的桌面机器人，展示了前沿AI技术与传统硬件设计的完美结合。作为AI与玩具领域的专家，我将全面解析LOOI的技术实现架构，特别是其手势识别、物体识别和环境…...