Apache Celeborn 在B站的生产实践
背景介绍
Shuffle 演进
随着B站业务的飞速发展，数据规模呈指数级增长，计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务，大数据系统的高效性与稳定性成为公司业务发展的重要基石。如图1，目前在大数据基础架构下，我们主要采用 Spark、Flink、Presto 以及 Hive 作为计算引擎支撑各类复杂业务场景需求，离线计算集群基本每天运行30+万左右的 Spark 作业，包括任务调度平台的 ETL 任务、Kyuubi 提交的 Adhoc 作业等，其作业的 Shuffle 数据规模能够达到30PB以上，同时单个作业的 Shuffle 量最大规模有几百TB。同时 Shuffle 算子作为大数据计算引擎中间数据处理最重要的算子，Shuffle 的稳定性关系着线上大量离线作业的可靠性和性能。因此，对于海量的 Shuffle 中间数据和复杂多变的计算环境来说，保证 Shuffle 数据处理的稳定性对线上作业的稳定性和运行效率尤为重要。
图1：B站大数据基础架构图
相关文章：
Apache Celeborn 在B站的生产实践
背景介绍 Shuffle 演进 随着B站业务的飞速发展，数据规模呈指数级增长，计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务，大数据系统的高效性与稳定性成为公司业务发展的重要基石。如图1，目前在大数据基础架构下，我们主要采用 Spark、Fl…...
JOIN 和 OUTER JOIN,SQL中常见的连接方式
1. INNER JOIN（简称 JOIN） INNER JOIN 是 SQL 中最常用的一种连接方式，默认的 JOIN 就是 INNER JOIN。它返回两个表中满足连接条件的匹配记录。 作用：返回两个表中所有满足 ON 条件的记录。特性：如果表中的某些行在连…...
Vue2: table加载树形数据的踩坑记录
table中需要加载树形数据，如图： 官网给了两个例子，且每个例子中的tree-props都是这么写的： :tree-props="{children: children, hasChildren: hasChildren}" 给我一种错觉，以为数据结构中要同时指定children和hasChildren字段，然而，在非懒加载模式下，数据结…...
电子信息硕士面试经验
回顾2024年秋招一些面试常见的问题，主要涉及软件开发和嵌入式部分内容。 1. 浅拷贝深拷贝 深拷贝和浅拷贝是两种不同的拷贝方式，用于复制对象。它们主要区别在于对嵌套对象的处理方式。 浅拷贝：只复制对象的顶层，嵌套对象仍然是共享引用。 深拷贝：递归复制所有对象及其嵌…...
dns网址和ip是一一对应的吗？
DNS网址和IP地址是一一对应的吗？我们在上网时，为什么总是使用网址而不是一串数字？这些问题其实涉及到互联网的基本运作原理。DNS（域名系统）是我们日常上网过程中一个不可或缺的部分，它帮助我们将人类易于记…...
springboot3 redis 常用操作工具类
在 Spring Boot 3 中，操作 Redis 通常使用 Spring Data Redis 提供的工具类，如 RedisTemplate 和 StringRedisTemplate。以下是一个详细的 Redis 操作工具类的实现，涵盖了常用功能。 完整的 Redis 工具类 以下工具类可以实现基本的 Redis 操…...
Java工程师实现视频文件上传minio文件系统存储及网页实现分批加载视频播放
Java工程师实现minio存储大型视频文件网页实现分批加载视频播放 一、需求说明 老板给我出个题目，让我把的电影文件上传到minio文件系统，再通过WEB端分配加载视频播放，类似于我们普通的电影网站。小编把Java代码共享出来。是真正的能拿过来直…...
Redis（二）value 的五种常见数据类型简述
目录 一、string（字符串） 1、raw 2、int 3、embstr 二、hash（哈希表） 1、hashtable 2、ziplist 三、list（列表） 编辑 1、linkedlist 2、ziplist 3、quicklist（redis 3.2后的列表内…...
Docker 环境中搭建 Redis 哨兵模式集群的步骤与问题解决
在 Docker 环境中搭建 Redis 哨兵模式集群的步骤与问题解决 在 Redis 高可用架构中，哨兵模式（Sentinel）是确保 Redis 集群在出现故障时自动切换主节点的一种机制。通过使用 Redis 哨兵，我们可以实现 Redis 集群的监控、故障检测和…...
【网页自动化】篡改猴入门教程
安装篡改猴 打开浏览器扩展商店（Edge、Chrome、Firefox 等）。搜索 Tampermonkey 并安装。 如图安装后，浏览器右上角会显示一个带有猴子图标的按钮。 创建用户脚本 已进入篡改猴管理面板点击创建 脚本注释说明 name：脚本名称。…...
【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 4：MHE表示能力
目录 1 MHE的表示能力2 基于Frobenius-范数的低秩逼近3 基于CE的低秩近似 论文：Multi-Head Encoding for Extreme Label Classification 作者：Daojun Liang, Haixia Zhang, Dongfeng Yuan and Minggao Zhang 单位：山东大学 代码：h…...
Github - unexpected disconnect while reading sideband packet
Open git global config: git config --global -eLet’s try to resolve the issue by increasing buffer: git config --global http.postBuffer 52428800Try to clone again. If that doesn’t work! > You can try the partial fetch method and disabling compressi…...
Ubuntu 环境安装 之 RabbitMQ 快速入手
Hi~！这里是奋斗的明志，很荣幸您能阅读我的文章，诚请评论指点，欢迎欢迎 ~~ 🌱🌱个人主页：奋斗的明志 🌱🌱所属专栏：RabbitMQ 📚本系列文章为个人学…...
UE5中实现右键开镜效果
右键之后添加时间轴，然后设置视野即可。Set Field Of View 时间轴设置，第一个点设置0,90度，因为默认的就是90度 第二个点看武器的类型或者倍境来设置，时间就是开镜时间，值越小开镜速度越快，第二个值就是视野…...
Apache HTTPD 换行解析漏洞（CVE-2017-15715）
漏洞简介 pache HTTPD是一款HTTP服务器，它可以通过mod_php来运行PHP网页。其2.4.0~2.4.29版本中存在一个解析漏洞，在解析PHP时，1.php\x0A将被按照PHP后缀进行解析，导致绕过一些服务器的安全策略。 漏洞环境 vulhub/httpd/CVE-2…...
Excel重新踩坑5：二级下拉列表制作；★数据透视表；
0、在excel中函数公式不仅可以写在单元格里面，还可以写在公式里面。 1、二级下拉列表制作： 2、数据透视表： 概念：通过拖拉就能实现复杂函数才能实现的数据统计问题。 概览：在插入选项中有个数据透视表，数…...
力扣--35.搜索插入位置
题目 给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。 请必须使用时间复杂度为 O(log n) 的算法。 示例 1: 输入: nums [1,3,5,6], target 5 输出: 2 示例 …...
C# 设计模式（行为型模式）：模板方法模式
C# 设计模式（行为型模式）：模板方法模式 在开发过程中，我们经常会遇到一类问题：一些操作的整体步骤是固定的，但某些具体步骤的实现会因为场景不同而有所变化。模板方法模式（Template Method Pat…...
Leetcode打卡：设计一个ATM机器
执行结果：通过 题目 2241 设计一个ATM机器 一个 ATM 机器，存有 5 种面值的钞票：20 ，50 ，100 ，200 和 500 美元。初始时，ATM 机是空的。用户可以用它存或者取任意数目的钱。 取款时，…...
【TCP】SYN、ACK、FIN、RST、PSH、URG的全称
在 TCP 协议中，SYN、ACK、FIN、RST、PSH 和 URG 都是控制标志位（Flags），每个标志位对应不同的功能。它们的全称如下： URG：(URGent)紧急 ACK：(ACKnowledgment)确认 PSH：(PuSH)推送 RS…...
Qwen3-Embedding-0.6B深度解析：多语言语义检索的轻量级利器
第一章 引言：语义表示的新时代挑战与Qwen3的破局之路 1.1 文本嵌入的核心价值与技术演进 在人工智能领域，文本嵌入技术如同连接自然语言与机器理解的“神经突触”——它将人类语言转化为计算机可计算的语义向量，支撑着搜索引擎、推荐系统、…...
Mac软件卸载指南，简单易懂！
刚和Adobe分手，它却总在Library里给你写"回忆录"？卸载的Final Cut Pro像电子幽灵般阴魂不散？总是会有残留文件，别慌！这份Mac软件卸载指南，将用最硬核的方式教你"数字分手术"࿰…...
Linux离线（zip方式）安装docker
目录 基础信息操作系统信息docker信息 安装实例安装步骤示例 遇到的问题问题1：修改默认工作路径启动失败问题2 找不到对应组 基础信息 操作系统信息 OS版本：CentOS 7 64位 内核版本：3.10.0 相关命令： uname -rcat /etc/os-rele…...
基于IDIG-GAN的小样本电机轴承故障诊断
目录 🔍 核心问题 一、IDIG-GAN模型原理 1. 整体架构 2. 核心创新点 (1) 梯度归一化（Gradient Normalization） (2) 判别器梯度间隙正则化（Discriminator Gradient Gap Regularization） (3) 自注意力机制（Self-Attention） 3. 完整损失函数 二…...
破解路内监管盲区：免布线低位视频桩重塑停车管理新标准
城市路内停车管理常因行道树遮挡、高位设备盲区等问题，导致车牌识别率低、逃费率高，传统模式在复杂路段束手无策。免布线低位视频桩凭借超低视角部署与智能算法，正成为破局关键。该设备安装于车位侧方0.5-0.7米高度，直接规避树枝遮…...
MySQL 主从同步异常处理
阅读原文：https://www.xiaozaoshu.top/articles/mysql-m-s-update-pk MySQL 做双主，遇到的这个错误： Could not execute Update_rows event on table ... Error_code: 1032是 MySQL 主从复制时的经典错误之一，通常表示ÿ…...
[论文阅读]TrustRAG: Enhancing Robustness and Trustworthiness in RAG
TrustRAG: Enhancing Robustness and Trustworthiness in RAG [2501.00879] TrustRAG: Enhancing Robustness and Trustworthiness in Retrieval-Augmented Generation 代码：HuichiZhou/TrustRAG: Code for "TrustRAG: Enhancing Robustness and Trustworthin…...
Python训练营-Day26-函数专题1：函数定义与参数
题目1：计算圆的面积 任务： 编写一个名为 calculate_circle_area 的函数，该函数接收圆的半径 radius 作为参数，并返回圆的面积。圆的面积 π * radius (可以使用 math.pi 作为 π 的值)要求：函数接收一个位置参数 radi…...
【iOS】 Block再学习
iOS Block再学习 文章目录 iOS Block再学习前言Block的三种类型__ NSGlobalBlock____ NSMallocBlock____ NSStackBlock__小结 Block底层分析Block的结构捕获自由变量捕获全局(静态)变量捕获静态变量__block修饰符forwarding指针 Block的copy时机block作为函数返回值将block赋给…...
构建Docker镜像的Dockerfile文件详解
文章目录 前言Dockerfile 案例docker build1. 基本构建2. 指定 Dockerfile 路径3. 设置构建时变量4. 不使用缓存5. 删除中间容器6. 拉取最新基础镜像7. 静默输出完整示例 docker runDockerFile 入门syntax指定构造器FROM基础镜像RUN命令注释COPY复制ENV设置环境变量EXPOSE暴露端…...