Apache Celeborn 在B站的生产实践
背景介绍
Shuffle 演进
随着B站业务的飞速发展，数据规模呈指数级增长，计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务，大数据系统的高效性与稳定性成为公司业务发展的重要基石。如图1，目前在大数据基础架构下，我们主要采用 Spark、Flink、Presto 以及 Hive 作为计算引擎支撑各类复杂业务场景需求，离线计算集群基本每天运行30+万左右的 Spark 作业，包括任务调度平台的 ETL 任务、Kyuubi 提交的 Adhoc 作业等，其作业的 Shuffle 数据规模能够达到30PB以上，同时单个作业的 Shuffle 量最大规模有几百TB。同时 Shuffle 算子作为大数据计算引擎中间数据处理最重要的算子，Shuffle 的稳定性关系着线上大量离线作业的可靠性和性能。因此，对于海量的 Shuffle 中间数据和复杂多变的计算环境来说，保证 Shuffle 数据处理的稳定性对线上作业的稳定性和运行效率尤为重要。
图1：B站大数据基础架构图
相关文章：
Apache Celeborn 在B站的生产实践
背景介绍 Shuffle 演进 随着B站业务的飞速发展，数据规模呈指数级增长，计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务，大数据系统的高效性与稳定性成为公司业务发展的重要基石。如图1，目前在大数据基础架构下，我们主要采用 Spark、Fl…...
JOIN 和 OUTER JOIN,SQL中常见的连接方式
1. INNER JOIN（简称 JOIN） INNER JOIN 是 SQL 中最常用的一种连接方式，默认的 JOIN 就是 INNER JOIN。它返回两个表中满足连接条件的匹配记录。 作用：返回两个表中所有满足 ON 条件的记录。特性：如果表中的某些行在连…...
Vue2: table加载树形数据的踩坑记录
table中需要加载树形数据，如图： 官网给了两个例子，且每个例子中的tree-props都是这么写的： :tree-props="{children: children, hasChildren: hasChildren}" 给我一种错觉，以为数据结构中要同时指定children和hasChildren字段，然而，在非懒加载模式下，数据结…...
电子信息硕士面试经验
回顾2024年秋招一些面试常见的问题，主要涉及软件开发和嵌入式部分内容。 1. 浅拷贝深拷贝 深拷贝和浅拷贝是两种不同的拷贝方式，用于复制对象。它们主要区别在于对嵌套对象的处理方式。 浅拷贝：只复制对象的顶层，嵌套对象仍然是共享引用。 深拷贝：递归复制所有对象及其嵌…...
dns网址和ip是一一对应的吗？
DNS网址和IP地址是一一对应的吗？我们在上网时，为什么总是使用网址而不是一串数字？这些问题其实涉及到互联网的基本运作原理。DNS（域名系统）是我们日常上网过程中一个不可或缺的部分，它帮助我们将人类易于记…...
springboot3 redis 常用操作工具类
在 Spring Boot 3 中，操作 Redis 通常使用 Spring Data Redis 提供的工具类，如 RedisTemplate 和 StringRedisTemplate。以下是一个详细的 Redis 操作工具类的实现，涵盖了常用功能。 完整的 Redis 工具类 以下工具类可以实现基本的 Redis 操…...
Java工程师实现视频文件上传minio文件系统存储及网页实现分批加载视频播放
Java工程师实现minio存储大型视频文件网页实现分批加载视频播放 一、需求说明 老板给我出个题目，让我把的电影文件上传到minio文件系统，再通过WEB端分配加载视频播放，类似于我们普通的电影网站。小编把Java代码共享出来。是真正的能拿过来直…...
Redis（二）value 的五种常见数据类型简述
目录 一、string（字符串） 1、raw 2、int 3、embstr 二、hash（哈希表） 1、hashtable 2、ziplist 三、list（列表） 编辑 1、linkedlist 2、ziplist 3、quicklist（redis 3.2后的列表内…...
Docker 环境中搭建 Redis 哨兵模式集群的步骤与问题解决
在 Docker 环境中搭建 Redis 哨兵模式集群的步骤与问题解决 在 Redis 高可用架构中，哨兵模式（Sentinel）是确保 Redis 集群在出现故障时自动切换主节点的一种机制。通过使用 Redis 哨兵，我们可以实现 Redis 集群的监控、故障检测和…...
【网页自动化】篡改猴入门教程
安装篡改猴 打开浏览器扩展商店（Edge、Chrome、Firefox 等）。搜索 Tampermonkey 并安装。 如图安装后，浏览器右上角会显示一个带有猴子图标的按钮。 创建用户脚本 已进入篡改猴管理面板点击创建 脚本注释说明 name：脚本名称。…...
【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 4：MHE表示能力
目录 1 MHE的表示能力2 基于Frobenius-范数的低秩逼近3 基于CE的低秩近似 论文：Multi-Head Encoding for Extreme Label Classification 作者：Daojun Liang, Haixia Zhang, Dongfeng Yuan and Minggao Zhang 单位：山东大学 代码：h…...
Github - unexpected disconnect while reading sideband packet
Open git global config: git config --global -eLet’s try to resolve the issue by increasing buffer: git config --global http.postBuffer 52428800Try to clone again. If that doesn’t work! > You can try the partial fetch method and disabling compressi…...
Ubuntu 环境安装 之 RabbitMQ 快速入手
Hi~！这里是奋斗的明志，很荣幸您能阅读我的文章，诚请评论指点，欢迎欢迎 ~~ 🌱🌱个人主页：奋斗的明志 🌱🌱所属专栏：RabbitMQ 📚本系列文章为个人学…...
UE5中实现右键开镜效果
右键之后添加时间轴，然后设置视野即可。Set Field Of View 时间轴设置，第一个点设置0,90度，因为默认的就是90度 第二个点看武器的类型或者倍境来设置，时间就是开镜时间，值越小开镜速度越快，第二个值就是视野…...
Apache HTTPD 换行解析漏洞（CVE-2017-15715）
漏洞简介 pache HTTPD是一款HTTP服务器，它可以通过mod_php来运行PHP网页。其2.4.0~2.4.29版本中存在一个解析漏洞，在解析PHP时，1.php\x0A将被按照PHP后缀进行解析，导致绕过一些服务器的安全策略。 漏洞环境 vulhub/httpd/CVE-2…...
Excel重新踩坑5：二级下拉列表制作；★数据透视表；
0、在excel中函数公式不仅可以写在单元格里面，还可以写在公式里面。 1、二级下拉列表制作： 2、数据透视表： 概念：通过拖拉就能实现复杂函数才能实现的数据统计问题。 概览：在插入选项中有个数据透视表，数…...
力扣--35.搜索插入位置
题目 给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。 请必须使用时间复杂度为 O(log n) 的算法。 示例 1: 输入: nums [1,3,5,6], target 5 输出: 2 示例 …...
C# 设计模式（行为型模式）：模板方法模式
C# 设计模式（行为型模式）：模板方法模式 在开发过程中，我们经常会遇到一类问题：一些操作的整体步骤是固定的，但某些具体步骤的实现会因为场景不同而有所变化。模板方法模式（Template Method Pat…...
Leetcode打卡：设计一个ATM机器
执行结果：通过 题目 2241 设计一个ATM机器 一个 ATM 机器，存有 5 种面值的钞票：20 ，50 ，100 ，200 和 500 美元。初始时，ATM 机是空的。用户可以用它存或者取任意数目的钱。 取款时，…...
【TCP】SYN、ACK、FIN、RST、PSH、URG的全称
在 TCP 协议中，SYN、ACK、FIN、RST、PSH 和 URG 都是控制标志位（Flags），每个标志位对应不同的功能。它们的全称如下： URG：(URGent)紧急 ACK：(ACKnowledgment)确认 PSH：(PuSH)推送 RS…...
BUUCTF：[安洵杯 2019]easy_serialize_php 反序列化字符串逃逸漏洞深度解析
1. 漏洞背景与场景还原 这道来自BUUCTF安洵杯2019的题目，典型地展示了PHP反序列化漏洞中一个精妙的攻击手法——字符串逃逸。题目环境模拟了一个简单的图片查看功能，用户可以通过show_image功能查看指定图片。表面上看，系统对用户输入进行了严…...
Excalidraw虚拟白板工具：如何用5分钟开启你的手绘图表创作之旅？
Excalidraw虚拟白板工具：如何用5分钟开启你的手绘图表创作之旅？ 【免费下载链接】excalidraw Virtual whiteboard for sketching hand-drawn like diagrams 项目地址: https://gitcode.com/GitHub_Trending/ex/excalidraw 你是否厌倦了传统图表工…...
大模型总“胡说八道“？用RAG技术让它秒变“知识库小能手“
大模型很强大，但让它回答企业内部问题就经常"胡说八道"。RAG 技术能解决这个问题——通过检索私有数据增强生成，让 AI 回答更准确。本文从零开始搭建 RAG 系统，分享核心架构、实战经验和踩坑记录。开篇引入 上周有个朋友问我&#…...
ESP32驱动0.96寸OLED屏，从C51代码移植到ESP-IDF的保姆级避坑指南
ESP32驱动0.96寸OLED屏：从C51到ESP-IDF的完整移植指南 当我们需要在ESP32项目中使用0.96寸OLED显示屏时，往往会遇到一个常见问题：手头只有基于C51单片机的驱动代码（比如淘宝卖家提供的例程），如何将其移植到…...
Windows更新故障的终极解决方案：Reset Windows Update Tool深度技术解析
Windows更新故障的终极解决方案：Reset Windows Update Tool深度技术解析 【免费下载链接】Reset-Windows-Update-Tool Troubleshooting Tool with Windows Updates (Developed in Dev-C). 项目地址: https://gitcode.com/gh_mirrors/re/Reset-Windows-Update-Tool…...
UART IP验证不止收发数据：深入解读SVT UART BFM与Sequence的进阶玩法
UART IP验证不止收发数据：深入解读SVT UART BFM与Sequence的进阶玩法 在芯片验证领域，UART接口的验证常常被视为基础工作，但真正高效的验证工程师知道，仅完成数据收发测试远远不够。本文将带您深入SVT UART验证IP的核心࿰…...
考研自习室席位费+茶水杂费复合收支智能盈亏测算。
考研自习室席位费 茶水杂费复合收支智能盈亏测算程序。一、实际应用场景描述（Scene）某高校周边考研自习室运营现状：- 收入来源：- 固定席位费（包月 / 包季）- 茶水、零食、打印等杂费- 支出构成：…...
集成实战：从环境配置到核心功能实现（含源码解析）)
VS2019 MFC CEF(Chrome)集成实战：从环境配置到核心功能实现（含源码解析）
1. 为什么要在MFC中集成CEF？ 十年前我刚接触MFC开发时，最头疼的就是界面美化问题。传统的GDI绘图方式要实现一个圆角按钮都得折腾半天，更别说复杂的动态效果了。直到发现CEF（Chromium Embedded Framework）这个神器&…...
OFDM同步入门避坑指南：从‘符号对不上’到看懂STO估计曲线图
OFDM同步技术实战解析：从STO曲线图到MATLAB仿真避坑指南 刚接触OFDM同步的同学，一定对"符号定时偏差（STO）"这个术语感到既熟悉又陌生。教科书上定义清晰，但一到实际仿真就会遇到各种困惑：为什么F…...
7个简单步骤实现Windows系统级音频优化：Equalizer APO终极解决方案
7个简单步骤实现Windows系统级音频优化：Equalizer APO终极解决方案 【免费下载链接】equalizerapo Equalizer APO mirror 项目地址: https://gitcode.com/gh_mirrors/eq/equalizerapo 你是否厌倦了Windows系统音频平淡无奇的表现？游戏中的脚步声听…...