Apache Celeborn 在B站的生产实践
背景介绍
Shuffle 演进
随着B站业务的飞速发展，数据规模呈指数级增长，计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务，大数据系统的高效性与稳定性成为公司业务发展的重要基石。如图1，目前在大数据基础架构下，我们主要采用 Spark、Flink、Presto 以及 Hive 作为计算引擎支撑各类复杂业务场景需求，离线计算集群基本每天运行30+万左右的 Spark 作业，包括任务调度平台的 ETL 任务、Kyuubi 提交的 Adhoc 作业等，其作业的 Shuffle 数据规模能够达到30PB以上，同时单个作业的 Shuffle 量最大规模有几百TB。同时 Shuffle 算子作为大数据计算引擎中间数据处理最重要的算子，Shuffle 的稳定性关系着线上大量离线作业的可靠性和性能。因此，对于海量的 Shuffle 中间数据和复杂多变的计算环境来说，保证 Shuffle 数据处理的稳定性对线上作业的稳定性和运行效率尤为重要。
图1：B站大数据基础架构图
相关文章：
Apache Celeborn 在B站的生产实践
背景介绍 Shuffle 演进 随着B站业务的飞速发展，数据规模呈指数级增长，计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务，大数据系统的高效性与稳定性成为公司业务发展的重要基石。如图1，目前在大数据基础架构下，我们主要采用 Spark、Fl…...
JOIN 和 OUTER JOIN,SQL中常见的连接方式
1. INNER JOIN（简称 JOIN） INNER JOIN 是 SQL 中最常用的一种连接方式，默认的 JOIN 就是 INNER JOIN。它返回两个表中满足连接条件的匹配记录。 作用：返回两个表中所有满足 ON 条件的记录。特性：如果表中的某些行在连…...
Vue2: table加载树形数据的踩坑记录
table中需要加载树形数据，如图： 官网给了两个例子，且每个例子中的tree-props都是这么写的： :tree-props="{children: children, hasChildren: hasChildren}" 给我一种错觉，以为数据结构中要同时指定children和hasChildren字段，然而，在非懒加载模式下，数据结…...
电子信息硕士面试经验
回顾2024年秋招一些面试常见的问题，主要涉及软件开发和嵌入式部分内容。 1. 浅拷贝深拷贝 深拷贝和浅拷贝是两种不同的拷贝方式，用于复制对象。它们主要区别在于对嵌套对象的处理方式。 浅拷贝：只复制对象的顶层，嵌套对象仍然是共享引用。 深拷贝：递归复制所有对象及其嵌…...
dns网址和ip是一一对应的吗？
DNS网址和IP地址是一一对应的吗？我们在上网时，为什么总是使用网址而不是一串数字？这些问题其实涉及到互联网的基本运作原理。DNS（域名系统）是我们日常上网过程中一个不可或缺的部分，它帮助我们将人类易于记…...
springboot3 redis 常用操作工具类
在 Spring Boot 3 中，操作 Redis 通常使用 Spring Data Redis 提供的工具类，如 RedisTemplate 和 StringRedisTemplate。以下是一个详细的 Redis 操作工具类的实现，涵盖了常用功能。 完整的 Redis 工具类 以下工具类可以实现基本的 Redis 操…...
Java工程师实现视频文件上传minio文件系统存储及网页实现分批加载视频播放
Java工程师实现minio存储大型视频文件网页实现分批加载视频播放 一、需求说明 老板给我出个题目，让我把的电影文件上传到minio文件系统，再通过WEB端分配加载视频播放，类似于我们普通的电影网站。小编把Java代码共享出来。是真正的能拿过来直…...
Redis（二）value 的五种常见数据类型简述
目录 一、string（字符串） 1、raw 2、int 3、embstr 二、hash（哈希表） 1、hashtable 2、ziplist 三、list（列表） 编辑 1、linkedlist 2、ziplist 3、quicklist（redis 3.2后的列表内…...
Docker 环境中搭建 Redis 哨兵模式集群的步骤与问题解决
在 Docker 环境中搭建 Redis 哨兵模式集群的步骤与问题解决 在 Redis 高可用架构中，哨兵模式（Sentinel）是确保 Redis 集群在出现故障时自动切换主节点的一种机制。通过使用 Redis 哨兵，我们可以实现 Redis 集群的监控、故障检测和…...
【网页自动化】篡改猴入门教程
安装篡改猴 打开浏览器扩展商店（Edge、Chrome、Firefox 等）。搜索 Tampermonkey 并安装。 如图安装后，浏览器右上角会显示一个带有猴子图标的按钮。 创建用户脚本 已进入篡改猴管理面板点击创建 脚本注释说明 name：脚本名称。…...
【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 4：MHE表示能力
目录 1 MHE的表示能力2 基于Frobenius-范数的低秩逼近3 基于CE的低秩近似 论文：Multi-Head Encoding for Extreme Label Classification 作者：Daojun Liang, Haixia Zhang, Dongfeng Yuan and Minggao Zhang 单位：山东大学 代码：h…...
Github - unexpected disconnect while reading sideband packet
Open git global config: git config --global -eLet’s try to resolve the issue by increasing buffer: git config --global http.postBuffer 52428800Try to clone again. If that doesn’t work! > You can try the partial fetch method and disabling compressi…...
Ubuntu 环境安装 之 RabbitMQ 快速入手
Hi~！这里是奋斗的明志，很荣幸您能阅读我的文章，诚请评论指点，欢迎欢迎 ~~ 🌱🌱个人主页：奋斗的明志 🌱🌱所属专栏：RabbitMQ 📚本系列文章为个人学…...
UE5中实现右键开镜效果
右键之后添加时间轴，然后设置视野即可。Set Field Of View 时间轴设置，第一个点设置0,90度，因为默认的就是90度 第二个点看武器的类型或者倍境来设置，时间就是开镜时间，值越小开镜速度越快，第二个值就是视野…...
Apache HTTPD 换行解析漏洞（CVE-2017-15715）
漏洞简介 pache HTTPD是一款HTTP服务器，它可以通过mod_php来运行PHP网页。其2.4.0~2.4.29版本中存在一个解析漏洞，在解析PHP时，1.php\x0A将被按照PHP后缀进行解析，导致绕过一些服务器的安全策略。 漏洞环境 vulhub/httpd/CVE-2…...
Excel重新踩坑5：二级下拉列表制作；★数据透视表；
0、在excel中函数公式不仅可以写在单元格里面，还可以写在公式里面。 1、二级下拉列表制作： 2、数据透视表： 概念：通过拖拉就能实现复杂函数才能实现的数据统计问题。 概览：在插入选项中有个数据透视表，数…...
力扣--35.搜索插入位置
题目 给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。 请必须使用时间复杂度为 O(log n) 的算法。 示例 1: 输入: nums [1,3,5,6], target 5 输出: 2 示例 …...
C# 设计模式（行为型模式）：模板方法模式
C# 设计模式（行为型模式）：模板方法模式 在开发过程中，我们经常会遇到一类问题：一些操作的整体步骤是固定的，但某些具体步骤的实现会因为场景不同而有所变化。模板方法模式（Template Method Pat…...
Leetcode打卡：设计一个ATM机器
执行结果：通过 题目 2241 设计一个ATM机器 一个 ATM 机器，存有 5 种面值的钞票：20 ，50 ，100 ，200 和 500 美元。初始时，ATM 机是空的。用户可以用它存或者取任意数目的钱。 取款时，…...
【TCP】SYN、ACK、FIN、RST、PSH、URG的全称
在 TCP 协议中，SYN、ACK、FIN、RST、PSH 和 URG 都是控制标志位（Flags），每个标志位对应不同的功能。它们的全称如下： URG：(URGent)紧急 ACK：(ACKnowledgment)确认 PSH：(PuSH)推送 RS…...
【第二十一章 SDIO接口(SDIO)】
第二十一章 SDIO接口 目录 第二十一章 SDIO接口(SDIO) 1 SDIO 主要功能 2 SDIO 总线拓扑 3 SDIO 功能描述 3.1 SDIO 适配器 3.2 SDIOAHB 接口 4 卡功能描述 4.1 卡识别模式 4.2 卡复位 4.3 操作电压范围确认 4.4 卡识别过程 4.5 写数据块 4.6 读数据块 4.7 数据流…...
)
OpenLayers 分屏对比(地图联动)
注：当前使用的是 ol 5.3.0 版本，天地图使用的key请到天地图官网申请，并替换为自己的key 地图分屏对比在WebGIS开发中是很常见的功能，和卷帘图层不一样的是，分屏对比是在各个地图中添加相同或者不同的图层进行对比查看。…...
学校时钟系统，标准考场时钟系统，AI亮相2025高考，赛思时钟系统为教育公平筑起“精准防线”
2025年#高考 将在近日拉开帷幕，#AI 监考一度冲上热搜。当AI深度融入高考，#时间同步 不再是辅助功能，而是决定AI监考系统成败的“生命线”。 AI亮相2025高考，40种异常行为0.5秒精准识别 2025年高考即将拉开帷幕，江西、…...
Python基于历史模拟方法实现投资组合风险管理的VaR与ES模型项目实战
说明：这是一个机器学习实战项目（附带数据代码文档），如需数据代码文档可以直接到文章最后关注获取。 1.项目背景 在金融市场日益复杂和波动加剧的背景下，风险管理成为金融机构和个人投资者关注的核心议题之一。VaR&…...
【无标题】路径问题的革命性重构：基于二维拓扑收缩色动力学模型的零点隧穿理论
路径问题的革命性重构：基于二维拓扑收缩色动力学模型的零点隧穿理论 一、传统路径模型的根本缺陷 在经典正方形路径问题中（图1）： mermaid graph LR A((A)) --- B((B)) B --- C((C)) C --- D((D)) D --- A A -.- C[无直接路径] B -…...
关于easyexcel动态下拉选问题处理
前些日子突然碰到一个问题，说是客户的导入文件模版想支持部分导入内容的下拉选，于是我就找了easyexcel官网寻找解决方案，并没有找到合适的方案，没办法只能自己动手并分享出来，针对Java生成Excel下拉菜单时因选项过多导…...
WPF八大法则：告别模态窗口卡顿
⚙️ 核心问题：阻塞式模态窗口的缺陷 原始代码中ShowDialog()会阻塞UI线程，导致后续逻辑无法执行： var result modalWindow.ShowDialog(); // 线程阻塞 ProcessResult(result); // 必须等待窗口关闭根本问题：…...
【Ftrace 专栏】Ftrace 参考博文
ftrace、perf、bcc、bpftrace、ply、simple_perf的使用Ftrace 基本用法Linux 利用 ftrace 分析内核调用如何利用ftrace精确跟踪特定进程调度信息使用 ftrace 进行追踪延迟Linux-培训笔记-ftracehttps://www.kernel.org/doc/html/v4.18/trace/events.htmlhttps://blog.csdn.net/…...
深入理解 C++ 左值右值、std::move 与函数重载中的参数传递
在 C 编程中，左值和右值的概念以及std::move的使用，常常让开发者感到困惑。特别是在函数重载场景下，如何合理利用这些特性来优化代码性能、确保语义正确，更是一个值得深入探讨的话题。 在开始之前，先提出几个问题&…...
Neo4j 完全指南：从入门到精通
第1章：Neo4j简介与图数据库基础 1.1 图数据库概述 传统关系型数据库与图数据库的对比图数据库的核心优势图数据库的应用场景 1.2 Neo4j的发展历史 Neo4j的起源与演进Neo4j的版本迭代Neo4j在图数据库领域的地位 1.3 图数据库的基本概念 节点(Node)与关系(Relat…...