Apache Celeborn 在B站的生产实践
背景介绍
Shuffle 演进
随着B站业务的飞速发展，数据规模呈指数级增长，计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务，大数据系统的高效性与稳定性成为公司业务发展的重要基石。如图1，目前在大数据基础架构下，我们主要采用 Spark、Flink、Presto 以及 Hive 作为计算引擎支撑各类复杂业务场景需求，离线计算集群基本每天运行30+万左右的 Spark 作业，包括任务调度平台的 ETL 任务、Kyuubi 提交的 Adhoc 作业等，其作业的 Shuffle 数据规模能够达到30PB以上，同时单个作业的 Shuffle 量最大规模有几百TB。同时 Shuffle 算子作为大数据计算引擎中间数据处理最重要的算子，Shuffle 的稳定性关系着线上大量离线作业的可靠性和性能。因此，对于海量的 Shuffle 中间数据和复杂多变的计算环境来说，保证 Shuffle 数据处理的稳定性对线上作业的稳定性和运行效率尤为重要。
图1：B站大数据基础架构图
相关文章：
Apache Celeborn 在B站的生产实践
背景介绍 Shuffle 演进 随着B站业务的飞速发展，数据规模呈指数级增长，计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务，大数据系统的高效性与稳定性成为公司业务发展的重要基石。如图1，目前在大数据基础架构下，我们主要采用 Spark、Fl…...
JOIN 和 OUTER JOIN,SQL中常见的连接方式
1. INNER JOIN（简称 JOIN） INNER JOIN 是 SQL 中最常用的一种连接方式，默认的 JOIN 就是 INNER JOIN。它返回两个表中满足连接条件的匹配记录。 作用：返回两个表中所有满足 ON 条件的记录。特性：如果表中的某些行在连…...
Vue2: table加载树形数据的踩坑记录
table中需要加载树形数据，如图： 官网给了两个例子，且每个例子中的tree-props都是这么写的： :tree-props="{children: children, hasChildren: hasChildren}" 给我一种错觉，以为数据结构中要同时指定children和hasChildren字段，然而，在非懒加载模式下，数据结…...
电子信息硕士面试经验
回顾2024年秋招一些面试常见的问题，主要涉及软件开发和嵌入式部分内容。 1. 浅拷贝深拷贝 深拷贝和浅拷贝是两种不同的拷贝方式，用于复制对象。它们主要区别在于对嵌套对象的处理方式。 浅拷贝：只复制对象的顶层，嵌套对象仍然是共享引用。 深拷贝：递归复制所有对象及其嵌…...
dns网址和ip是一一对应的吗？
DNS网址和IP地址是一一对应的吗？我们在上网时，为什么总是使用网址而不是一串数字？这些问题其实涉及到互联网的基本运作原理。DNS（域名系统）是我们日常上网过程中一个不可或缺的部分，它帮助我们将人类易于记…...
springboot3 redis 常用操作工具类
在 Spring Boot 3 中，操作 Redis 通常使用 Spring Data Redis 提供的工具类，如 RedisTemplate 和 StringRedisTemplate。以下是一个详细的 Redis 操作工具类的实现，涵盖了常用功能。 完整的 Redis 工具类 以下工具类可以实现基本的 Redis 操…...
Java工程师实现视频文件上传minio文件系统存储及网页实现分批加载视频播放
Java工程师实现minio存储大型视频文件网页实现分批加载视频播放 一、需求说明 老板给我出个题目，让我把的电影文件上传到minio文件系统，再通过WEB端分配加载视频播放，类似于我们普通的电影网站。小编把Java代码共享出来。是真正的能拿过来直…...
Redis（二）value 的五种常见数据类型简述
目录 一、string（字符串） 1、raw 2、int 3、embstr 二、hash（哈希表） 1、hashtable 2、ziplist 三、list（列表） 编辑 1、linkedlist 2、ziplist 3、quicklist（redis 3.2后的列表内…...
Docker 环境中搭建 Redis 哨兵模式集群的步骤与问题解决
在 Docker 环境中搭建 Redis 哨兵模式集群的步骤与问题解决 在 Redis 高可用架构中，哨兵模式（Sentinel）是确保 Redis 集群在出现故障时自动切换主节点的一种机制。通过使用 Redis 哨兵，我们可以实现 Redis 集群的监控、故障检测和…...
【网页自动化】篡改猴入门教程
安装篡改猴 打开浏览器扩展商店（Edge、Chrome、Firefox 等）。搜索 Tampermonkey 并安装。 如图安装后，浏览器右上角会显示一个带有猴子图标的按钮。 创建用户脚本 已进入篡改猴管理面板点击创建 脚本注释说明 name：脚本名称。…...
【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 4：MHE表示能力
目录 1 MHE的表示能力2 基于Frobenius-范数的低秩逼近3 基于CE的低秩近似 论文：Multi-Head Encoding for Extreme Label Classification 作者：Daojun Liang, Haixia Zhang, Dongfeng Yuan and Minggao Zhang 单位：山东大学 代码：h…...
Github - unexpected disconnect while reading sideband packet
Open git global config: git config --global -eLet’s try to resolve the issue by increasing buffer: git config --global http.postBuffer 52428800Try to clone again. If that doesn’t work! > You can try the partial fetch method and disabling compressi…...
Ubuntu 环境安装 之 RabbitMQ 快速入手
Hi~！这里是奋斗的明志，很荣幸您能阅读我的文章，诚请评论指点，欢迎欢迎 ~~ 🌱🌱个人主页：奋斗的明志 🌱🌱所属专栏：RabbitMQ 📚本系列文章为个人学…...
UE5中实现右键开镜效果
右键之后添加时间轴，然后设置视野即可。Set Field Of View 时间轴设置，第一个点设置0,90度，因为默认的就是90度 第二个点看武器的类型或者倍境来设置，时间就是开镜时间，值越小开镜速度越快，第二个值就是视野…...
Apache HTTPD 换行解析漏洞（CVE-2017-15715）
漏洞简介 pache HTTPD是一款HTTP服务器，它可以通过mod_php来运行PHP网页。其2.4.0~2.4.29版本中存在一个解析漏洞，在解析PHP时，1.php\x0A将被按照PHP后缀进行解析，导致绕过一些服务器的安全策略。 漏洞环境 vulhub/httpd/CVE-2…...
Excel重新踩坑5：二级下拉列表制作；★数据透视表；
0、在excel中函数公式不仅可以写在单元格里面，还可以写在公式里面。 1、二级下拉列表制作： 2、数据透视表： 概念：通过拖拉就能实现复杂函数才能实现的数据统计问题。 概览：在插入选项中有个数据透视表，数…...
力扣--35.搜索插入位置
题目 给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。 请必须使用时间复杂度为 O(log n) 的算法。 示例 1: 输入: nums [1,3,5,6], target 5 输出: 2 示例 …...
C# 设计模式（行为型模式）：模板方法模式
C# 设计模式（行为型模式）：模板方法模式 在开发过程中，我们经常会遇到一类问题：一些操作的整体步骤是固定的，但某些具体步骤的实现会因为场景不同而有所变化。模板方法模式（Template Method Pat…...
Leetcode打卡：设计一个ATM机器
执行结果：通过 题目 2241 设计一个ATM机器 一个 ATM 机器，存有 5 种面值的钞票：20 ，50 ，100 ，200 和 500 美元。初始时，ATM 机是空的。用户可以用它存或者取任意数目的钱。 取款时，…...
【TCP】SYN、ACK、FIN、RST、PSH、URG的全称
在 TCP 协议中，SYN、ACK、FIN、RST、PSH 和 URG 都是控制标志位（Flags），每个标志位对应不同的功能。它们的全称如下： URG：(URGent)紧急 ACK：(ACKnowledgment)确认 PSH：(PuSH)推送 RS…...
Docker 离线安装指南
参考文章 1、确认操作系统类型及内核版本 Docker依赖于Linux内核的一些特性，不同版本的Docker对内核版本有不同要求。例如，Docker 17.06及之后的版本通常需要Linux内核3.10及以上版本，Docker17.09及更高版本对应Linux内核4.9.x及更高版本。…...
Ubuntu系统下交叉编译openssl
一、参考资料 OpenSSL&&libcurl库的交叉编译 - hesetone - 博客园 二、准备工作 1. 编译环境 宿主机：Ubuntu 20.04.6 LTSHost：ARM32位交叉编译器：arm-linux-gnueabihf-gcc-11.1.0 2. 设置交叉编译工具链 在交叉编译之前&#x…...
springboot 百货中心供应链管理系统小程序
一、前言 随着我国经济迅速发展，人们对手机的需求越来越大，各种手机软件也都在被广泛应用，但是对于手机进行数据信息管理，对于手机的各种软件也是备受用户的喜爱，百货中心供应链管理系统被用户普遍使用，为方…...
docker详细操作--未完待续
docker介绍 docker官网: Docker：加速容器应用程序开发 harbor官网：Harbor - Harbor 中文 使用docker加速器: Docker镜像极速下载服务 - 毫秒镜像 是什么 Docker 是一种开源的容器化平台，用于将应用程序及其依赖项（如库、运行时环…...
)
Java 语言特性(面试系列1)
一、面向对象编程 1. 封装（Encapsulation） 定义：将数据（属性）和操作数据的方法绑定在一起，通过访问控制符（private、protected、public）隐藏内部实现细节。示例： public …...
java调用dll出现unsatisfiedLinkError以及JNA和JNI的区别
UnsatisfiedLinkError 在对接硬件设备中，我们会遇到使用 java 调用 dll文件 的情况，此时大概率出现UnsatisfiedLinkError链接错误，原因可能有如下几种 类名错误包名错误方法名参数错误使用 JNI 协议调用，结果 dll 未实现 JNI 协…...
【git】把本地更改提交远程新分支feature_g
创建并切换新分支 git checkout -b feature_g 添加并提交更改 git add . git commit -m “实现图片上传功能” 推送到远程 git push -u origin feature_g...
【OSG学习笔记】Day 16: 骨骼动画与蒙皮（osgAnimation）
骨骼动画基础 骨骼动画是 3D 计算机图形中常用的技术，它通过以下两个主要组件实现角色动画。 骨骼系统 (Skeleton)：由层级结构的骨头组成，类似于人体骨骼蒙皮 (Mesh Skinning)：将模型网格顶点绑定到骨骼上，使骨骼移动…...
成都鼎讯硬核科技！雷达目标与干扰模拟器，以卓越性能制胜电磁频谱战
在现代战争中，电磁频谱已成为继陆、海、空、天之后的 “第五维战场”，雷达作为电磁频谱领域的关键装备，其干扰与抗干扰能力的较量，直接影响着战争的胜负走向。由成都鼎讯科技匠心打造的雷达目标与干扰模拟器，凭借数字射…...
LLMs 系列实操科普（1）
写在前面： 本期内容我们继续 Andrej Karpathy 的《How I use LLMs》讲座内容，原视频时长 ~130 分钟，以实操演示主流的一些 LLMs 的使用，由于涉及到实操，实际上并不适合以文字整理，但还是决定尽量整理一份笔…...