Hago 的 Spark on ACK 实践

作者：华相

Hago 于 2018 年 4 月上线，是欢聚集团旗下的一款多人互动社交明星产品。Hago 融合优质的匹配能力和多样化的垂类场景，提供互动游戏、多人语音、视频直播、 3D 虚拟形象互动等多种社交玩法，致力于为用户打造高效、多样、最具沉浸式的社交娱乐体验，在东南亚、中东和南美等地区拥有广泛的用户群。

在技术层面，Hago 提供优秀的自研音视频技术，实现更加稳定、高效和优质的数字人服务。包括 3D 超写实模型、真人主播模型制作，虚拟人语音、表情驱动，自然声音的文字转语音（TTS），成熟的虚拟直播能力。

长期以来，Hago 都是在 IDC 里运行大数据任务，以支撑上面的许多产品，从 2022 年开始，Hago 开始将大数据业务迁移上云，并以 Spark on ACK 的形式来运行，本文主要针对迁移过程进行介绍。

IDC 中遇到的问题

起初，Hago 的 Spark 任务都是跑在 IDC 里的 Hadoop 集群里，当时主要面临几个问题：

• 资源限制问题：当资源不足时，导致任务堆积、排队
• 扩容的时效性：集群扩容逻辑比较复杂，特别是节假日有活动时，往往要提前一周准备扩容
• 资源利用率问题：Spark 任务有明显的波峰波谷，波谷的资源浪费明显
• 为了解决上面几个问题，Hago 决定把大数据业务用云原生的方式迁移上云

实施

Spark 项目从 3.1 开始，Spark on Kubernetes 的功能正式 GA。

所以，ACK 作为托管的 Kubernetes 发行版，提供更高的性能和更强稳定性，自然成为阿里云上 Spark 的最佳运行底座，这里为了更好的弹性效果，Hago 选择了 Serverless 版本的 ACK。

ACK Serverless

在 ACK Serverless 集群中，无需购买节点即可直接部署容器应用，无需对集群进行节点维护和容量规划，并且根据应用配置的 CPU 和内存资源量进行按需付费。ACK Serverless 集群提供完善的 Kubernetes 兼容能力，同时降低了 Kubernetes 使用门槛，用户更专注于应用程序，而不是管理底层基础设施。

同时，ACK Serverless 集群中的 Pod 基于阿里云弹性容器实例 ECI 运行在安全隔离的容器运行环境中。每个 Pod 容器实例底层通过轻量级虚拟化安全沙箱技术完全强隔离，容器实例间互不影响。

在 Spark 这种大规模业务峰值脉冲和任务调度的场景，ACK Serverless 集群的弹性优势也更加明显，可以在 30s 内交付几千个 Pod。

但在真正运行之前还有一些问题需要解决：

存算分离

上面提到，Spark 任务对算力的需求不是 7*24 小时的，但是存储是一直留存的，如果用传统的方式，在虚拟机上搭建 HDFS 集群，那就需要常驻大量的算力，也意味着产生大量的浪费。

Hago 选择存算分离的方案，将数据放在 OSS 里，通过 OSS-HDFS 服务把数据用 HDFS 接口暴露出来，方便 Spark 任务读取。

详情请参阅：OSS-HDFS 服务概述 [ 1]

shuffle service 的选型

shuffle 是 Spark 中最基本的过程之一，同时，shuffle 对于 Spark 应用程序的性能至关重要。

Spark 社区提供了默认的 shuffle service [ 2] ，但存在一些问题：

• Spark Shuffle 对本地存储有依赖，许多计算存储分离的机型、使用 ECI 的场景下没有自带本地盘，需要额外购买和挂载云盘，性价比和使用效率低
• Spark 基于 ShuffleTracking 实现了 Dynamic Allocation，但 Executor 回收效率低下

具体表现如下：

• Shuffle Write 在大数据量场景下会溢出，导致写放大
• Shuffle Read 过程中存在大量的网络小包导致的 Connection reset 问题
• Shuffle Read 过程中存在大量小数据量的 IO 请求和随机读，对磁盘和 CPU 造成高负载
• 对于 M*N 次的连接数，在 M 和 N 数千的规模下，作业基本无法完成

EMR 推出的 RSS 服务，可以优化上述 Spark Shuffle 方案的问题，完美支持 ACK 环境下的 Dynamic Allocation。

详情请参阅：EMR Remote Shuffle Service [ 3]

落地效果

最终落地的架构图大致如上所示，取得了非常理想的效果：

• 基本不需要提前准备，扩容只需要 30s
• 任务不再需要排队
• 不需要关心 IDC 的硬件故障问题

相关链接：

[1] OSS-HDFS 服务概述

https://help.aliyun.com/zh/oss/user-guide/overview-1

[2] shuffle service

https://github.com/lynnyuan-arch/spark-on-k8s/blob/master/resource-managers/kubernetes/architecture-docs/external-shuffle-service.md

[3] EMR Remote Shuffle Service

https://help.aliyun.com/zh/emr/emr-on-ecs/user-guide/celeborn#task-2184004