DGX服务器上Spark性能优化：NUMA绑定与GPU资源精细调度实践

1. 项目概述与核心价值最近在折腾一个挺有意思的项目叫adadrag/nemoclaw-dgx-spark。乍一看这个名字像是把几个八竿子打不着的技术名词硬凑在了一起adadrag像是个开发者代号nemoclaw听着像某个工具或框架dgx让人联想到英伟达的 DGX 系列高性能计算平台而spark则是大数据领域无人不知的分布式计算框架。这组合本身就充满了故事感它本质上是一个为 DGX 这类高性能 GPU 服务器量身定制的 Apache Spark 运行环境优化方案。简单来说它解决了在拥有顶级 GPU 算力的机器上如何让 Spark 这个传统上更偏重 CPU 和内存计算的“大象”也能高效地“舞动”起来特别是处理那些涉及机器学习、图计算或复杂数据转换的任务。为什么这件事值得专门做一个项目因为资源错配和利用率低下在实际生产中是常态。很多团队斥巨资购置了 DGX 这样的“算力怪兽”却往往只把它当作一个超强的模型训练服务器其强大的 CPU、高速网络和 NVLink 互联的 GPU 在运行传统 Spark 作业时潜力远未被挖掘。标准的 Spark on YARN 或 Kubernetes 部署并不会自动感知和优化 DGX 特有的硬件拓扑比如 GPU 与 CPU NUMA 节点的亲和性、GPU 之间的 NVLink 高速通道。nemoclaw-dgx-spark项目的目标就是填补这个鸿沟通过一系列定制化的配置、脚本和最佳实践让 Spark 在 DGX 环境中的部署从“能跑”升级到“跑得飞快且稳定”将硬件投资的每一分钱都转化为实实在在的数据处理效率。无论你是负责大数据平台运维的工程师还是需要利用 Spark 进行大规模数据预处理或特征工程的算法工程师这个项目都能提供极具价值的参考。2. 项目整体架构与设计思路拆解2.1 核心问题识别当 Spark 遇见 DGX要理解这个项目的设计首先得看清它要解决的核心矛盾。Apache Spark 是一个经典的分布式数据并行计算框架它的核心抽象是弹性分布式数据集RDD/DataFrame其执行引擎通过将任务Task分发到各个执行器Executor的线程池中来并行处理数据。在传统数据中心执行器通常配置较多的 CPU 核心和较大的堆内/堆外内存对 GPU 的利用要么是通过第三方插件如 RAPIDS Accelerator for Apache Spark要么是在特定的机器学习库如 Spark MLlib 的 GPU 后端中零星使用。而 DGX 平台以 DGX A100 为例是一个高度集成、为 AI 计算优化的硬件系统。它通常包含多颗高性能 CPU如两颗 AMD EPYC 或 Intel Xeon构成多个 NUMA 节点。多张顶级 GPU如 8 张 A100通过 NVLink 和 NVSwitch 实现 GPU 间超高速互联。海量高频内存以及优化的 CPU-GPU 间 PCIe 拓扑。高速网络如 InfiniBand 或高速以太网用于多机扩展。直接将一个标准 Spark 发行版扔到 DGX 上会面临几个关键问题资源隔离与冲突Spark Executor 默认会贪婪地使用所有可见的 CPU 核心。在 DGX 上这可能导致 Executor 进程跨 NUMA 节点运行引发远程内存访问延迟并可能与运行在同一节点上的 GPU 计算任务如 DNN 训练争抢 CPU 和内存带宽互相拖累。GPU 资源管理粗放标准 Spark 不直接管理 GPU。即使使用spark.worker.resource.gpu.*配置其调度也相对简单无法精细匹配 DGX 上 GPU 的 NVLink 拓扑。例如一个需要多 GPU 通信的 Spark 任务比如使用 RAPIDS 进行 GPU 加速的 Join 操作如果其获得的 GPU 不在同一个 NVLink 交换组内性能会大打折扣。I/O 与存储瓶颈DGX 的计算能力极强很容易让数据加载I/O或 Shuffle 阶段成为瓶颈。需要特别优化 Spark 的 Shuffle 机制、数据本地性策略并可能搭配高带宽存储如 NVMe SSD 阵列或内存文件系统。nemoclaw-dgx-spark的设计思路正是围绕系统性地解决上述问题展开。它不是简单地提供一个配置模板而是构建了一套从资源规划、部署配置到运行时调优的完整方法论。2.2 方案选型与核心组件该项目通常会包含以下几类核心组件其选型背后有明确的考量定制化的 Spark 分发版或 Docker 镜像为什么需要定制标准 Spark 发行版缺少一些针对 DGX 的底层库和驱动优化。项目可能会提供一个预构建的 Docker 镜像其中集成了特定版本的 CUDA、cuDNN 等 GPU 驱动和库确保与 DGX 系统驱动完全兼容。RAPIDS Accelerator for Apache Spark 的特定版本这是实现 Spark SQL 和 DataFrame 操作 GPU 加速的关键。针对 DGX 网络如 InfiniBand优化的通信库如 UCXUnified Communication X。UCX 能显著提升 Spark 节点间尤其是 Shuffle 阶段的数据传输效率在 InfiniBand 网络上性能提升可达数倍。一些性能剖析工具如 Nsight Systems、dcgm便于后续调优。实操心得自己从零开始构建这个镜像很繁琐且容易遇到依赖冲突。该项目提供的镜像价值在于“开箱即用”和“已知稳定”。务必记录镜像的详细版本矩阵Spark 版本、CUDA 版本、RAPIDS 版本任何版本的变动都可能引入不兼容。智能资源调度与隔离配置这是项目的精髓。它不会直接用spark-submit的--executor-cores和--executor-memory简单分配资源而是会提供一套基于numactl、cgroups和 Spark 资源管理配置的组合拳。NUMA 亲和性绑定通过脚本或配置确保每个 Spark Executor 进程被绑定到特定的 CPU NUMA 节点上并且优先使用该节点上的本地内存。这能大幅减少跨 NUMA 内存访问的延迟。例如在双路 CPU 的 DGX 上可以启动 2 个 Executor分别绑定到 NUMA Node 0 和 Node 1。GPU 的精细分配结合CUDA_VISIBLE_DEVICES环境变量和 Spark 的 GPU 资源调度将物理 GPU 精确地分配给特定的 Executor。更高级的配置会考虑 NVLink 拓扑将需要紧密通信的多个 GPU 分配给同一个 Executor 或一组关联的 Executor。内存与 CPU 核的配比根据 DGX 的具体型号A100 的 HBM2e 内存大小、CPU 核心数给出 Executor 内存堆内、堆外、堆外执行/存储内存、CPU 核心数的推荐配比。例如对于 A100 40GB 版本可能会建议每个绑定到特定 NUMA 节点的 Executor 配置特定的核心数和内存以匹配 GPU 的数据吞吐能力避免 CPU 成为 GPU 的瓶颈。部署编排脚本Kubernetes/YARN项目会提供针对不同集群管理器Standalone, YARN, Kubernetes的部署示例。对于 Kubernetes会提供详细的 Helm Chart 或 K8s YAML 文件其中定义了 Spark Driver/Executor Pod 的资源请求requests、限制limits、节点选择器nodeSelector以及上面提到的亲和性affinity规则。对于 YARN会展示如何配置yarn-site.xml和capacity-scheduler.xml来暴露 GPU 资源并编写对应的spark-submit脚本。性能基准测试与调优指南一个负责任的项目会包含验证其效果的基准测试如 TPC-DS, TPC-H 查询子集并对比优化前后的性能指标作业执行时间、GPU 利用率、Shuffle 数据量。提供一份关键的 Spark 配置参数清单并解释在 DGX 环境下调整它们的理由。例如spark.sql.shuffle.partitions: 需要根据数据量和 Executor 的 GPU 内存重新调整避免每个分区太小GPU 利用不足或太大OOM。spark.rapids.sql.concurrentGpuTasks: 控制单个 Executor 上同时运行的 GPU 任务数对于 A100通常设置为 1 或 2以平衡并发和内存压力。spark.shuffle.manager: 可能推荐使用UCX或sort并配合堆外内存。spark.executor.memoryOverhead: 在 GPU 环境下需要显著增加因为 GPU 相关库CUDA、RAPIDS会消耗较多的堆外内存。3. 核心配置解析与实操要点3.1 硬件拓扑探测与资源规划在开始配置 Spark 之前必须彻底摸清 DGX 服务器的硬件底细。这是所有后续优化的基础。探测 NUMA 拓扑# 使用 numactl 查看 NUMA 节点信息 numactl --hardware输出会显示有几个 NUMA 节点每个节点包含哪些 CPU 核心编号以及每个节点的本地内存大小。规划 Executor 数量时一个常见的策略是让 Executor 数量等于 NUMA 节点数或者其整数倍并确保每个 Executor 独占一个节点。探测 GPU 与 NVLink 拓扑# 使用 nvidia-smi 查看 GPU 列表和基础信息 nvidia-smi # 使用 nvidia-smi topo -m 查看 GPU 间的拓扑连接NVLink, PCIe nvidia-smi topo -mtopo -m的输出是一个矩阵清晰地显示了每对 GPU 之间的连接类型如 NV4、NV3、NV2 代表不同带宽的 NVLinkPHB 代表通过 PCIe 交换机。实操要点尽量让需要频繁通信的 GPU 任务例如一个需要多 GPU 进行哈希连接的 Spark Stage分配到通过高速 NVLink 直连的 GPU 组上。项目可能会提供一个脚本自动解析此拓扑并生成最优的 GPU 分配方案。网络探测# 查看 InfiniBand 设备状态如果适用 ibstat # 查看网络接口带宽 ethtool 网卡名如果使用 InfiniBand需要确保 Spark 的 Shuffle 服务或 UCX 配置正确使用了该设备。3.2 Spark on Kubernetes 部署配置详解假设我们选择 Kubernetes 作为集群管理器因为其资源隔离和调度灵活性更适合云原生环境和 DGX 这样的异构资源。以下是基于项目思路的核心配置拆解。1. 构建或使用预置的 Spark Docker 镜像 Dockerfile 的关键部分示例FROM apache/spark:3.5.0-scala2.12-java11-python3-ubuntu # 继承官方镜像确保 Spark 基础环境一致 # 安装与 DGX 系统匹配的 CUDA Toolkit 和 cuDNN RUN apt-get update apt-get install -y --no-install-recommends cuda-toolkit-12-2 libcudnn8 ... ENV LD_LIBRARY_PATH/usr/local/cuda/lib64:$LD_LIBRARY_PATH # 安装 RAPIDS Accelerator for Apache Spark 的 Jar 包和依赖 RUN curl -L https://repo1.maven.org/.../rapids-4-spark_2.12-23.12.0.jar -o /opt/spark/jars/ RUN curl -L https://repo1.maven.org/.../cudf-23.12.0-cuda12.jar -o /opt/spark/jars/ # 安装并配置 UCX 以支持高性能网络如 InfiniBand RUN apt-get install -y libucx-dev ucx ucx-rdmacm ucx-ib ENV UCX_MEMTYPE_CACHEn ENV UCX_TLSrc,cuda_copy,cuda_ipc # 复制自定义的 Spark 配置文件、入口点脚本等 COPY conf/* /opt/spark/conf/ COPY scripts/entrypoint.sh /opt/注意CUDA、Spark、RAPIDS 的版本兼容性至关重要。必须严格参照 RAPIDS 发布页面的兼容性矩阵进行选择。项目应锁定一组经过验证的稳定版本组合。2. 编写 Kubernetes 资源定义文件 核心在于 Spark Executor Pod 的配置需要精确控制资源分配和亲和性。# spark-executor-pod-template.yaml (片段) apiVersion: v1 kind: Pod spec: containers: - name: spark-executor image: your-registry/nemoclaw-dgx-spark:3.5.0-cuda12.2-rapids23.12 resources: requests: memory: 60Gi cpu: 16 nvidia.com/gpu: 2 # 申请2个GPU hugepages-2Mi: 4Gi # 可选用于优化GPU内存访问 limits: memory: 64Gi cpu: 16 nvidia.com/gpu: 2 hugepages-2Mi: 4Gi env: - name: SPARK_EXECUTOR_CORES value: 16 - name: SPARK_EXECUTOR_MEMORY value: 50g # 堆内内存 - name: SPARK_DAEMON_MEMORY value: 4g - name: SPARK_EXECUTOR_MEMORY_OVERHEAD value: 10g # 堆外内存开销在GPU环境下需调高 - name: CUDA_VISIBLE_DEVICES valueFrom: fieldRef: fieldPath: metadata.annotations[k8s.v1.cni.cncf.io/networks] # 需与设备插件配合或通过初始化脚本设置 command: [/opt/entrypoint.sh] args: [executor] affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: node-type operator: In values: - dgx-a100 podAntiAffinity: preferredDuringSchedulingIgnoredDuringExecution: - weight: 100 podAffinityTerm: labelSelector: matchExpressions: - key: spark-role operator: In values: - executor topologyKey: kubernetes.io/hostname # 使用 InitContainer 进行 NUMA 和 GPU 绑定 initContainers: - name: numa-gpu-binder image: busybox command: [sh, -c, | # 探测当前 Pod 被调度到的节点和分配的 GPU # 根据探测结果生成 numactl 命令和 CUDA_VISIBLE_DEVICES 值 # 写入到一个共享的 volume 中供主容器读取 echo numactl --cpunodebind1 --membind1 /etc/spark-bind/bind_cmd echo 0,1 /etc/spark-bind/cuda_devices ] volumeMounts: - name: spark-bind-config mountPath: /etc/spark-bind volumes: - name: spark-bind-config emptyDir: {}配置解析resources.requests/limits明确请求和限制资源这是 K8s 调度的依据。nvidia.com/gpu需要集群已部署 NVIDIA GPU 设备插件如 NVIDIA GPU Operator。affinitynodeAffinity确保 Pod 只调度到标签为node-typedgx-a100的节点。podAntiAffinity尽量避免多个 Executor Pod 挤在同一个 DGX 节点上除非你的应用需要它们共享数据。initContainers这是实现精细绑定的关键。一个轻量的 InitContainer 在 Pod 启动前运行它可以通过读取环境或与设备插件交互确定这个 Pod 被分配到了哪个 NUMA 节点和哪几块物理 GPU然后将绑定命令写入共享卷。主容器的entrypoint.sh脚本会读取/etc/spark-bind/bind_cmd和/etc/spark-bind/cuda_devices并实际执行numactl绑定和设置CUDA_VISIBLE_DEVICES。3. 关键的 Spark 属性配置 在spark-defaults.conf或通过spark-submit的--conf参数传递# 启用 RAPIDS 加速器 spark.plugins com.nvidia.spark.SQLPlugin spark.rapids.sql.enabled true spark.rapids.sql.concurrentGpuTasks 1 # 对于计算密集任务A100上通常设为1 spark.rapids.memory.pinnedPool.size 4G # 固定内存池提升GPU内存分配效率 spark.rapids.sql.batchSizeBytes 512M # 调整批次大小以适应GPU内存 # 资源与调度 spark.executor.instances 2 # 假设双路NUMA启动2个Executor spark.task.cpus 1 # 每个Task占用1个CPU核与Executor总核数匹配 spark.executor.resource.gpu.amount 2 # 每个Executor使用2块GPU spark.task.resource.gpu.amount 0.5 # 每个Task请求0.5块GPU意味着一个Executor同时运行4个GPU任务需结合concurrentGpuTasks # Shuffle 优化如果使用UCX spark.shuffle.manager org.apache.spark.shuffle.sort.SortShuffleManager spark.shuffle.service.enabled false # Standalone模式或K8s下通常为false # 使用UCX进行Shuffle传输 spark.executorEnv.UCX_TLS rc,cuda_copy,cuda_ipc spark.executorEnv.UCX_MEMTYPE_CACHE n # 动态分配通常在高性能固定环境中关闭以获得更可预测的性能 spark.dynamicAllocation.enabled false4. 实战部署流程与验证4.1 逐步部署指南假设你已有一个安装了 Kubernetes 和 NVIDIA GPU Operator 的 DGX 节点或集群。步骤一构建与推送镜像# 克隆项目仓库 git clone https://github.com/adadrag/nemoclaw-dgx-spark.git cd nemoclaw-dgx-spark/docker # 根据你的环境修改 Dockerfile 中的版本号 docker build -t your-registry/nemoclaw-dgx-spark:3.5.0-cuda12.2-rapids23.12 . docker push your-registry/nemoclaw-dgx-spark:3.5.0-cuda12.2-rapids23.12步骤二准备 Kubernetes 配置修改项目提供的kubernetes/目录下的 YAML 文件主要是更新镜像地址、调整资源请求/限制以匹配你的 DGX 规格CPU核数、内存、GPU数。为你的 DGX 节点打上标签kubectl label nodes your-dgx-node-name node-typedgx-a100步骤三部署 Spark 驱动程序和 Executor 模板通常项目会提供一个 Spark Application 的提交示例。在 K8s 上你可以使用spark-submit的--master k8s://https://k8s-apiserver:6443模式并指定--conf spark.kubernetes.container.image为你构建的镜像。更云原生的方式可能是使用 Spark Operator。项目应提供对应的SparkApplicationCRD YAML 示例。# 使用 spark-submit 的示例需在能访问k8s集群且配置了kubectl的环境中运行 export K8S_MASTERk8s://https://api-server:6443 ./bin/spark-submit \ --master $K8S_MASTER \ --deploy-mode cluster \ --name nemoclaw-dgx-test \ --class org.apache.spark.examples.SparkPi \ --conf spark.executor.instances2 \ --conf spark.kubernetes.container.imageyour-registry/nemoclaw-dgx-spark:3.5.0-cuda12.2-rapids23.12 \ --conf spark.kubernetes.driver.podTemplateFilepath/to/driver-pod-template.yaml \ --conf spark.kubernetes.executor.podTemplateFilepath/to/executor-pod-template.yaml \ --conf spark.kubernetes.namespacespark-job \ local:///opt/spark/examples/jars/spark-examples_2.12-3.5.0.jar 10000步骤四提交一个 GPU 加速的测试作业运行一个简单的 Pi 计算无法测试 GPU 加速。需要提交一个能利用 RAPIDS 的 SQL 查询。# 假设有一个 CSV 文件在共享存储上 ./bin/spark-submit \ --master $K8S_MASTER \ --deploy-mode cluster \ ... # 同上省略其他配置 --conf spark.rapids.sql.enabledtrue \ local:///opt/spark/jars/your-gpu-test-app.jar \ --input-path hdfs:///data/large_dataset.csv \ --query SELECT a.id, SUM(b.value) FROM t1 a JOIN t2 b ON a.key b.key GROUP BY a.id4.2 性能监控与验证部署完成后必须验证资源绑定是否生效以及性能提升是否达到预期。验证资源绑定登录到运行 Spark Executor Pod 的 DGX 节点。找到 Executor 进程的 PID使用numactl --hardware --pid PID检查其 CPU 和内存绑定情况。进入 Pod 容器执行nvidia-smi查看CUDA_VISIBLE_DEVICES是否按预期设置GPU 利用率是否正常。监控关键指标Spark UI观察作业的 Stage 和 Task 执行时间与纯 CPU 模式对比。关注 Shuffle 读写数据量、GC 时间。GPU 监控使用dcgmiNVIDIA Data Center GPU Manager或通过nvidia-smi dmon实时监控 GPU 的利用率utilization、内存使用mem_used、功耗和温度。理想情况下在计算密集型阶段GPU 利用率应持续在高位如 70%。系统监控使用htop、iostat、dstat等工具监控 CPU 使用率应看到与绑定 NUMA 节点对应的 CPU 繁忙、内存带宽、磁盘 I/O 和网络流量。确保没有出现意外的资源瓶颈。基准测试对比运行一套标准的基准测试如 TPC-DS 的 1TB 数据集上的几个代表性查询分别记录纯 CPU Spark未启用 RAPIDS的执行时间。启用 RAPIDS 但未进行 NUMA/GPU 绑定的执行时间。启用 RAPIDS 并应用nemoclaw-dgx-spark全套优化后的执行时间。分析对比结果。优化的目标不仅是整体加速还包括作业的稳定性和资源利用率的提升更少的 GC更平稳的 GPU 利用率曲线。5. 常见问题、排查技巧与深度调优5.1 典型问题与解决方案在实际操作中你几乎一定会遇到以下问题问题现象可能原因排查步骤与解决方案Executor 启动失败提示 GPU 资源不足1. K8s GPU 设备插件未正确安装或 Pod 的resources.limits未设置nvidia.com/gpu。2. GPU 已被其他进程如容器、训练任务占用。1. 运行kubectl describe node node查看Allocatable资源中是否有nvidia.com/gpu。2. 检查节点上nvidia-smi的输出确认 GPU 是否空闲。使用kubectl describe pod 其他pod查看 GPU 分配。作业运行缓慢GPU 利用率很低20%1. 数据倾斜严重导致部分 GPU 任务数据量巨大其他 GPU 空闲。2.spark.sql.shuffle.partitions设置过小导致每个 GPU 任务处理的数据分区太大无法充分利用 GPU 并行性。3. I/O 或 Shuffle 成为瓶颈GPU 等数据。1. 查看 Spark UI 中 Stage 的 Task 执行时间分布是否差异巨大。考虑对倾斜键进行加盐处理。2. 增大shuffle.partitions例如设置为executor数量 * gpu数量 * concurrentGpuTasks * 2~4。3. 监控磁盘 I/O 和网络带宽。考虑使用 Alluxio 或内存盘加速数据读取启用 UCX 优化 Shuffle。Executor 因 OOM内存溢出被杀掉1.spark.executor.memoryOverhead设置过低无法容纳 GPU 库和堆外内存需求。2.spark.rapids.sql.concurrentGpuTasks设置过高导致 GPU 内存同时容纳多个任务的数据而溢出。3. 单个数据分区过大。1. 大幅增加memoryOverhead可以从 2-4GB 开始尝试根据日志调整。2. 将concurrentGpuTasks降为 1。3. 增加分区数或减少spark.rapids.sql.batchSizeBytes。任务失败报 CUDA 错误如 out of memory, illegal memory access1. 代码中存在 GPU 不支持的 Spark 操作符或数据类型。2. RAPIDS 版本与 Spark/CUDA 版本不兼容。3. GPU 内存确实不足。1. 检查 Spark UI 的 SQL 页面RAPIDS 插件会标记哪些操作符在 GPU 上执行Fell Back 到 CPU 的需注意。参考 RAPIDS 官方文档的支持操作符列表。2. 严格核对版本兼容性矩阵。3. 使用nvidia-smi监控 GPU 内存使用峰值。NUMA 绑定似乎未生效跨节点内存访问延迟高1. InitContainer 绑定脚本逻辑错误或共享卷挂载失败。2. 容器内的进程在绑定后又被 fork 出子进程未继承绑定设置。1. 检查 Executor Pod 的日志特别是 InitContainer 的日志看绑定命令是否成功生成和执行。2. 在entrypoint.sh中确保在启动 Spark Executor JVM 进程的命令前直接加上numactl命令。5.2 深度调优经验分享在解决了基本问题后可以尝试以下进阶调优榨取最后一点性能Shuffle 的极致优化使用 UCX over InfiniBand如果 DGX 集群配备了 InfiniBand务必启用 UCX。除了设置UCX_TLS环境变量还需要在 Spark 配置中指定网络设备spark.executorEnv.UCX_NET_DEVICESmlx5_0:1。这能将 Shuffle 的跨节点通信从 TCP/IP 切换到 RDMA延迟大幅降低吞吐量飙升。调整 Shuffle 压缩spark.io.compression.codec可以尝试zstd它在压缩比和速度上有较好平衡能减少 Shuffle 数据量。GPU 内存与计算优化启用 GPU Direct Storage (GDS)如果数据源在支持 GDS 的 NVMe SSD 上启用它可以实现 GPU 直接访问存储绕过 CPU 内存拷贝对大数据量加载有显著提升。这需要在系统层和 Spark 配置中同时启用。调整 RAPIDS 内存池spark.rapids.memory.pinnedPool.size设置固定大小的主机固定内存池用于加速主机到设备的数据传输。可以逐步增加其大小如 8G、16G观察性能变化但注意不要超过物理内存限制。分析 SQL 计划使用spark.sql.adaptive.enabledtrue并结合 Spark UI观察 RAPIDS 插件是否成功将尽可能多的操作符下推到 GPU。对于未能下推的操作分析原因可能是数据类型或 UDF 导致考虑重写查询。JVM 与垃圾回收调优在 GPU 加速场景下CPU 侧的工作负载可能发生变化。由于部分计算卸载到 GPUCPU 压力可能减小但 Shuffle 和物化Materialization仍在 CPU 进行。可以尝试使用 G1GC 并调整其区域大小和最大暂停时间目标--conf spark.executor.extraJavaOptions-XX:UseG1GC -XX:G1HeapRegionSize32M -XX:MaxGCPauseMillis100。监控 GC 时间如果仍然很长可能需要减少spark.executor.memory堆内内存并相应增加spark.executor.memoryOverhead堆外内存因为 RAPIDS 和 CUDA 会消耗大量堆外内存。数据本地性与缓存策略对于需要反复读取的中间数据集使用df.persist(StorageLevel.OFF_HEAP)或StorageLevel.DISK_ONLY进行缓存。OFF_HEAP 可以避免 JVM GC 影响。确保数据存储如 HDFS与计算节点DGX之间有高带宽连接。考虑在 DGX 本地 NVMe SSD 上缓存热数据。这个项目的价值不仅仅在于提供配置文件更在于它传递了一种在异构计算环境中进行“性能工程”的思维方式。从硬件拓扑出发自底向上地调整软件栈的每一层配置让通用框架能够感知并适应特定的硬件优势。每一次成功的调优都意味着昂贵的硬件投资得到了更有效的利用数据团队的生产力获得了实实在在的提升。