DeepSeek-R1自写CUDA内核跑分屠榜：开启GPU编程自动化新时代

引言

在AI领域，深度学习模型的性能优化一直是研究者们关注的核心。最近，斯坦福和普林斯顿的研究团队发现，DeepSeek-R1生成的自定义CUDA内核不仅超越了OpenAI的o1和Claude 3.5 Sonnet，还在KernelBench框架中取得了总排名第一的好成绩。本文将深入探讨这一突破性进展，并分析其对未来GPU编程自动化的深远影响。

DeepSeek-R1的突破

KernelBench框架下的表现

KernelBench是一个旨在评估大型语言模型（LLM）编写GPU内核能力的开源框架。它包含250个涵盖各种AI工作负载的任务，分为三个级别：

• Level 1：包含100个单个基本操作，如卷积、矩阵乘法等。
• Level 2：包含100个操作序列，如卷积、ReLU和Bias的组合。
• Level 3：包含50个完整的机器学习架构，如AlexNet和MiniGPT等。

DeepSeek-R1在这些任务中的表现令人瞩目，尤其是在Level 2上，通过迭代优化过程，它的fast1分数从36%提升到了72%。

硬件感知与优化潜力

研究团队还探索了提供硬件信息对模型生成内核的影响。尽管当前的模型很少能够生成针对特定硬件优化的内核，但DeepSeek-R1展示了利用上下文示例进行优化的潜力。例如，在大约50%的Level 1矩阵乘法问题中，R1尝试生成warp矩阵乘加指令（wmma），尽管大多数未能编译成功。

GPU编程自动化的挑战与机遇

挑战

尽管DeepSeek-R1展现了强大的能力，但LLM在生成正确且优于PyTorch基线速度的内核方面仍面临诸多挑战。主要问题包括：

• 执行错误：如CUDA/nvcc/Python编译时错误、CUDA内存违规和运行时错误等。
• 功能正确性问题：输出张量形状和值不匹配。
• 硬件通用性不佳：生成的内核在不同硬件平台上的表现差异显著。

机遇

然而，KernelBench框架及其评估指标fast_p为解决这些问题提供了新的途径。通过重复采样和迭代优化，研究团队发现这些方法能够显著提升模型生成内核的质量。特别是，DeepSeek-R1在Level 2上的改进最为显著，其中执行反馈E和分析器反馈P的组合将fast1从36%提升至72%。

展望未来

进一步的研究方向

为了进一步推动GPU编程自动化的发展，未来的研究可以集中在以下几个方面：

• 开发先进的微调和推理技术：包括智能体工作流（agentic workflows），以提高模型生成内核的准确性和效率。
• 使用其他编程抽象：如ThunderKittens、CUTLASS、Triton等，简化生成问题，使语言模型更容易利用张量核心指令。
• 扩展到其他硬件加速器：当前的评估仅限于GPU，未来的工作可以探索适用于其他硬件平台的应用场景。

结语

DeepSeek-R1在KernelBench框架中的表现标志着一个重要的里程碑，它不仅展示了AI驱动的GPU编程自动化的巨大潜力，也为未来的创新奠定了基础。随着技术的进步和更多高质量数据的开源，我们有理由相信，AI将在不久的将来彻底改变GPU编程的方式。