当前位置：首页 > article >正文

韩国互联网巨头 NAVER 如何借助 StarRocks 实现实时数据洞察

article 2026/3/24 4:21:17

作者：

Youngjin Kim Team Leader, NAVER

Moweon Lee Data Engineer, NAVER

导读：开源无国界，在“StarRocks 全球用户精选案例”专栏中，我们将介绍韩国互联网巨头 NAVER 的 StarRocks 实践案例。

NAVER 成立于 1999 年，是著名社交软件 LINE 的母公司，世界第五大搜索引擎网站，也是韩国最大的搜索引擎和门户网站、韩国市值最高的互联网公司。业务遍布韩国、日本、中国台湾及东南亚。

从 ClickHouse 迁移至 StarRocks 后，NAVER 在多表 JOIN 处理上取得了显著优化。StarRocks 提升了查询性能，实现无缝扩展，并构建了统一查询平台，兼容多种数据源。这些改进让 NAVER 能够提供实时洞察，支持其生态系统中的数据驱动决策。

作为 NAVER 的数据平台团队，我们为韩国领先的门户网站提供分析支持。NAVER 支持着超过 200 个互联服务的生态系统，包括搜索、电商、媒体以及人工智能驱动的应用。随着平台在韩国的普及，几乎所有韩国人都在使用我们的服务。与此同时，我们在 Iceberg Lakehouse 中积累了超过 20PB 的数据，并处理着韩国最高的数据流量之一。

为了提供流畅的用户体验和及时的决策支持，我们的分析系统必须提供实时洞察，处理复杂的指标，并能够灵活扩展以应对不断增长的流量。

在本文中，我们将分享如何应对这些挑战，我们实施了哪些策略来提升分析能力，以及在这一过程中取得的关键成果。

推动 NAVER 决策制定的数据分析系统

在 NAVER，我们的分析系统是支撑两项关键任务的基石：

服务性能监控：确保服务高效运行，始终满足用户期望。
用户行为分析：洞察用户与服务的互动方式，推动数据驱动的决策。

我们的系统旨在支持内部决策制定人员和技术团队，例如优化服务性能的工程师或制定战略的高管。为实现这一目标，我们处理和分析大量日志数据，包括用户代理（user agents）、服务 URL 和点击流（clickstreams），将原始数据转化为可执行的洞察，推动 NAVER 不断前进。

原有技术栈—— ClickHouse 所带来的挑战

在构建第一个版本的分析平台时，我们希望能够快速搭建，因此选择了ClickHouse 作为最初的解决方案。其快速的聚合查询性能让我们在初期能够迅速交付结果。然而，随着平台的发展，我们遇到了不少显著的限制。

固定维度

ClickHouse 缺乏 JOIN 支持，我们不得不依赖反范式化的表格（denormalized tables），这限制了用户只能使用固定维度，并阻碍了实时分析。面对众多数据源和表，扩展变得不切实际，导致我们只能提供一小部分数据服务。

可扩展性问题

另一个主要挑战是 ClickHouse 的扩展性。将数据均匀分配到各个节点需要手动干预，过程既耗时又缺乏自动化。随着数据量的增加，保持这种平衡变得愈加复杂，且资源消耗也越来越大。

有限的数据更新/删除

ClickHouse 通过“merge on read”来处理实时可变数据（mutable data）。尽管这种方式能保持数据的新鲜度，但它严重影响了性能，这是我们无法接受的。这一限制使得许多场景难以支持，甚至完全无法实现，特别是在需要可变数据和复杂架构的分析工作流中。

随着分析需求的扩展，尤其是涉及动态维度、原始数据查询和无缝可扩展性时，这些限制变得愈加明显。我们意识到，必须找到一个更强大、更灵活的解决方案来支撑 NAVER 的分析平台。

技术选型 — Trino、Pinot、Druid、StarRocks

我们对 Trino、Pinot、Druid 和 StarRocks 等几种解决方案进行了评估与基准测试，并根据以下标准进行了对比：

多表 JOIN：能够处理跨多个表的复杂查询，而无需依赖反范式化。
实时聚合查询性能：确保动态实时分析的查询执行快速高效。
扩展能力：支持无缝地横向扩展，处理不断增长的数据量，同时保持最低的运维开销。
数据更新：支持实时数据更新而不影响查询性能。

经过广泛测试，我们选择了StarRocks，原因如下：

开箱即用的多表查询：StarRocks 原生支持复杂的多表 JOIN，消除了对反范式化表格的需求。
联邦分析：通过与 Apache Iceberg 及其他开放格式的集成，我们能够无缝分析内部和外部数据集，提供统一且灵活的查询接口。
卓越的聚合查询性能：即使在动态工作负载下，StarRocks 的聚合查询性能也能与 ClickHouse 媲美，甚至表现更优。
云原生扩展性：其解耦的存储计算架构简化了扩展过程，支持跨节点共享数据，并实现高效的资源管理。

StarRocks 成为了满足我们不断发展需求的理想平台，使我们能够为 NAVER 构建一个强大、可扩展且高性能的分析系统。

迁移到 StarRocks

我们进行了全面的测试，使用真实查询和数据集来确定最佳资源配置，并验证 StarRocks 的性能表现。测试内容包括多列聚合查询、多表 JOIN 查询以及横向扩展性。

测试性能与资源配置

为了确定最佳资源配置，我们使用真实查询和数据测试了 StarRocks 的性能，并将其与 ClickHouse 在1小时、6小时、12小时、18小时和24小时的数据表现进行了对比。

多列聚合查询

第一个基准测试聚焦于多列 GROUP BY 查询。我们在两种配置下对 StarRocks 和 ClickHouse 进行了评估：Kubernetes 上的小型集群和大型集群。结果显示，StarRocks 在这两种配置下的表现始终优于 ClickHouse。

JOIN 查询

接下来，我们测试了 StarRocks 和 ClickHouse 在上述集群配置下处理多表 JOIN 操作的能力。

横向扩展性

我们的基础设施完全容器化并运行在 Kubernetes 上，因此，横向扩展性是确保性能一致性和优化成本的关键因素。

下图对比了 StarRocks 和 ClickHouse 在横向扩展时的表现：

如上图所示，随着资源的增加，StarRocks 表现出线性增长。这种扩展性使我们能够高效地处理不断增长的工作负载，同时保持可预测的性能。

资源配置

根据测试结果，我们对 StarRocks 基础设施进行了优化，配置如下：

5个前端（FE）Pod：负责查询解析、计划和协调，确保高效执行。
80个后端（BE）Pod：专门用于数据存储，每个 Pod 配备48个 CPU、50Gi 内存和 10TB 的 SSD 存储，确保快速可靠的数据访问。
70个无状态计算节点（CN）Pod：根据需要动态分配计算资源，每个 Pod 配备48个 CPU 和 50Gi 内存，用于处理高查询量和复杂分析工作负载。

监控设置

监控是确保我们分析平台可靠性和性能的关键组件。通过 StarRocks，借助其文档中提供的预配置 Grafana 模板，监控设置变得更加简便。

该模板包含安装指南和预定义的仪表板，用于监控集群状态、合并状态以及 BE 和 FE 的各项指标。这些指标使我们能够实时监控系统的健康状况和性能，从而实现主动维护和快速解决问题。

通过物化视图进一步加速查询

为进一步提升查询性能，我们使用了 StarRocks 的物化视图。这些物化视图作为基础表的中间缓存，加速了查询执行，且无需手动维护。

StarRocks 中物化视图的关键特性包括：

查询重写：自动优化查询，在适用时使用物化视图，从而减少手动重写 SQL 的需求。
自动/定时刷新：通过最小的人工干预保持视图的最新状态，确保数据的一致性。

对于上述查询，我们创建了一个反范式化的物化视图来绕过 JOIN 操作，从而实现了 6 倍的性能提升。尤为值得一提的是，这些物化视图可以按需添加，且得益于 StarRocks 的查询重写功能，我们无需修改原始 SQL。这种灵活性使我们能够随时优化查询性能，同时保持工作流的简洁性。

迁移结果

迁移至 StarRocks 后，我们的分析平台在以下方面实现了显著提升：

灵活的交互式查询

工程师现在可以直接使用 SQL 查询原始数据，与 ClickHouse 的固定预定义指标相比，提供了无与伦比的灵活性。

全面提升的性能

多表JOIN和多列GROUP BY查询的执行速度大幅提升，即使在包含实时数据更新和删除的数据集上也是如此。

统一查询平台

StarRocks 通过内部 catalog 提供高性能查询，利用 Apache Iceberg 的外部 catalog 管理外部数据，并通过 Apache Hive 外部 catalog 支持遗留的（legacy）孤立数据集，从而实现了所有数据源之间的无缝、高效整合。

可扩展性

StarRocks 的横向扩展能力与 Kubernetes 结合，确保了处理能力的线性增长，使平台能够以具有成本效益的方式处理动态和异构的工作负载。

这些优势简化了我们的工作流程，使平台能够更高效、更灵活地支持 NAVER 不断发展的分析需求。

总结：

在 NAVER，高效处理多表 JOIN 的能力彻底改变了我们的分析平台。StarRocks 帮助我们突破了以往的限制，实现了更快的查询性能、无缝扩展性，以及与多元数据源集成的统一查询平台。这些改进使我们能够提供实时洞察，支持整个生态系统中的数据驱动决策。

未来规划

未来，我们计划进一步提升 StarRocks 的部署，具体包括以下几方面：

性能优化：优化分区策略，提升查询效率，尤其是针对基于时间戳的查询，实现更快的分析处理。
社区贡献：将我们的内部进展贡献给开源社区，帮助增强 StarRocks 的功能，为更广泛的用户群体提供支持。
更广泛的集成：扩大 StarRocks 的应用范围，处理更多外部数据集，利用 Apache Iceberg 进行动态和管控数据查询。

推荐阅读：StarRocks 全球用户精选案例

其他交流：StarRocks