阿里云 SLS 多云日志接入最佳实践：链路、成本与高可用性优化

作者：裘文成（翊韬）

摘要

随着企业全球化业务的扩展，如何高效、经济且可靠地将分布在海外各地的应用与基础设施日志统一采集至阿里云日志服务 (SLS) 进行分析与监控，已成为关键挑战。

本文聚焦于阿里云高性能日志采集 Agent（iLogtail/LoongCollector）在海外场景下的应用，深入探讨了如何为不同部署环境（包括本地机房、跨云平台及阿里云环境）设计最佳的网络接入链路。我们优先推荐 LoongCollector，因为它能提供更优的可靠性，尤其是在多目标发送场景下。文中详细分析了多种网络方案，涵盖公网直连、全球加速 (GA) 优化、阿里云内网以及专线 /CEN/VPN 接入等方式。

此外，本文还重点介绍了成本优化策略，包括利用 CloudLens for SLS 进行用量诊断，以及将公网链路迁移至私网以降低成本。同时，详细拆解了两种核心的多目标发送配置：一是通过 Agent 双写实现跨地域容灾（数据冗余），二是实现多地域/多目标日志分发（按需路由）。

本文旨在为企业构建稳定、低成本、高可用的全球日志系统提供全面的实践指导和配置参考。

一、 背景与挑战

随着企业全球化业务的扩展，日志数据作为可观测性、故障排查及合规审计的基石，其统一采集与分析变得至关重要。然而，将分布于全球（包括本地机房、其他云厂商、阿里云海外区域）的日志统一接入阿里云 SLS 的过程中，企业普遍面临以下关键挑战，这些挑战直接关系到接入链路的选择、整体成本的控制以及系统的高可用性保障：

• 链路质量与稳定性挑战

  • 海外公网链路质量参差不齐，普遍存在高延迟、高抖动和丢包问题，严重影响日志传输的实时性与完整性，对接入链路的可靠性与效率提出严峻考验。如何选择和优化网络路径，是保障数据稳定传输的首要难题。

• 成本控制压力

  • 海量日志通过公网传输产生的出流量费用是主要的成本负担之一，尤其在多云和全球化部署下，如何有效降低数据传输成本成为迫切需求。不合理的链路选择或缺乏优化策略会导致成本失控。

• 高可用与容灾需求

  • 日志系统作为关键基础设施，其可用性至关重要。单一的采集链路或目标 SLS Project 存在单点故障风险时，如何通过多目标发送实现跨地域/跨可用区容灾，保障日志数据在各种故障场景下不丢失、可持续服务，是确保业务连续性的核心要求。

• 多环境与合规复杂性

  • 日志源分布在本地数据中心、多云环境及阿里云不同地域，增加了 Agent 统一部署、配置和管理的复杂度。同时，数据跨境传输还需满足当地数据安全合规要求（如数据本地化等），为链路设计和数据处理增加了额外的约束。

二、 核心采集利器：iLogtail/LoongCollector 优势

在应对上述挑战时，选择合适的采集 Agent 至关重要。iLogtail 和 LoongCollector 作为阿里云官方推荐的 Agent，都具备强大的基础能力，但在可靠性和某些高级特性上，LoongCollector 提供了进一步的增强。

两者共同的核心优势：

• 轻量高效：C++ 核心，资源占用低（CPU、内存），对业务服务器性能影响极小。
• 全能采集：支持文件日志、容器日志 (Stdout/Stderr, 文件)、Syslog、HTTP 等多种数据源。
• 强大处理 (Processor 插件)：支持在 Agent 端对数据进行解析 (JSON, Regex, 分隔符等)、过滤、脱敏等预处理，从源头减少无效数据传输，优化成本和后端处理效率。
• 发送压缩：内置支持 lz4 压缩算法，能显著降低网络传输流量。
• 高可靠传输：具备本地磁盘缓存、断点续传、失败重试、流量整形等机制，有效应对网络波动，保障数据“不丢不重”
• 灵活输出与多目标：支持将数据发送至 SLS，且单个 Agent 实例可配置将同一份数据同时发送到多个目标 SLS Endpoint（用于双写容灾或迁移）。
• 云原生与生态集成：与阿里云 ECS、容器服务 ACK/ASK 等深度集成，支持 K8s 环境下的便捷部署 (DaemonSet, Sidecar) 和配置管理 (CRD)。

推荐优先选择 LoongCollector 的理由：

• 增强的可靠性 - 网络异常隔离：
  • LoongCollector 相比 iLogtail 具有更高的可靠性。一个显著的优势是支持发送侧网络异常隔离机制。
  • 当配置 Agent 向多个地域（例如新加坡和杭州）的 SLS Endpoint 发送日志时，如果其中一个目标地域（比如新加坡）的网络连接发生异常（超时、中断等），LoongCollector 会智能地隔离通往该异常地域的数据发送链路。
  • 这意味着，向新加坡发送失败不会阻塞或影响向杭州或其他正常地域的数据发送。这极大地提升了多目标输出场景下的整体数据传输稳定性和时效性，避免了“一点故障影响全局”的问题。

结论：虽然 iLogtail 仍然是一款功能强大的 Agent，但对于有高可靠性要求、特别是涉及多地域日志发送等复杂场景的用户，强烈建议优先选用 LoongCollector 以获得其更优的稳定性和网络容错能力。目前 LoongCollector 正在灰度发布中，如有更多的疑问，可以工单咨询我们。

• 版本推荐：
  • iLogtail：推荐 2.1.7 版本及以上
  • LoongCollector：推荐 3.0.9 版本及以上

三、 链路设计：构建高效稳定的数据通道

根据业务部署位置、网络条件、成本预算以及对延迟、稳定性和安全性的要求，可以选择不同的接入链路方案：

• 方案一：直连公网 Endpoint

  • 架构：海外服务器 (Agent) -> 公网 -> SLS 公网 Endpoint (目标 Region)
  • 优点：配置最简单，无需额外购买阿里云网络产品。
  • 缺点：成本中（需要公网流量费用），网络质量差（跨国延迟高、不稳定），安全性依赖 HTTPS。
  • 适用场景：可接受网络波动和延迟的场景。

• 方案二：通过全球加速优化公网

  • 架构：海外服务器 (Agent) -> 公网 -> 就近阿里云 PoP (GA 加速接入点) -> 阿里云骨干网 -> SLS Endpoint (目标 Region, 特别是内地)
  • 优点：显著改善跨国公网传输质量，降低延迟和丢包率，部署相对简单（在 SLS 控制台开启传输加速，并修改Agent的data endpoint为全球加速域名即可）。
  • 缺点：成本高，增加全球加速流量费用，但可能因减少源端重传、提高效率而间接优化总成本。
  • 适用场景：需要远距离（尤其跨境到中国内地）日志传输；对日志实时性、稳定性有较高要求的业务。
  • 配置文档请参考管理传输加速【1】和如何开启网络传输加速服务【2】

• 方案三：阿里云上服务同 Region 私网接入 (最优成本与性能)

  • 架构：海外阿里云服务器 (Agent) -> 阿里云 VPC 网络 -> SLS 私网 Endpoint (同 Region)
  • 优点：网络质量最佳（低延迟、高稳定），安全性最高（数据不出 VPC），成本最低（同 Region 无公网费用）。
  • 缺点：要求业务服务器和目标 SLS Project 必须部署在同一阿里云 Region 的 VPC 内。
  • 适用场景：强烈推荐所有部署在阿里云上且日志需采集到同 Region SLS 的业务。

• 方案四：混合云/多云场景下，通过专线/云企业网 (CEN) 接入私网

  • 架构：海外服务器 (Agent in IDC/其他云 VPC) -> 物理专线/VPN/CEN -> 阿里云 VPC -> SLS 私网 Endpoint (目标 Region)
  • 优点：提供私网隔离的安全保障，网络质量和稳定性优于公网及 GA（尤其是专线）。
  • 缺点：需要客户通过云企业网CEN【3】、高速通道【4】等产品提供的功能将网络打通，成本最高（涉及专线租赁费、CEN 实例费、带宽包或流量费），配置部署相对复杂，周期较长。
  • 适用场景：本地数据中心 (IDC) 或多云环境需要与阿里云建立高质量私网连接；日志量巨大，对实时性、稳定性、安全性要求极高的核心业务；预算充足。
  • 跨地域内网访问需要提工单支持【5】

方案对比总结表：

四、成本优化策略：节省每一分费用

除了选择合适的网络链路，还可以通过以下策略进一步优化成本：

4.1 利用 CloudLens for SLS 诊断日志量与公网流量异常

随着业务的持续增长，接入 SLS 的日志数据量通常会随之上升。然而，有时可能会出现预期之外的日志量或公网流量激增，这往往源于应用程序打印了过多冗余信息、或者采集配置不够精确（例如，采集了非必要的调试日志、日志存在重复采集或采集路径范围过大采集了无关日志文件）。这些情况不仅可能导致不重要的日志占据了大量资源，还会显著增加相关的网络传输和存储成本。

为了有效监控和诊断此类问题，阿里云日志服务 SLS 提供了 CloudLens for SLS 功能。这项服务为您提供了一个集中化的视图，能够清晰展示您账号下所有 Project 的核心资源消耗指标，包括：

• 日志写入量：

  • 各 Project 的实时及历史写入数据量。

• 公网流出流量：

  • 通过公网 Endpoint 写入产生的流量。

• 全球加速流量：

  • 若使用了全球加速优化链路，此项会显示相关流量。

通过分析 CloudLens 提供的报表 (查看 CloudLens 数据报表【6】)，您可以快速定位到消耗量异常（过高或突增）的 Project 或特定时间段。这有助于您及时发现并排查不符合预期的日志写入行为，例如：

• 识别是哪个业务或哪类日志导致了流量高峰。
• 评估采集配置是否需要优化（如调整采集路径）。
• 判断是否存在应用层面的日志打印问题。

基于这些洞察，您可以采取针对性的优化措施，控制成本并提升资源使用效率。如果您在分析 CloudLens 数据或排查具体问题时需要进一步协助，欢迎随时通过提交工单联系阿里云技术支持。

参考文档：如何使用 CloudLens for SLS 可以帮助您分析资源用量【7】和查看 CloudLens for SLS 数据报表 【8】

4.2 数据压缩，降低网络带宽消耗

日志数据，尤其是原始文本日志，往往包含大量冗余信息，直接通过网络传输会消耗可观的带宽资源。特别是在跨地域、跨国或通过公网传输日志的场景下，高昂的网络带宽成本是日志系统总体拥有成本 (TCO) 的重要组成部分。为了有效缓解这一问题，阿里云日志服务 (SLS) 的采集 Agent LoongCollector 和 iLogtail 均支持在数据发送前进行客户端压缩。

核心压缩技术：LZ4 算法

• 高速与高效：主要采用 lz4 压缩算法。lz4 是一种高速无损压缩算法，其核心优势在于提供了极快的压缩和解压速度，同时对客户端（即日志产生的服务器）的 CPU 资源消耗相对较低。这使其非常适合日志采集这种需要高吞吐量、低延迟的实时数据流处理场景，避免对业务应用的性能产生显著影响。
• 默认启用了 lz4 压缩功能： 用户无需进行额外配置，即可自动享受数据压缩带来的网络带宽节省。
• 压缩率：通常可以达到 5 到 10 倍 的压缩率。
• 效果监控：用户可以通过阿里云提供的 CloudLens for SLS 功能，查看日志项目 (Project) 的写入流量压缩比等相关指标。这提供了一个直观的方式来量化压缩功能带来的实际网络带宽节省效果。

4.3 优化日志上报：过滤非必要数据以降低成本与提升效率

在许多场景下，并非所有产生的日志都具有同等的分析价值。例如，调试(DEBUG)级别的日志在生产环境中可能并非必需，或者某些频繁打印的健康检查日志对核心业务分析意义不大。将这些低价值或冗余的日志上传至 SLS 会不必要地增加网络传输成本、SLS 索引和存储费用，并可能干扰关键信息的快速定位。

iLogtail 和 LoongCollector 提供了强大的 Processor 插件机制，允许在 Agent 端对采集到的日志进行预处理和过滤，从而在数据发送前就丢弃掉不需要的日志条目。

您可以根据具体需求，灵活选用以下方法在 Agent 端实现日志过滤：

• 使用 Processor 过滤插件：

  • 利用 iLogtail 或 LoongCollector 提供的原生过滤插件或扩展过滤插件，您可以配置匹配规则，过滤无用的日志。

• 基于SPL实现：

  • 对于一些复杂的过滤逻辑，可以使用 SPL 编写处理逻辑，将解析与过滤步骤结合起来。

参考文档：

• 原生插件：过滤处理【9】
• 扩展插件：过滤日志【10】
• 基于SPL实现正则解析+过滤处理【11】

4.4 平滑迁移：阿里云上服务日志采集从公网切换至私网链路

对于历史上使用公网接入，现希望切换到成本更低、性能更优的私网的场景，往往需要平稳过渡，避免监控中断。这通常涉及到在迁移期间配置 Agent 进行双写。本节将围绕以下两个典型场景展开详细说明。

• 场景1 (日志本地化)：原先所有地域日志集中采集到 Project A，现需将 Region B 的日志迁移至同 Region 的 Project B。迁移期间，Region B 的 Agent 同时向 Project A (跨公网/GA) 和 Project B (同 Region 私网) 写入，保证监控连续性。待 Project B 稳定运行后，停止向 Project A 的写入。
• 场景2 (业务区域迁移)：业务从 Region A 迁移至 Region B。迁移期间，部分服务仍在 A，部分已在 B。为保证统一监控视图（例如在 Project B），Region A 的 Agent 需要配置双写：一份写入 Project A (同 Region 私网)，一份写入 Project B (跨公网/GA)。待业务完全迁移至 B 后，停止向 Project A 的写入（或反之，取决于最终监控中心）。

具体步骤可以参考【最佳实践】还在跨境传输数据？数据跨境合规治理实践— Logtail 数据本地化无损迁移方案【12】

五、多地域日志分发：将不同日志发送到不同目的地

除了为容灾或迁移将同一份数据发送到多个地域（如第 4.3 和第五部分所述的双写场景）之外，还存在另一种常见需求：

不同日志发送到不同目的地：日志将来自同一台服务器或 K8s 节点的不同类型或不同来源的日志，分别发送到位于不同地域的 SLS  中进行处理和分析。

例如：

• 业务机器组在新加坡
  • 将系统日志（如 /var/log/messages）中心化采集到统一运维监控的 Project A（位于上海地域）。
  • 将业务应用日志（如 app.log）采集到业务所在 Region 的 Project B（位于新加坡地域）。

iLogtail 和 LoongCollector 完全支持这种场景，核心实现方式是为同一个 Agent 实例配置多个 endpoint，具体步骤可以参考以下步骤。

ECS

1. 假设 ECS 机器在新加坡，需要同时往上海和新加坡地域写日志。

2. 在日志服务控制台上，创建 Project A（位于上海地域）和 Project B（位于新加坡地域）。

3. 在日志服务控制台 Project A 和 Project B 下，分别创建机器组。

4. 在客户端所在的服务器上，设置 iLogtail/LoongCollector 的 ilogtail_config.json 文件，支持双地域写入。

下面提供了 iLogtail/LoongCollector 的 ilogtail_config.json 配置样例。其中 LoongCollector 也兼容 iLogtail 的 ilogtail_config.json 配置样例。

iLogtail 的 ilogtail_config.json 配置样例

{..."config_server_address":"http://logtail.ap-southeast-1-intranet.log.aliyuncs.com","config_server_address_list": ["http://cn-shanghai.log.aliyuncs.com"],"data_server_list": [{"cluster": "ap-southeast-1","endpoint":"ap-southeast-1-intranet.log.aliyuncs.com"},{"cluster": "cn-shanghai","endpoint":"cn-shanghai.log.aliyuncs.com" // 如果需要全球加速，此处换成log-global.aliyuncs.com}],...
}

LoongCollector 的 ilogtail_config.json 配置样例

{..."primary_region" : "ap-southeast-1","config_servers" :["http://logtail.ap-southeast-1-intranet.log.aliyuncs.com","http://logtail.cn-shanghai.log.aliyuncs.com"],"data_servers" :[{"region" : "ap-southeast-1","endpoint_list": ["ap-southeast-1-intranet.log.aliyuncs.com"]},{"region" : "cn-shanghai","endpoint_list": ["cn-shanghai.log.aliyuncs.com" // 如果需要全球加速，此处换成log-global.aliyuncs.com]}],...
}

5. 重启 iLogtail/LoongCollector

ACK

1. 假设 ACK 集群在新加坡，需要同时往上海和新加坡地域写日志。

2. 在日志服务控制台上，创建 Project A（位于上海地域）和 Project B（位于新加坡地域）。

3. 在日志服务控制台 Project A 和 Project B 下，分别创建机器组。

4. 在 ACK 上，设置 iLogtail/LoongCollector 的 ilogtail_config.json 文件，支持双地域写入。

iLogtail/LoongCollector 的 ilogtail_config.json 配置样例具体可以参考上文 ECS 中提供的样例。

a. 创建 configmap

b. 修改 logtail-ds/loongcollector-ds 的 deployment

• 将配置文件作为 configmap 挂载进 logtail-ds/loongcollector-ds

• 修改 ALIYUN_LOGTAIL_CONFIG，指向挂载后的文件路径

5. 重启 logtail-ds/loongcollector-ds

如何验证多地域采集成功

1. 观察 Project A 和 Project B 机器组心跳，确认两个机器组的心跳都是 OK 的，且机器是一致的

参考文档【13】

2. 观察两个地域 Project A/Logstore A 和 Project B/Logstore B 下的数据是否有上报

注意：采集状态监控建议使用 CloudLens for SLS【14】

• Logtail 整体状态【15】
• Logtail 文件采集监控【16】
• Logtail 异常监控【17】

六、实现跨地域容灾：配置采集双写

采集双写是一种高可用策略，指通过配置，让客户端上的 iLogtail/LoongCollector Agent 将同一份日志数据实时、并行地发送到位于不同地域（或同一地域不同可用区）的两个独立的阿里云日志服务 (SLS) Project 中。当某个日志服务 可用区发生故障时，您可以采用该方法，将日志采集快速切换到另一个可用的 SLS 地域。

首先您先参考第五章节，配置好多地域采集环境，然后将您的容灾 project 下的采集配置开启允许文件多次采集，即可实现日志被双写到容灾 project 下。

七、 实施建议与最佳实践总结

1. 评估先行：根据业务部署环境、日志量、实时性/稳定性要求、安全合规需求和成本预算，综合评估并选择最合适的网络链路方案。

2. 成本与性能权衡：没有万能方案，需在成本、性能、安全、复杂度之间找到平衡点。优先考虑同 Region 私网。

3. 监控与告警到位：利用 CloudLens 监控整体资源消耗；配置 SLS 告警监控写入成功率、延迟；监控 Agent 自身状态 (CPU, 内存, 错误日志，网络链路质量)。

4. 更可靠的 Agent（LoongCollector）：iLogtail/LoongCollector 本身具备高可靠性（缓存、重试），且 LoongCollector 相比 iLogtail 具备更高的可靠性（网络发送异常隔离等），目前 LoongCollector 正在发布灰度中。

5. LoongCollector 双写机制：通过将日志并行发送至多个目标，既能实现跨地域容灾（主目标故障时写入备用目标，避免数据丢失），也能支持平滑迁移（如在公网转私网等网络变更场景下，通过临时双写保障服务连续性，避免中断）。

6. 更多疑问：如有更多的疑问，可以工单咨询我们。

【1】管理传输加速

https://help.aliyun.com/zh/sls/user-guide/transmission-acceleration

【2】Logtail 网络类型，启动参数与配置文件

https://help.aliyun.com/zh/sls/user-guide/select-a-network-type

【3】什么是云企业网

https://help.aliyun.com/zh/cen/product-overview/what-is-cen

【4】什么是高速通道

https://help.aliyun.com/zh/express-connect/product-overview/what-is-express-connect/

【5】工单支持

https://selfservice.console.aliyun.com/ticket/category/sls/today?spm=a2c4g.86660.0.0.18564dadamoJnw

【6】查看 CloudLens 数据报表

https://help.aliyun.com/zh/sls/user-guide/view-data-reports-2

【7】使用 CloudLens for SLS 分析资源用量

https://help.aliyun.com/zh/sls/user-guide/use-cloudlens-for-sls-to-analyze-resource-usage

【8】查看 CloudLens for SLS 数据报表

https://help.aliyun.com/zh/sls/user-guide/view-data-reports-2

【9】原生插件：过滤处理

https://help.aliyun.com/zh/sls/user-guide/filtration-treatment?spm=a2c4g.11186623.help-menu-search-28958.d_0

【10】扩展插件：过滤日志

https://help.aliyun.com/zh/sls/user-guide/filter-logs?spm=a2c4g.11186623.help-menu-28958.d_2_1_1_2_7_15.94421c72xxV9yd

【11】基于 SPL 实现正则解析+过滤处理

https://help.aliyun.com/zh/sls/user-guide/use-spl-to-collect-text-logs?spm=a2c4g.11186623.help-menu-search-28958.d_1#7aaac3fc1bb1w

【12】【最佳实践】还在跨境传输数据？数据跨境合规治理实践—Logtail 数据本地化无损迁移方案

https://open.observability.cn/article/xdl26gztdaksogwz/

【13】机器组

https://help.aliyun.com/zh/sls/user-guide/machine-group-overview/?spm=a2c4g.28958.0.i1#section-ijx-mp1-ry

【14】CloudLens for SLS

https://help.aliyun.com/zh/sls/user-guide/cloudlens-for-sls/?spm=a2c4g.456864.0.0.43aa5328FzA7Vx

【15】Logtail 整体状态

https://help.aliyun.com/zh/sls/user-guide/view-data-reports-2?spm=a2c4g.425764.0.0.73992508OlDYuD#section-79i-58x-ako

【16】Logtail 文件采集监控

https://help.aliyun.com/zh/sls/user-guide/view-data-reports-2?spm=a2c4g.425764.0.0.73992508OlDYuD#section-dws-ox4-jnj

【17】Logtail 异常监控

https://help.aliyun.com/zh/sls/user-guide/view-data-reports-2?spm=a2c4g.425764.0.0.73992508OlDYuD#section-7br-4e0-ctu