SIEM之王，能否克服创新者的窘境？

《网安面试指南》http://mp.weixin.qq.com/s?__biz=MzkwNjY1Mzc0Nw==&mid=2247484339&idx=1&sn=356300f169de74e7a778b04bfbbbd0ab&chksm=c0e47aeff793f3f9a5f7abcfa57695e8944e52bca2de2c7a3eb1aecb3c1e6b9cb6abe509d51f&scene=21#wechat_redirect

《Java代码审计》http://mp.weixin.qq.com/s?__biz=MzkwNjY1Mzc0Nw==&mid=2247484219&idx=1&sn=73564e316a4c9794019f15dd6b3ba9f6&chksm=c0e47a67f793f371e9f6a4fbc06e7929cb1480b7320fae34c32563307df3a28aca49d1a4addd&scene=21#wechat_redirect

《Web安全》http://mp.weixin.qq.com/s?__biz=MzkwNjY1Mzc0Nw==&mid=2247484238&idx=1&sn=ca66551c31e37b8d726f151265fc9211&chksm=c0e47a12f793f3049fefde6e9ebe9ec4e2c7626b8594511bd314783719c216bd9929962a71e6&scene=21#wechat_redirect

2007年，Beyoncé凭借热门歌曲《不可替代》荣登榜首，黑莓手机占据了美国智能手机市场40%的份额。不到五年，碧后依然叱咤风云，但黑莓却几乎全军覆没，市场份额不足1%。创新者的窘境使黑莓不再不可替代。SIEM市场的未来取决于Splunk更像Beyoncé还是黑莓。

制胜之道

IT团队以及后来的安全团队都爱上了Splunk快速灵活的搜索引擎。本世纪初，该公司开创了一种集中分析和调查定位大量事件日志的方法。Splunk使处理大多数机器数据的复杂结构变得更加容易。

该平台成功的核心是其创新的索引技术。与需要输入结构化数据的传统数据库不同，Splunk可处理各种非结构化数据。这种灵活性使企业能够在不需要预先模式定义的情况下采集日志、指标和其他机器数据。这在幕后是什么样子的？

在采集过程中，Splunk会将数据分解为单个事件，并以索引格式存储。该索引不是一个简单的数据库表。它是一种高度优化的结构，允许以一定的延迟进行查找，从而支持对网站中断和应用程序崩溃等IT问题进行实时故障排查。将原始数据与元数据（如时间戳、源类型和主机信息）一起存储，有利于快速搜索。

对IT团队的吸引力自然地延伸到了安全运营领域，在这些领域，ArcSight等上一代安全信息和事件管理（SIEM）解决方案被证明既缓慢又繁琐。成千上万的网络安全组织采用了Splunk，收入也随之增加。

Splunk早年的收入增长(来源：Splunk.com)

更多日志数据，更多问题

Splunk成为SIEM平台的主导者时，大多数企业的基础设施都在数据中心内。当客户转向云计算时，Splunk努力调整其架构和定价模式。当云环境产生的日志数据越来越多时，客户开始越来越担心。

虽然我无法引用这一具体数据的来源，但我的经验是，向云的转变导致典型环境的日志数据量增加了3倍。这可以用基础设施即服务（IaaS）的高度动态性来解释。如果操作得当，云计算基础架构会根据用户需求的变化，不断增加和减少新的虚拟机、集群和整个网络。云中的每一次变化都会被记录下来，因此安全团队需要收集和分析数TB的额外机器数据。

Splunk为支持快速搜索而编制日志数据索引的方法一直是成本问题的根源。这不仅仅是传闻。在SiliconAngle于2023年报告的客户支出数据中，可以看到客户支出势头呈逐年下降趋势。几年前，47%的客户表示计划增加Splunk支出，而在报告编制完成时，这一数字已降至37%。在民意调查数据中，Splunk仍占主导地位（下图中的黄线），但支出速度却大幅下降（蓝线）。计划减少或取消Splunk支出的客户数量增加了 50%以上。

这不应被理解为仅仅是一个定价问题。正如Cribl首席执行官Clint Sharp在"理解Splunk的新授权许可模型：重要的不是定价模式，而是价格标签"中解释道。

提供更多型号不应与降低价格混为一谈。对于大多数客户来说，改变模式最多只能带来微不足道的好处......最有可能降低查询工作量的使用案例是将Splunk用作在线存档或主要用作调查工具，而没有太多计划工作量的情况。此外，如果您的用户并不特别在意性能，那么您可能会摄取更多的数据，但使用这种许可证模式的系统性能会差很多。

换句话说，Splunk内部架构的历史遗留问题使其很难在不做出痛苦权衡的情况下大幅节约成本。这要追溯到将计算和存储紧密联系在一起的索引策略。如果不从根本上重新设计数据的收集、存储和搜索方式，成本问题自然会随着不可阻挡的云转移和日志量的扩大而增加。最近的一项客户调查证实了这一点："我们不喜欢Splunk的定价，但我们感觉被锁定了"。

涉足数据湖

日志数据量爆炸式增长带来的挑战并没有被忽视。在传输过程中丢弃垃圾日志是一种快速瘦身的方法，但在安全团队抓狂之前，丢弃的数据量是有限的。使用廉价的云存储是另一种具有显著优势的方法。

据报道，Splunk云存储的成本为每月每未压缩TB 100-150美元（官方数据不详）。云原生选项（如Snowflake或S3 Parquet表）每月每压缩TB的成本为23美元。如果保守地将日志数据压缩为8分之一，那么数据湖中每收集1 TB的实际存储成本将低于5美元/月，这只是Splunk成本的一小部分。

Splunk并未忽视云原生数据湖为日志数据带来的潜在好处。五年前，该公司推出了支持外部数据湖和Splunk索引的Data Fabric Search (DFS)，旨在提供跨存储选项的统一搜索体验。

随后，在2021年，Splunk推出了一款名为"亚马逊S3联邦搜索"（Federated Search for Amazon S3）的独立数据湖产品。如果操作得当，这本可以为那些希望在存储成本和搜索性能之间进行优化的客户实现重新平衡。有了联邦搜索，Splunk用户就可以针对廉价云存储中的数据进行搜索，而无需预先支付索引费用。在最新的客户调查中，价格问题显然仍然普遍存在，为什么这项功能没有解决这个问题呢？

第一个问题是性能。Splunk的官方文档警告说："与对采集数据进行索引的Splunk搜索相比，尝试使用此功能进行实时搜索的客户将感受到较慢的性能和较低的搜索功能。"速度慢多少取决于多种因素，但与Snowflake等替代方案不同的是，在必要时进行扩展非常麻烦，而且需要手动操作。无法提供始终如一的适当搜索体验的方法将很难获得广泛采用。

第二个问题是可预测性。Splunk为联邦搜索增加了一个额外的成本组件，该组件根据查询数据的多少来计算。文档指出："客户需要获得额外的许可，才能启用针对Amazon S3的联邦搜索。该许可基于"数据扫描单位"，被描述为使用针对Amazon S3的联邦搜索的所有搜索在客户的Amazon S3存储桶中扫描的数据总量。此许可SKU独立于Splunk Virtual Compute (SVC)和客户可能已获得的任何基于Ingest的许可。"要预测SOC需要扫描多少数据是一项挑战，检测工程师可能不愿意为全天扫描日志数据按字节付费。企业可能会计算出100个已保存搜索检测规则的成本。现在，对于他们开发的每一条新规则，数据扫描单位的成本是多少？

最后，这种方法可能会降低存储成本，但总体而言会变得更加昂贵。正如Splunk文档所警告的那样，"尝试使用此功能进行高频搜索的客户将很可能产生比在Splunk平台中进行本机采集和搜索更高的成本 "。正如文档中所述，"在一年的时间里，DSU以'用完即丢'的模式运行"，DSU模式使人们对成本更加焦虑。难怪大多数Splunk客户都无法通过联邦搜索解决成本问题。

需要注意的迹象

Splunk中联邦搜索的缺点不一定会一直存在。在Splunk部署上投入了多年心血的安全团队可能想知道他们的小狗能否学会新的技巧。如果您是这样的人，那么在即将发布的产品和价格公告中，您应该注意些什么呢？

值得注意的投资领域包括垃圾数据清理，它促使许多大客户从Splunk上游采用 Cribl。改进Ingest Actions的可用性并缩小功能差距将表明，Splunk正在认真解决其不断攀升的采集成本问题。

更重要的是，要注意联邦搜索不会主动打击用户的积极性。取消数据扫描单元作为已经很高的虚拟计算成本之外的一项负担，将是Splunk认真对待数据湖应用的一个标志。如果不完全取消数据扫描单元，也可以对其进行修改。成功的云数据平台（如 Snowflake、BigQuery和Databricks）都提供基于时间的计算定价，因为它比基于容量的定价更具优势。这些优势包括可预测性（只要并行运行，新的检测就不会增加成本）和可负担性（速度的提高缩短了运行时间，从而降低了成本）。按扫描字节数收费只适用于有限、不频繁的搜索用例。

思科为Splunk的产品和客户群支付了数十亿美元。新东家能否克服创新者的困境，威胁到Splunk在SIEM市场的地位？新的竞争者们正在大力发展能够有效利用云的成本和规模效率的架构。Splunk的未来取决于其能否接受灵活的数据存储选项和客户数据所有权。