【Elasticsearch】分桶聚合功能概述

这些聚合功能可以根据它们的作用和应用场景分为几大类，以下是分类后的结果：

1.基础聚合（Basic Aggregations）

• Terms（字段聚合）

根据字段值对数据进行分组并统计。

例子：按产品类别统计销售数量。

• Histogram（直方图）

将数值数据分桶并统计每个桶内的数据数量。

例子：按年龄区间统计用户数量。

• Date histogram（日期直方图）

按固定时间间隔对日期数据进行分桶并统计。

例子：按月统计用户注册数量。

• Range（范围聚合）

根据数值范围对数据进行分桶并统计。

例子：按价格区间统计商品数量。

• Missing（缺失值）

统计缺失字段的数据。

例子：统计用户未填写地址的数量。

• Global（全局聚合）

对整个数据集进行全局统计。

例子：计算总销售额。

2.时间序列聚合（Time Series Aggregations）

• Date histogram（日期直方图）

按固定时间间隔对日期数据进行分桶并统计。

例子：按月统计用户注册数量。

• Auto-interval date histogram（自动间隔日期直方图）

根据数据的时间分布自动划分时间间隔，并生成直方图。

例子：分析网站访问日志，自动按小时或天生成访问量直方图。

• Time series（时间序列）

按时间顺序对数据进行聚合和分析，常用于趋势分析和预测。

例子：分析股票价格的时间序列变化。

3.地理聚合（Geospatial Aggregations）

• Geo-distance（地理距离）

根据地理坐标计算距离。

例子：计算用户与最近的门店之间的距离。

• Geohash grid（Geohash网格）

使用Geohash算法将地理区域划分为网格，并统计网格内的数据。

例子：统计不同地区的用户分布。

• Geohex grid（Geohex网格）

使用Geohex算法划分地理区域并统计数据。

例子：分析城市中不同区域的交通流量。

• Geotile grid（地理瓦片网格）

使用地理瓦片技术划分区域并统计数据。

例子：分析全球范围内的气象数据分布。

4.文本和分类聚合（Text and Categorization Aggregations）

• Categorize text（文本分类）

将文本数据归类到预定义的类别中。

例子：将新闻文章分类为体育、财经、娱乐等。

• Significant terms（显著项聚合）

找出数据中显著的项，通常用于文本分析，识别重要或异常的关键词。

例子：分析用户评论，找出显著的负面或正面词汇。

• Significant text（显著文本聚合）

找出文本数据中显著的文本片段，通常用于情感分析或异常检测。

例子：分析产品评论，找出显著的负面或正面评论片段。

5.采样和过滤聚合（Sampling and Filtering Aggregations）

• Filter（过滤器）

根据条件过滤数据。

例子：过滤出价格大于100元的商品。

• Filters（多过滤器）

使用多个过滤条件对数据进行分类。

例子：根据价格和品牌分类商品。

• Sampler（采样器）

从数据集中抽取样本进行聚合，用于减少计算量，提高性能。

例子：从大量日志数据中抽取10%的样本进行分析。

• Random sampler（随机采样器）

从数据集中随机抽取样本。

例子：从大量用户中随机抽取100个用户。

• Diversified sampler（多样化采样器）

从数据集中随机抽取多样化样本。

例子：从大量商品中随机抽取不同类别的样本。

6.嵌套和复杂结构聚合（Nested and Complex Structure Aggregations）

• Children（子聚合）

在嵌套文档结构中，对子文档进行聚合操作。

例子：在电商数据中，对订单中的商品明细进行聚合。

• Parent（父聚合）

在嵌套文档结构中，对父文档进行聚合操作。

例子：统计每个订单的总金额。

• Reverse nested（反向嵌套聚合）

在嵌套文档结构中，从子文档聚合到父文档。

例子：统计每个商品所属订单的数量。

• Nested（嵌套聚合）

在嵌套文档结构中进行聚合操作。

例子：在多级评论结构中统计评论数量。

• Composite（复合聚合）

结合多个聚合条件，生成更复杂的聚合结果。

例子：按地区和产品类别统计销售额。

7.统计和分析聚合（Statistical and Analytical Aggregations）

• Frequent item sets（频繁项集）

找出数据中频繁出现的项集。

例子：在购物篮中找出频繁购买的商品组合。

• Rare terms（稀有项聚合）

找出数据中出现频率较低的项。

例子：找出罕见的用户行为。

• Variable width histogram（可变宽度直方图）

根据数据分布动态调整直方图的桶宽度，适合处理数据分布不均匀的情况。

例子：分析用户收入分布，动态调整桶宽度以更好地展示数据。

• Subtleties of bucketing range fields（范围字段分桶的微妙之处）

在对范围字段进行分桶时需要注意的细节，例如如何处理边界值、如何选择合适的桶宽度等。

例子：在按价格区间分桶时，需要考虑是否包含边界值。

8.网络和IP聚合（Network and IP Aggregations）

• IP prefix（IP前缀）

根据IP地址的前缀进行聚合。

例子：按IP段统计访问来源。

• IP range（IP范围）

统计特定IP范围内的数据。

例子：统计来自某个IP段的流量。

---

通过这样的分类，可以更清晰地理解每种聚合功能的用途和适用场景，便于在实际数据分析中选择合适的工具。

按照聚合功能是否涉及单个桶（Single Bucket）或多个桶（Multi-Bucket）进行分类，可以将这些聚合功能分为两大类。单桶聚合主要用于对整个数据集或特定子集进行全局统计，而多桶聚合则用于将数据划分到多个桶中进行分组统计。

1.单桶聚合（Single Bucket Aggregations）
单桶聚合通常用于对整个数据集或特定子集进行全局统计，不涉及将数据划分到多个桶中。

1.1 Global（全局聚合）

• 作用：对整个数据集进行全局统计，不考虑数据的分组或分桶。

• 例子：计算总销售额。

• 响应：返回整个数据集的总销售额。

1.2 Missing（缺失值聚合）

• 作用：统计缺失字段的数据。

• 例子：统计用户未填写地址的数量。

• 响应：返回缺失地址的用户数量。

1.3 Filter（过滤器聚合）

• 作用：根据条件过滤数据后进行统计。

• 例子：过滤出价格大于100元的商品数量。

• 响应：返回符合条件的商品数量。

1.4 Sampler（采样器聚合）

• 作用：从数据集中抽取样本进行聚合。

• 例子：从大量日志数据中抽取10%的样本进行分析。

• 响应：返回抽取样本的聚合结果。

1.5 Reverse Nested（反向嵌套聚合）

• 作用：在嵌套文档结构中，从子文档聚合到父文档。

• 例子：统计每个商品所属订单的数量。

• 响应：返回每个商品所属订单的总数。

2.多桶聚合（Multi-Bucket Aggregations）
多桶聚合用于将数据划分到多个桶中进行分组统计，每个桶代表一个特定的分组条件。

2.1 Terms（字段聚合）

• 作用：根据字段值对数据进行分组并统计。

• 例子：按产品类别统计销售数量。

• 响应：返回每个产品类别的销售数量，例如“电子产品：100件，服装：200件”。

2.2 Histogram（直方图）

• 作用：将数值数据分桶并统计每个桶内的数据数量。

• 例子：按年龄区间统计用户数量。

• 响应：显示每个年龄区间的用户数量。

2.3 Date Histogram（日期直方图）

• 作用：按固定时间间隔对日期数据进行分桶并统计。

• 例子：按月统计用户注册数量。

• 响应：显示每月注册用户数的变化趋势。

2.4 Range（范围聚合）

• 作用：根据数值范围对数据进行分桶并统计。

• 例子：按价格区间统计商品数量。

• 响应：显示每个价格区间的商品数量。

2.5 Date Range（日期范围聚合）

• 作用：统计特定日期范围内的数据。

• 例子：统计2024年1月1日至2024年12月31日内的订单数量。

• 响应：返回该日期范围内的订单总数。

2.6 Geo-Distance（地理距离聚合）

• 作用：根据地理坐标计算距离并分桶。

• 例子：计算用户与最近的门店之间的距离。

• 响应：返回距离最近的门店及其距离。

2.7 Geohash Grid（Geohash网格聚合）

• 作用：使用Geohash算法将地理区域划分为网格，并统计网格内的数据。

• 例子：统计不同地区的用户分布。

• 响应：显示每个网格内的用户数量。

2.8 Geohex Grid（Geohex网格聚合）

• 作用：使用Geohex算法划分地理区域并统计数据。

• 例子：分析城市中不同区域的交通流量。

• 响应：显示每个区域的流量分布。

2.9 Geotile Grid（地理瓦片网格聚合）

• 作用：使用地理瓦片技术划分区域并统计数据。

• 例子：分析全球范围内的气象数据分布。

• 响应：显示每个瓦片区域的气象数据。

2.10 IP Range（IP范围聚合）

• 作用：统计特定IP范围内的数据。

• 例子：统计来自某个IP段的流量。

• 响应：返回该IP范围内的流量数据。

2.11 Multi Terms（多字段聚合）

• 作用：根据多个字段进行分组并统计。

• 例子：按国家和城市统计用户数量。

• 响应：显示每个国家和城市的用户数量。

2.12 Composite（复合聚合）

• 作用：结合多个聚合条件，生成更复杂的聚合结果。

• 例子：按地区和产品类别统计销售额。

• 响应：显示每个地区不同产品的销售额。

2.13 Significant Terms（显著项聚合）

• 作用：找出数据中显著的项，通常用于文本分析。

• 例子：分析用户评论，找出显著的负面或正面词汇。

• 响应：返回显著的关键词及其重要性评分。

2.14 Significant Text（显著文本聚合）

• 作用：找出文本数据中显著的文本片段。

• 例子：分析产品评论，找出显著的负面或正面评论片段。

• 响应：返回显著的文本片段及其重要性评分。

2.15 Variable Width Histogram（可变宽度直方图）

• 作用：根据数据分布动态调整直方图的桶宽度。

• 例子：分析用户收入分布，动态调整桶宽度以更好地展示数据。

• 响应：显示更合理的收入分布直方图。

2.16 Time Series（时间序列聚合）

• 作用：按时间顺序对数据进行聚合和分析。

• 例子：分析股票价格的时间序列变化。

• 响应：返回股票价格随时间的变化趋势。

2.17 Auto-Interval Date Histogram（自动间隔日期直方图）

• 作用：根据数据的时间分布自动划分时间间隔，并生成直方图。

• 例子：分析网站访问日志，自动按小时或天生成访问量直方图。

• 响应：显示每天的访问量峰值和低谷。

2.18 Frequent Item Sets（频繁项集聚合）

• 作用：找出数据中频繁出现的项集。

• 例子：在购物篮中找出频繁购买的商品组合。

• 响应：发现“牛奶+面包”是常见的购买组合。

2.19 Rare Terms（稀有项聚合）

• 作用：找出数据中出现频率较低的项。

• 例子：找出罕见的用户行为。

• 响应：返回出现次数较少的行为类型。

2.20 Diversified Sampler（多样化采样器）

• 作用：从数据集中随机抽取多样化样本。

• 例子：从大量商品中随机抽取不同类别的样本。

• 响应：返回包含不同类别商品的样本集合。

2.21 Random Sampler（随机采样器）

• 作用：从数据集中随机抽取样本。

• 例子：从大量用户中随机抽取100个用户。

• 响应：返回随机抽取的用户样本。

2.22 Nested（嵌套聚合）

• 作用：在嵌套文档结构中进行聚合操作。

• 例子：在多级评论结构中统计评论数量。

• 响应：返回每个顶级评论下的子评论数量。

2.23 Children（子聚合）

• 作用：在嵌套文档结构中，对子文档进行聚合操作。

• 例子：在电商数据中，对订单中的商品明细进行聚合。

• 响应：统计某个订单中不同商品的数量。

2.24 Parent（父聚合）

• 作用：在嵌套文档结构中，对父文档进行聚合操作。

• 例子：统计每个订单的总金额。

• 响应：返回每个订单的金额总和。

2.25 Categorize Text（文本分类聚合）

• 作用：将文本数据归类到预定义的类别中。

• 例子：将新闻文章分类为体育、财经、娱乐等。

• 响应：文本“NBA总决赛”被分类到“体育”类别。

---

总结

• 单桶聚合：主要用于全局统计，不涉及分组，适合对整个数据集或特定子集进行简单统计。

• 多桶聚合：用于将数据划分到多个桶中进行分组统计，适合对数据进行更细粒度的分析，例如按时间、数值范围或类别进行分组。