【Elasticsearch】 Composite Aggregation 详解

1.什么是 Composite Aggregation？

Composite Aggregation 是 Elasticsearch 中的一种特殊聚合方式，适用于需要分页展示的聚合结果。它与传统的聚合方式不同，采用了基于游标的分页模型。这种聚合方式可以高效地处理多级聚合中的所有桶，并支持分页功能。

2.基本结构

一个典型的 Composite Aggregation 查询如下：

```json

GET /your_index_name/_search

{

  "size": 0,

  "aggs": {

    "my_composite_agg": {

      "composite": {

        "size": 10,

        "sources": [

          {

            "field1": {

              "terms": {

                "field": "your_field_name1"

              }

            }

          },

          {

            "field2": {

              "terms": {

                "field": "your_field_name2"

              }

            }

          }

        ]

      }

    }

  }

}

```

在上述查询中：

• `sources`定义了按哪些字段分组，字段顺序决定了分组键（bucket key）的生成顺序。

• `size`定义每页的桶数量。

• 响应结果中的`after_key`用于获取下一页数据。

3.分页机制

Composite Aggregation 的分页机制通过`after`参数实现。每次查询返回指定数量的桶，并通过`after_key`提供下一页的游标。这种方式可以确保分页查询中数据无重复、无遗漏。

例如：

```json

GET /your_index_name/_search

{

  "size": 0,

  "aggs": {

    "my_composite_agg": {

      "composite": {

        "size": 10,

        "sources": [

          {

            "field1": {

              "terms": {

                "field": "your_field_name1"

              }

            }

          }

        ],

        "after": {

          "field1": "last_value_of_field1"

        }

      }

    }

  }

}

``

4.排序和方向

Composite Aggregation 支持对每个值源进行排序，可以通过设置`order`参数为`asc`（升序）或`desc`（降序）。

```json

GET /your_index_name/_search

{

  "size": 0,

  "aggs": {

    "my_composite_agg": {

      "composite": {

        "size": 10,

        "sources": [

          {

            "field1": {

              "terms": {

                "field": "your_field_name1",

                "order": "desc"

              }

            }

          },

          {

            "field2": {

              "terms": {

                "field": "your_field_name2",

                "order": "asc"

              }

            }

          }

        ]

      }

    }

  }

}

```

5.处理缺失值

默认情况下，缺少指定字段值的文档会被忽略。通过设置`missing_bucket`参数为`true`，可以将这些文档包含在响应中。

```json

GET /your_index_name/_search

{

  "size": 0,

  "aggs": {

    "my_composite_agg": {

      "composite": {

        "size": 10,

        "sources": [

          {

            "field1": {

              "terms": {

                "field": "your_field_name1",

                "missing_bucket": true

              }

            }

          }

        ]

      }

    }

  }

}

```

6.性能优化

Composite Aggregation 的设计特别适合大规模数据的聚合和分页，是传统`from + size`分页方法的高效替代方案。为了进一步优化性能，建议在索引中设置索引排序，使其与复合聚合中的源顺序部分或完全匹配。

7.应用场景

Composite Aggregation 适用于以下场景：

• 需要分页展示聚合结果。

• 处理大规模数据时，需要高效分页和排序。

• 需要对多个字段进行分组和聚合。

通过上述特性，Composite Aggregation 提供了一种强大且灵活的方式来处理复杂的聚合需求，特别是在需要分页和排序的场景中表现出色。

好的，下面我将通过一个具体的例子来展示如何使用 Composite Aggregation 来实现分页聚合查询。假设我们有一个电商数据集，其中包含商品的销售记录，我们希望按日期和商品类别进行分组，并计算每个分组的销售总额。

数据示例

假设我们的索引名为`sales`，其中的文档如下：

```json

{

  "timestamp": "2024-01-01T00:00:00Z",

  "product": "T-shirt",

  "category": "Clothing",

  "price": 20

}

 

{

  "timestamp": "2024-01-01T00:00:00Z",

  "product": "Jeans",

  "category": "Clothing",

  "price": 40

}

 

{

  "timestamp": "2024-01-02T00:00:00Z",

  "product": "T-shirt",

  "category": "Clothing",

  "price": 20

}

 

{

  "timestamp": "2024-01-02T00:00:00Z",

  "product": "Laptop",

  "category": "Electronics",

  "price": 1000

}

```

查询目标

我们希望按日期和商品类别进行分组，并计算每个分组的销售总额。同时，我们希望分页显示结果，每页显示 2 个分组。

第一页查询

首先，我们查询第一页的结果：

```json

GET /sales/_search

{

  "size": 0,

  "aggs": {

    "sales_by_date_and_category": {

      "composite": {

        "size": 2,

        "sources": [

          {

            "date": {

              "date_histogram": {

                "field": "timestamp",

                "calendar_interval": "1d"

              }

            }

          },

          {

            "category": {

              "terms": {

                "field": "category"

              }

            }

          }

        ]

      },

      "aggregations": {

        "total_sales": {

          "sum": {

            "field": "price"

          }

        }

      }

    }

  }

}

```

解释

• `size`:每页返回的分组数量。

• `sources`:定义了两个分组字段：

• `date`:按日期分组，每天一个桶。

• `category`:按商品类别分组。

• `aggregations`:在每个复合桶中计算销售总额。

查询结果

返回的结果如下：

```json

{

  "aggregations": {

    "sales_by_date_and_category": {

      "after_key": {

        "date": 1704115200000,

        "category": "Clothing"

      },

      "buckets": [

        {

          "key": {

            "date": 1704028800000,

            "category": "Clothing"

          },

          "doc_count": 2,

          "total_sales": {

            "value": 60

          }

        },

        {

          "key": {

            "date": 1704115200000,

            "category": "Clothing"

          },

          "doc_count": 1,

          "total_sales": {

            "value": 20

          }

        }

      ]

    }

  }

}

```

解释

• `buckets`:包含两个分组：

• 第一个分组：`2024-01-01`的`Clothing`类别，销售总额为 60。

• 第二个分组：`2024-01-02`的`Clothing`类别，销售总额为 20。

• `after_key`:提供了下一页的游标。

第二页查询

使用`after_key`查询下一页的结果：

```json

GET /sales/_search

{

  "size": 0,

  "aggs": {

    "sales_by_date_and_category": {

      "composite": {

        "size": 2,

        "sources": [

          {

            "date": {

              "date_histogram": {

                "field": "timestamp",

                "calendar_interval": "1d"

              }

            }

          },

          {

            "category": {

              "terms": {

                "field": "category"

              }

            }

          }

        ],

        "after": {

          "date": 1704115200000,

          "category": "Clothing"

        }

      },

      "aggregations": {

        "total_sales": {

          "sum": {

            "field": "price"

          }

        }

      }

    }

  }

}

``

查询结果

返回的结果如下：

```json

{

  "aggregations": {

    "sales_by_date_and_category": {

      "after_key": {

        "date": 1704115200000,

        "category": "Electronics"

      },

      "buckets": [

        {

          "key": {

            "date": 1704115200000,

            "category": "Electronics"

          },

          "doc_count": 1,

          "total_sales": {

            "value": 1000

          }

        }

      ]

    }

  }

}

``

解释

• `buckets`:包含一个分组：

• `2024-01-02`的`Electronics`类别，销售总额为 1000。

• `after_key`:提供了下一页的游标。

通过这种方式，我们可以高效地分页查询聚合结果，而不会遗漏或重复任何数据。

好的，接下来我们继续探讨如何处理更多分页结果，以及如何优化和扩展这个查询。

继续分页查询

假设我们继续查询下一页，使用上一页返回的`after_key`：

```json

GET /sales/_search

{

  "size": 0,

  "aggs": {

    "sales_by_date_and_category": {

      "composite": {

        "size": 2,

        "sources": [

          {

            "date": {

              "date_histogram": {

                "field": "timestamp",

                "calendar_interval": "1d"

              }

            }

          },

          {

            "category": {

              "terms": {

                "field": "category"

              }

            }

          }

        ],

        "after": {

          "date": 1704115200000,

          "category": "Electronics"

        }

      },

      "aggregations": {

        "total_sales": {

          "sum": {

            "field": "price"

          }

        }

      }

    }

  }

}

```

查询结果

如果返回结果为空，说明已经到达最后一页：

```json

{

  "aggregations": {

    "sales_by_date_and_category": {

      "buckets": []

    }

  }

}

``

这表明所有分组已经查询完毕。

性能优化

为了进一步优化性能，可以考虑以下几点：

1. 设置合理的`size`参数：根据实际需求设置合适的分页大小，避免过大或过小。

2. 索引排序：如果数据量很大，可以在索引创建时设置索引排序，使其与聚合的字段顺序一致。例如：

```json

   PUT /sales

   {

     "settings": {

       "index": {

         "sort.field": ["timestamp", "category"],

         "sort.order": ["asc", "asc"]

       }

     }

   }

   ```

3. 禁用`track_total_hits`：在分页查询中，通常不需要统计总命中数，可以通过设置`track_total_hits: false`来节省资源。

扩展应用

Composite Aggregation 不仅可以用于分页查询，还可以结合其他聚合功能，例如：

• 计算平均值：在每个分组中计算平均销售额。

```json

  "aggregations": {

    "average_sales": {

      "avg": {

        "field": "price"

      }

    }

  }

  ```

• 多级分组：可以增加更多分组字段，例如按地区分组。

```json

  "sources": [

    {

      "date": {

        "date_histogram": {

          "field": "timestamp",

          "calendar_interval": "1d"

        }

      }

    },

    {

      "category": {

        "terms": {

          "field": "category"

        }

      }

    },

    {

      "region": {

        "terms": {

          "field": "region"

        }

      }

    }

  ]

  ```

总结

通过 Composite Aggregation，我们可以高效地实现分页聚合查询，避免了传统分页方法（如`from + size`）在大规模数据下的性能瓶颈。同时，它还支持灵活的排序、多级分组和子聚合功能，能够满足复杂的业务需求。

 

以下是使用`composite aggregation`结合`terms`、`histogram`、`date_histogram`和`geotile_grid`的示例：

1.`terms`类型的`composite aggregation`

以下示例对`authors`索引中的`author_name`字段进行`terms`聚合：

```json

GET authors/_search

{

  "size": 0,

  "aggs": {

    "our_buckets": {

      "composite": {

        "sources": [

          { "authors": { "terms": { "field": "author_name" } } }

        ]

      }

    }

  }

}

```

2.`histogram`类型的`composite aggregation`

以下示例对`authors`索引中的`books_number`字段进行`histogram`聚合，区间设置为5：

```json

GET authors/_search

{

  "size": 0,

  "aggs": {

    "our_buckets": {

      "composite": {

        "sources": [

          { "booksnum": { "histogram": { "field": "books_number", "interval": 5 } } }

        ]

      }

    }

  }

}

```

3.`date_histogram`类型的`composite aggregation`

以下示例对`books`索引中的`publish_date`字段进行`date_histogram`聚合，时间间隔设置为一周：

```json

GET books/_search

{

  "size": 0,

  "aggs": {

    "our_buckets": {

      "composite": {

        "sources": [

          { "week": { "date_histogram": { "field": "publish_date", "calendar_interval": "1w" } } }

        ]

      }

    }

  }

}

```

4.`geotile_grid`类型的`composite aggregation`

以下示例对`authors`索引中的`authors_location`字段进行`geotile_grid`聚合，精度设置为6：

```json

GET authors/_search

{

  "size": 0,

  "aggs": {

    "our_buckets": {

      "composite": {

        "sources": [

          { "authorsloc": { "geotile_grid": { "field": "authors_location", "precision": 6 } } }

        ]

      }

    }

  }

}

```

5.组合使用多种聚合类型

以下示例同时使用`date_histogram`和`terms`聚合：

```json

GET books/_search

{

  "size": 0,

  "aggs": {

    "our_buckets": {

      "composite": {

        "sources": [

          { "week": { "date_histogram": { "field": "publish_date", "calendar_interval": "1w" } } },

          { "authors": { "terms": { "field": "author_name" } } }

        ]

      }

    }

  }

}

```

这些示例展示了如何在`composite aggregation`中使用不同类型的聚合，以满足不同的数据分析需求。