Elasticsearch(三)聚合基本使用

基础概念

bucket

数据分组，一些数据按照某个字段进行bucket划分，这个字段值相同的数据放到一个bucket中。可以理解成Java中的Map<String, List>结构，类似于Mysql中的group by后的查询结果。

metric：

对一个数据分组执行的统计，比如计算最大值，最小值，平均值等 类似于Mysql中的max(),min(),avg()函数的值，都是在group by后使用的。

案例

以如下文档结构为例：

{"_index" : "zb_notice","_type" : "_doc","_id" : "4451224572914342308301065","_score" : 1.0,"_source" : {"_class" : "NoticeEntity","id" : "111","url" : "https://xxxxxx/purchaseNotice/view/111?","owner" : "河管养所","procurementName" : "工程建筑","procurementNameText" : "应急抢险配套工程建筑","intermediaryServiceMatters" : "无（属于非行政管理的中介服务项目采购）","investmentApprovalProject" : "是","code" : "789456","scale" : 3.167183E8,"scaleText" : "投资额（￥316,718,300.00元）","area" : "","requiredServices" : "工程建筑","typeCodes" : ["021"],"context" : "是一座具有灌溉 、供水 、排洪 、交通和挡潮蓄淡等多功能的大（2）型水闸工程，承担黄冈河下游 8.65 万亩农田的灌溉任务并","timeLimit" : "具体时限以合同条款约定为准。","amount" : 0.0,"amountText" : "暂不做评估与测算","amountDescription" : "","selectIntermediaryType" : "直接选取","isChooseIntermediary" : "否","isAvoidance" : "否","endTime" : "2023-09-04 09:30:00","startTime" : "2023-08-31","files" : [{"fileName" : "东溪水闸初设批复(1).pdf","url" : "/aa/bb/file/downloadfile/PjAttachment/123456"}]}
}

统计服务类型最多公告

GET zb_notice/_search
{"size": 0,"aggs": {"song_qty_by_language": {"terms": {"field": "requiredServices"}}}
}

语法解释：

• size:0 表示只要统计后的结果，原始数据不展现
• aggs：固定语法 ，聚合分析都要声明aggs
• song_qty_by_language：聚合的名称，可以随便写，建议规范命名
• terms：按什么字段进行分组
• field：具体的字段名称

响应结果如下：

{"took": 2,"timed_out": false,"_shards": {"total": 5,"successful": 5,"skipped": 0,"failed": 0},"hits": {"total": 5,"max_score": 0,"hits": []},"aggregations": {"song_qty_by_language": {"doc_count_error_upper_bound": 0,"sum_other_doc_count": 0,"buckets": [{"doc_count": 5}]}}
}

语法解释：

• hits: 由于请求时设置了size:0，hits就是空的
• aggregations：聚合查询的结果
• song_qty_by_language：请求时声明的名称
• buckets：根据指定字段查询后得到的数据分组集合，[]内的是每一个数据分组，其中key为每个bucket的对应指定字段的值，doc_count为统计的数量。

默认按doc_count降序排序。

按服务分类的平均服务价格

GET zb_notice/_search
{"size": 0,"aggs": {"lang": {"terms": {"field": "requiredServices"},"aggs": {"length_avg": {"avg": {"field": "amount"}}}}}
}

这里为两层aggs聚合查询，先按服务类型统计，得到数据分组，再在数据分组里算平均价格。

多个aggs嵌套语法也是如此，aggs代码块的位置即可。

统计最多服务费、最少服务费等的公告

最常用的统计：count，avg，max，min，sum，语法含义与mysql相同。

GET zb_notice/_search
{"size": 0,"aggs": {"color": {"terms": {"field": "requiredServices"},"aggs": {"length_avg": {"avg": {"field": "amount"}},"length_max": {"max": {"field": "amount"}},"length_min": {"min": {"field": "amount"}},"length_sum": {"sum": {"field": "amount"}}}}}
}

按上架日期分段统计服务类型数量

按月统计

date histogram与histogram语法类似，搭配date interval指定区间间隔 extended_bounds表示最大的时间范围。

复制代码GET zb_notice/_search
{"size": 0,"aggs": {"sales": {"date_histogram": {"field": "publishTime","interval": "month","format": "yyyy-MM-dd","min_doc_count": 0,"extended_bounds": {"min": "2023-01-01","max": "2023-12-31"}}}}
}

interval的值可以天、周、月、季度、年等。可以延伸一下

GET zb_notice/_search
{"size": 0,"aggs": {"sales": {"date_histogram": {"field": "publishTime","interval": "quarter","format": "yyyy-MM-dd","min_doc_count": 0,"extended_bounds": {"min": "2019-01-01","max": "2019-12-31"}},"aggs": {"lang_qty": {"terms": {"field": "requiredServices"},"aggs": {"like_sum": {"sum": {"field": "amount"}}}},"total" :{"sum": {"field": "amount"}}}}}
}

带上过滤条件

聚合查询可以和query搭配使用，相当于mysql中where与group by联合使用

查询条件

GET zb_notice/_search
{"size": 0,"query": {"match": {"requiredServices": "工程咨询"}},"aggs": {"sales": {"terms": {"field": "requiredServices"}}}
}

过滤条件

GET zb_notice/_search
{"size": 0,"query": {"constant_score": {"filter": {"term": {"requiredServices": "工程咨询"}}}},"aggs": {"sales": {"terms": {"field": "requiredServices"}}}
}