ClickHouse AST is too big 报错问题处理记录

问题描述

项目中统计报表的查询出现 AST is too big 问题，报错信息如下：

问题分析

报错信息显示 AST is too big。
AST 表示查询语法树中的最大元素数。 如果超出，则抛出异常。 默认情况下是10,000，项目上配置了 50000，但还是不够用。

解决方案

1、修改系统配置

在 user.xml 配置文件中，添加如下配置

<max_ast_elements>10000000</max_ast_elements>
<max_expanded_ast_elements>10000000</max_expanded_ast_elements>

2、修改业务逻辑

查询过长的话，查询性能也会很差。相比于修改系统配置，修改业务代码更优。
因为查询SQL中拼接的条件太多，导致查询SQL过长，所以通过将查询条件拆分成多段，分段查询，减少查询条件的同时也可以缩短查询SQL，既可以防止查询SQL过长，也可以提升查询性能。最后如果觉得分段后遍历查询响应时间较长的话，可以通过线程池使用多线程来减少响应耗时。