Clickhouse中bitmap介绍以及计算留存Demo

前言

参考了腾迅的大数据分析-计算留存，能够根据用户自定义属性，以及玩家行为进行留存的计算。最初计算留存的方法使用的是clickhosue自带的rentention函数，使用这个函数不用关注太多细节，只需要把留存条件放入函数即可。但是这个如果需要关联用户属性，就比较麻烦了。因此参考了bitmap实现自定义留存。这里先介绍几个bitmap相关的函数。

测试

1亿条数据，去重计算出9千多万整形数值。

• 非精确去重函数：uniq、uniqHLL12、uniqCombined
• 精确去重函数：uniqExact、groupBitmap

函数	时长（秒）	去重后个数	误差个数	误差率
uniq(user_id)	0.324	98517062	326237	0.33%
uniqHLL12(user_id)	0.967	99480495	-637196	-0.64%
uniqCombined(user_id)	0.957	98600278	243021	0.25%
uniqExact(user_id)	8.259	98843299	0%	0%</