【IT研发实用Skill】clickhouse-io 技能

ClickHouse数据库模式、查询优化、分析和数据工程最佳实践,适用于高性能分析工作负载。技能概述clickhouse-io 技能提供了ClickHouse列式数据库的专门开发模式和最佳实践。ClickHouse是一个面向列的数据库管理系统(DBMS),专为在线分析处理(OLAP)而优化,特别适合处理大规模数据集的快速分析查询。下载地址:https://github.com/affaan-m/everything-claude-code/tree/main/skills主要功能表设计模式: MergeTree、ReplacingMergeTree、AggregatingMergeTree等引擎使用查询优化: 高效过滤、聚合函数、窗口函数优化数据插入: 批量插入、流式插入最佳实践分区策略: 数据分区和索引设计实时分析: 高性能实时数据处理数据压缩: 列式存储和压缩优化触发条件在以下情况下应该调用此技能:设计ClickHouse数据库表结构优化分析查询性能实现大规模数据聚合和统计构建实时分析系统处理时序数据和日志分析优化数据插入和导入流程使用场景场景1: 构建分析仪表板当需要为业务指标构建实时分析仪表板时,使用此技能提供的聚合模式和查询优化技术。场景2: 日志数据分析当需要处理和分析大量日志数据时,使用MergeTree引擎和分区策略实现高效查询。场景3: 实时指标计算当需要实时计算业务指标时,使用AggregatingMergeTree实现预聚合和快速查询。处理过程1. 表设计阶段根据数据特性和查询需求选择合适的表引擎,设计分区键和排序键。CREATE TABLE markets_analytics (date Date,market_id String,market_name String,volume UInt64,trades UInt32,unique_traders UInt32,avg_trade_size Float64,created_at DateTime) ENGINE MergeTree()PARTITION BY toYYYYMM(date)ORDER BY (date, market_id)SETTINGS index_granularity 8192;2. 查询优化使用索引列优先过滤、ClickHouse特定的聚合函数、窗口函数等技术优化查询性能。3. 数据插入使用批量插入代替单条插入,实现高效的数据写入。4. 预聚合对于频繁查询的聚合数据,使用AggregatingMergeTree实现物化视图。输入要求使用此技能时,用户需要提供:数据规模和增长预期查询模式和性能要求数据更新和删除需求分区和索引策略偏好实时性要求输出说明技能将提供:优化的表结构设计SQL高性能查询语句示例数据插入最佳实践代码分区和索引策略建议聚合函数使用指南性能优化建议使用示例示例1: 高效过滤查询-- ✅ GOOD: 使用索引列优先SELECT *FROM markets_analyticsWHERE date 2025-01-01AND market_id market-123AND volume 1000ORDER BY date DESCLIMIT 100;-- ❌ BAD: 非索引列优先过滤SELECT *FROM markets_analyticsWHERE volume 1000AND market_name LIKE %election%AND date 2025-01-01;示例2: 聚合查询SELECTtoStartOfDay(created_at) AS day,market_id,sum(volume) AS total_volume,count() AS total_trades,uniq(trader_id) AS unique_traders,avg(trade_size) AS avg_sizeFROM tradesWHERE created_at today() - INTERVAL 7 DAYGROUP BY day, market_idORDER BY day DESC, total_volume DESC;示例3: 批量插入async function bulkInsertTrades(trades: Trade[]) {const values trades.map(trade ( ${trade.id}, ${trade.market_id}, ${trade.user_id}, ${trade.amount}, ${trade.timestamp.toISOString()} )).join(,)await clickhouse.query(INSERT INTO trades (id, market_id, user_id, amount, timestamp)VALUES ${values}).toPromise()}最佳实践选择合适的引擎: 根据数据特性选择MergeTree、ReplacingMergeTree或AggregatingMergeTree合理分区: 按时间或其他维度分区,提高查询效率优化排序键: 将常用过滤列放在排序键前面批量插入: 避免单条插入,使用批量插入提高性能使用特定函数: 使用uniq代替count(DISTINCT),使用quantile代替percentile预聚合: 对频繁查询的聚合使用物化视图ClickHouse特性列式存储: 高效的数据压缩和查询性能数据压缩: 自动数据压缩减少存储空间并行查询: 多核并行查询执行分布式查询: 支持分布式表查询实时分析: 支持实时数据插入和查询