聊聊 KaiwuDB 的开源压测工具：kwdb-tsbs 上手分享

上一篇我们聊了一下通用 TSBS 工具《聊一聊TSBS时序数据库跑分为啥大家都用它》今天想就一家国内厂商开源的TSBS工具展开讲讲。怎么看这件事儿怎么用以及好不好用。最近一直在玩时序数据库做性能对比的时候离不开压测工具。今天给大家分享一下kwdb-tsbs这是适配 KaiwuDB 的 TSBS 基准测试工具我用下来感觉很顺手整理了一份完整使用笔记方便大家快速上手。参考 KaiwuDB 开源仓库https://gitee.com/kwdb/kwdb-tsbs所有内容都是我自己整理的实操笔记方便大家直接照着跑。一、kwdb-tsbs 是什么简单说基于开源 TSBSTime Series Benchmark Suite改造、专为 KWDB 优化的时序数据库性能基准测试工具已在 Gitee/GitHub 开源MIT协议。支持生成数据、批量写入、跑查询、自动出报告一套流程全搞定。总结有如下功能特性数据生成支持自定义设备数量、数据采样时间范围和数据采样间隔。数据导入提供针对 KWDB 优化的批量写入工具。查询场景提供标准的时序查询模板。自动化测试一键执行完整的 KWDB 性能基准测试流程。二、怎么看这件事儿数据库厂商把自家专用的性能测试工具开源出来是一件很敢、也很聪明的做法。搁以前厂商自己写脚本、自己跑、自己出TPS/吞吐用户端很难复现经常被质疑美化数据。开源性能测试工具比如kwdb-tsbs相当于把标尺公开让社区、用户、第三方都能用同一把尺子来测你的产品。从用户角度来讲有工具可以大大降低POC成本、缩短选型周期避免“你测我不信、我测你不认” 的来回扯皮。从行业角度来讲时序数据场景数据量巨大、写入吞吐高、查询模式相对固定非常依赖标准压测来证明产品能力。原生TSBS工具对具体产品的适配不足可能并不能完整体现某一款特定产品的真实水平自己做一套深度优化、贴合分布式时序引擎的TSBS分支再开源至少我觉得 KaiwuDB 是动过脑子的。从厂商角度来讲KaiwuDB 能开源自己的性能测试工具无疑是对自身性能的自信技术倒逼不怕被用来和InfluxDB、TimescaleDB 等在同一框架下对比还能根据社区反馈优化测试模型不断提升行业信任。更客观地说毕竟是 KaiwuDB 主导开发默认参数、写入路径、查询模板会更适配 KWDB用来对比其他数据库时需注意公平性比如参数对齐、版本一致之类。如果各家厂商都愿意做这个事情无疑会推动行业从“黑盒宣传”走上透明可信的路。三、kwdb-tsbs 支持哪些测试场景主要分两大场景包括平时最常见的监控和物联网数据1. DevOps cpu-only测试场景关注 CPU 指标模拟服务器 CPU 监控数据支持各种聚合、分组、最大值、最新点查询基本是时序库常用的查询类型。该测试场景模拟对服务器 CPU 监控生成的时序数据针对每台设备CPU记录其 10 个 CPU 指标。下表是该场景中支持的查询类型查询类型描述single-groupby-1-1-1对单台主机的单个指标进行简单汇总MAX。每 5 分钟汇总一次持续 1 小时。single-groupby-1-1-12对单台主机的单个指标进行简单汇总MAX。每 5 分钟汇总一次持续 12 小时。single-groupby-1-8-1对八台主机的单个指标进行简单汇总MAX。每 5 分钟汇总一次持续 1 小时。single-groupby-5-1-1对单台主机的五个指标进行简单汇总MAX。每 5 分钟汇总一次持续 1 小时。single-groupby-5-1-12对单台主机的五个指标进行简单汇总MAX。每 5 分钟汇总一次持续 12 小时。single-groupby-5-8-1对八台主机的五个指标进行简单汇总MAX。每 5 分钟汇总一次持续 1 小时。cpu-max-all-1汇总 1 小时内单台主机每小时的所有 CPU 指标。cpu-max-all-8汇总 1 小时内八台主机每小时的所有 CPU 指标。double-groupby-1对时间和主机进行汇总得出 24 小时内每台主机每小时单个 CPU 指标的平均值。double-groupby-5对时间和主机进行汇总得出 24 小时内每台主机每小时 5 个 CPU 指标的平均值。double-groupby-all对时间和主机进行汇总得出 24 小时内每台主机每小时所有 CPU 指标10 个的平均值。high-cpu-all所有主机的某个指标超过阈值的所有读数。high-cpu-1特定主机的某个指标超过阈值的所有读数。lastpoint每台主机的最后读数。groupby-orderby-limit在随机选定的时间终点前按时间维度汇总的最后 5 个读数。2. IoTIoT 测试场景主要是模拟物联网环境中的数据负载。该测试场景模拟来自一家虚构卡车公司的一组卡车的数据流。它模拟每辆卡车的诊断数据和指标并引入环境因素如乱序数据和批量摄取对于一段时间离线的卡车。它还跟踪卡车元数据并将其用于将指标和诊断作为查询集的一部分联系起来。在该测试场景中一部分生成的查询将涵盖实时卡车状态和分析这些分析将查看时序数据以更好地预测卡车行为。该测试场景的规模因素将基于跟踪的卡车数量。下表为该测试场景中支持的查询类型查询类型描述last-loc获取每辆卡车的实时最新位置。low-fuel获取所有燃料不足低于 10%的卡车。high-load获取当前负载高超过 90% 负载容量的卡车。stationary-trucks获取所有静止不动的卡车最近 10 分钟内平均最低速度。long-driving-sessions获取在过去 4 小时内未休息至少 20 分钟的卡车。long-daily-sessions获取在过去 24 小时内驾驶超过 10 小时的卡车。avg-vs-projected-fuel-consumption计算每个车队的平均燃料消耗量和预计燃料消耗量。avg-daily-driving-duration计算每位司机每天的平均驾驶时长。avg-daily-driving-session计算每位司机每天的平均驾驶次数。avg-load计算每个车队每种卡车型号的平均负载。daily-activity获取每个车队每天卡车处于活跃状态相对于停运状态的小时数。breakdown-frequency按卡车型号计算故障频率。四、环境准备和编译环境要求只要装了 Go 1.23 及以上就行。编译步骤1. 克隆仓库gitclone https://gitee.com/kwdb/kwdb-tsbs.gitcdkwdb-tsbs2. 构建应用make编译和安装成功后的文件清单如下kwdb-tsbs/ └── bin/ ├── tsbs_generate_data # 数据生成工具 ├── tsbs_load_kwdb # 数据导入工具 ├── tsbs_generate_queries # 查询生成工具 └── tsbs_run_queries_kwdb # 查询执行工具五、完整使用流程照着就能跑整个压测就四步造数据→写数据→造查询→跑查询。1. 生成数据kwdb-tsbs 提供数据生成工具tsbs_generate_data为 KWDB 数据库生成一个伪 CSV 文件。其中每行表示一条记录首项为操作类型1 或 3。1表示插入数据包括数据值和标签值格式为1,ptag名,字段数量,插入的数据。3表示写入标签值格式为3,表名,ptag名,标签值。示例1,host_0,11,(1451606400000,58,2,24,61,22,63,6,44,80,38,host_0)3,cpu,host_0,(host_0,eu-central-1,eu-central-1a,6,Ubuntu15.10,x86,SF,19,1,test)以下示例生成一个数据文件可用于将数据批量加载到 KWDB 数据库中。./tsbs_generate_data\--formatkwdb\--use-casecpu-only\--seed123\--scale100\--timestamp-start2016-01-01T00:00:00Z\--timestamp-end2016-01-02T00:00:00Z\--log-interval10s\--orderquantity12\--orderquantity12\--outoforder0.0\--outoforderwindow0data.dat参数说明参数描述类型可选值默认值format目标数据库的格式。STRINGkwdbN/Ause-case测试场景类型。STRINGcpu-only、iotcpu-onlyseed伪随机数生成器 PRNG 种子。INT正整数0表示使用当前时间戳。scale生成数据的设备数量。INT正整数1timestamp-start数据生成的起始时间。遵循 RFC 3339 标准。STRINGN/A2016-01-01T00:00:00Ztimestamp-end数据生成的结束时间。遵循 RFC 3339 标准。STRINGN/A2016-03-02T00:00:00Zlog-interval数据生成的间隔时间。STRING如 “10s”、“1m”10sorderquantity初始生成设备数量。例如对于 100 台 设备首先生成从 host_0 到 host_11 的数据然后生成从 host_12 到 host_23 的数据依此类推。INT正整数建议与导入数据时使用的 worker 参数的取值保持一致。outoforder设置乱序数据的比例取值范围是 0.0 - 1.0。例如0.0 表示完全按顺序生成数据。0.1 表示乱序生成 10% 的数据。1.0 表示完全随机乱序生成数据。说明:该参数只适用于 DevOps cpu-only 测试场景。FLOATN/A0.0outoforderwindow设置乱序数据的时间窗口范围支持多种时间单位例如0s、1m、1h。其中0 表示按时间顺序生成数据。60s 表示允许在 60s 时间范围内乱序生成数据。实际数据乱序程度还受 outoforder 参数的影响。说明:该参数只适用于 DevOps cpu-only 测试场景。DURATIONN/A02. 入数据kwdb-tsbs 提供数据导入工具tsbs_load_data将由 tsbs_generate_data 工具生成的数据文件导入到目标数据库。tsbs_load_data 工具支持 INSERT 模式和 PREPARE 模式。两种数据导入模式的参数基本相同。INSERT 模式./tsbs_load_kwdb\--filedata.dat\--userroot\--pass1234\--host127.0.0.1\--port26257\--insert-typeinsert\--batch-size1000\--db-namebenchmark\--casecpu-only\--workers12\--partitionfalsePREPARE 模式./tsbs_load_kwdb\--filedata.dat\--userroot\--pass1234\--host127.0.0.1\--port26257\--insert-typeprepare\--preparesize1000\--db-namebenchmark\--casecpu-only\--workers12\--partitionfalse参数说明参数描述类型可选值默认值file数据生成文件的路径。STRINGN/AN/Auser连接 KWDB 数据库的用户名。STRINGN/Arootpass身份验证时使用的密码。STRINGN/A默认为空。hostKWDB 数据库的 IP 地址。STRINGN/AN/AportWDB 数据库的连接端口。INTN/A26257insert-type数据写入模式。insert直接插入数据适用于 DevOps cpu-only 和 IoT 测试场景。prepare预编译数据适用于 DevOps cpu-only 测试场景。prepareiot预编译数据适用于 IoT 测试场景。STRINGinsert、prepare 或 prepareiotinsertbatch-size 或 preparesize每批次写入的数据量。说明batch-size 参数只适用于 INSERT 模式。preparesize 参数只适用于 PREPARE 模式。INT正整数1000db-name需要访问的 KWDB 数据库名称。STRINGN/Abenchmarkcase测试场景类型。STRINGcpu-only、iotcpu-onlyworkers并发写入线程数。INT正整数建议与生成数据时使用的 orderquantity 参数的取值保持一致。partition设置是否分区。单节点false。集群trueBOOLtrue 或 falsefalse3. 生成查询kwdb-tsbs 提供查询生成工具tsbs_generate_queries用以生成指定查询类型的查询脚本。./tsbs_generate_queries\--formatkwdb\--use-casecpu-only\--seed123\--scale100\--query-type${QUERY_TYPE}\--preparefalse\--queries100\--timestamp-start2016-01-01T08:00:00Z\--timestamp-end2016-01-05T00:00:01Z\--db-namebenchmarkquery.dat参数说明参数描述类型可选值默认值format目标数据库的格式。STRINGkwdbN/Ause-case测试场景类STRINGcpu-only、iotcpu-onlyseed伪随机数生成器 PRNG 种子。INT正整数0表示使用当前时间戳。scale生成查询的设备数量。INT正整数1query-type查询类型。STRING有关 kwdb-tsbs 支持的查询类型参见测试场景。N/Aprepare设置是否使用查询模板。BOOLtrue 或 falsefalsequeries产生的查询语句数量。INT正整数N/Atimestamp-start查询生成的起始时间。遵循 RFC 3339 标准。STRINGN/A2016-01-01T08:00:00Ztimestamp-end查询生成的结束时间。遵循 RFC 3339 标准。STRINGN/A2016-01-05T00:00:01Zdb-name需要访问的 KWDB 数据库名称。STRINGN/Abenchmark4. 执行查询在完成数据生成、数据导入、查询生成后用户可以使用 tsbs_run_queries_kwdb 工具测试 KWDB 数据库的查询执行性能。./tsbs_run_queries_kwdb\--filequery.dat\--userroot\--pass1234\--host127.0.0.1\--port26257\--query-type${QUERY_TYPE}\--preparefalse\--workers1query.log参数说明参数描述类型可选值默认值file数据生成文件的路径。STRINGN/AN/Auser连接 KWDB 数据库的用户名。STRINGN/Arootpass身份验证时使用的密码。STRINGN/A默认为空。hostKWDB 数据库的 IP 地址。STRINGN/AN/AportKWDB 数据库的连接端口。INTN/A26257query-type查询类型。该参数取值必须与查询生成工具设置的参数取值保持一致。STRING有关 kwdb-tsbs 支持的查询类型参见测试场景。N/Aprepare设置是否使用查询模板。该参数取值必须与查询生成工具设置的参数取值保持一致。BOOLtrue 或 falsefalseworkers并发查询线程数。INT正整数N/A六、自动化测试kwdb-tsbs 还在 kwdb-tsbs/scripts 目录下提供了自动化脚本tsbs_kwdb.sh用户可以一键执行完整的 KWDB 性能基准测试流程。一键就能执行完整的压测流程适合批量测试或重复测试。1. 前提条件已安装 kwdb-tsbs 以及 Go 1.23 或更高版本。具有执行自动化测试脚本的权限。2. 推荐配置硬件配置下表列出执行自动化测试推荐的硬件规格。用户可以根据实际的业务规模和性能要求规划硬件资源。组件规格CPU16 核内存32 GB磁盘SSD操作系统下表列出执行自动化测试推荐的操作系统。未提及的操作系统版本也许可以运行自动化测试脚本但尚未得到 KWDB 官方支持。操作系统版本架构UbuntuV20.04x86_643. 执行自动化脚本配置自动化脚本参数。workspace$GOPATH/src/gitee.com/kwdb参数说明workspaceKWDB 工作目录的路径。有关更多自动化测试脚本的参数配置参见脚本文件中的详细注释说明。执行自动化脚本。cdkwdb-tsbs/scripts ./tsbs_kwdb.sh运行完成后生成以下相关文件kwdb-tsbs/ ├── load_data/ # 生成的导入数据 ├── query_data/ # 生成的查询数据 └── reports/ # 生成的测试结果 └── YMD_HMS_scale[scaleNum]_cluster[clusterNum]_insert[insertType]_wal[walSetting]_replica[replicaNum]_dop[degreeOfParallelism]/ ├── load_data/ # 导入测试的结果 └── query_data/ # 查询测试的结果综上kwdb-tsbs 作为适配 KWDB 时序数据库的专属压测工具实操门槛低、功能覆盖还是比较全面的可以高效完成数据生成、导入、查询及自动化压测全流程。如果大家在使用过程中遇到问题欢迎在评论区留言我也推荐去官方仓库https://gitee.com/kwdb/kwdb-tsbs查看详细文档能获取更全面的配置说明和问题解决方案。希望这份实操笔记能帮大家少踩坑快速上手kwdb-tsbs