当前位置： 首页 > article >正文

终极指南：Aiven如何通过Thanos实现70%成本优化与性能飞跃的完整方案

article 2026/5/8 4:51:20
终极指南Aiven如何通过Thanos实现70%成本优化与性能飞跃的完整方案【免费下载链接】thanosHighly available Prometheus setup with long term storage capabilities. A CNCF Incubating project.项目地址: https://gitcode.com/gh_mirrors/than/thanosThanos作为CNCF孵化项目为Prometheus提供了高可用性和长期存储能力。本文将深入剖析Aiven从M3DB迁移到Thanos的全过程展示如何通过这一开源解决方案实现显著的成本降低和性能提升为企业级监控系统优化提供宝贵经验。Aiven的监控系统挑战与转型背景 Aiven作为一家提供跨11个云平台、150多个地区的托管数据服务公司其基础设施规模已达100,000台机器。2019年Aiven因InfluxDB无法满足扩展需求而转向M3DB但到2022年面临新的挑战M3DB社区贡献几乎停滞缺乏对Prometheus新功能如exemplars、alertmanager的支持且无法将旧数据迁移到对象存储导致运营成本极高。内存管理问题尤其突出M3DB在高负载下频繁出现性能瓶颈对查询类型和数据格式有严格限制。这些因素促使Aiven开始寻找替代方案最终选择了社区活跃、Apache 2.0许可的Thanos项目。Thanos架构设计与实施路径 ️Aiven的Thanos架构采用了分层设计充分利用了Thanos的核心组件实现高可用和成本优化图Aiven Thanos当前架构展示了从客户数据库到对象存储的完整数据流向实施步骤包括概念验证(POC)建立独立Thanos系统测试处理小比例流量的能力自动化测试开发Starlark脚本实现流量采样构建包含混沌测试的验证流程规模扩展逐步增加组件并优化配置解决哈希环管理、服务超时等关键问题生产迁移采用路由-接收者拓扑结构实现无感知切换关键技术挑战及解决方案未来时间戳导致的接收器崩溃通过PR #6195修复头部压缩的边界问题通过PR #6183解决哈希环构建死锁通过PR #6168修复惊人的成本节约从$32K到$14K的月度优化 Aiven的成本分析显示迁移到Thanos带来了显著的基础设施成本降低M3DB月度成本结构M3DB服务器(18台n2d-highmem-32)$21,106.98M3协调器(9台n2d-standard-48)$11,733.57总计$32,840.55Thanos月度成本结构Thanos接收器(6台n2d-highcpu-96)$11,544Thanos查询(6台n2d-highcpu-16)$1,929Thanos存储(3台n2d-highmem-8)$881.7Thanos压缩器(1台n2d-highmem-8)$293.90Redis缓存(2台n2d-highmem-4)$294.9总计$14,942.68存储成本优化更为显著M3DB需要54TB存储而Thanos在相同成本下可存储216TB数据。按Aiven每天750GB的生成量计算Thanos可保留近一年数据而M3DB仅能保留30天。通过实施AZ感知能力(PR #6369)Aiven将GCP环境的复制因子从3降至2进一步降低了成本。性能提升查询速度提升最高达24倍 ⚡通过vmalert对比测试Aiven发现Thanos在大多数非正则查询场景中表现出显著的性能优势图Thanos与M3DB查询性能对比显示各类查询的执行时间差异关键性能指标activity_recording_rules_5m从1.14分钟降至2.91秒23倍提升user_alerts_15m从8.79秒降至354毫秒24倍提升mysql_1m从22.6秒降至5.11秒4.4倍提升postgresql_1m从11.4秒降至2.51秒4.5倍提升除了查询速度提升Thanos还解决了M3DB无法集成Alertmanager的问题并支持无限期数据保留为长期趋势分析提供了可能。实施建议与最佳实践 基于Aiven的成功经验企业在实施Thanos时应考虑以下关键点分阶段迁移先使用流量采样进行小规模测试再逐步扩大范围自动化测试构建包含混沌测试的验证流程确保数据一致性优化资源配置根据实际负载调整接收器、查询器和存储组件的规格利用对象存储充分发挥Thanos的长期存储优势降低总体拥有成本社区参与积极贡献上游修复如Aiven的AZ感知和死锁修复等改进Aiven的案例证明Thanos不仅能显著降低基础设施成本还能提供更优的查询性能和更丰富的功能集。对于需要大规模监控解决方案的企业而言Thanos是一个值得考虑的开源选择。要开始使用Thanos可通过以下命令克隆仓库git clone https://gitcode.com/gh_mirrors/than/thanos更多实施细节可参考Aiven的技术博客docs/blog/2023-06-08-thanos-at-aiven.md。【免费下载链接】thanosHighly available Prometheus setup with long term storage capabilities. A CNCF Incubating project.项目地址: https://gitcode.com/gh_mirrors/than/thanos创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

相关文章：

终极指南：Aiven如何通过Thanos实现70%成本优化与性能飞跃的完整方案

终极指南：Aiven如何通过Thanos实现70%成本优化与性能飞跃的完整方案 【免费下载链接】thanos Highly available Prometheus setup with long term storage capabilities. A CNCF Incubating project. 项目地址: https://gitcode.com/gh_mirrors/than/thanos …...

编程日记 2026/5/8 4:51:20

SO(3)-等变GNN的几何感知量化方法解析

1. 几何感知量化：SO(3)-等变GNN的高效压缩方法在分子模拟和计算化学领域，保持物理定律的数学对称性至关重要。SO(3)-等变图神经网络(GNN)通过严格遵循三维旋转对称性，成为构建高精度分子力场的首选工具。然而，这类模型的计算复杂度…...

编程日记 2026/5/8 4:51:20

gh_mirrors/docume/documentation架构方法论：从零开始构建可扩展前端项目

gh_mirrors/docume/documentation架构方法论：从零开始构建可扩展前端项目 【免费下载链接】documentation Architectural methodology for frontend projects 项目地址: https://gitcode.com/gh_mirrors/docume/documentation gh_mirrors/docume/documentati…...

编程日记 2026/5/8 4:51:18

TileDB版本控制与时间旅行：如何管理数据变更历史的完整指南

TileDB版本控制与时间旅行：如何管理数据变更历史的完整指南 【免费下载链接】TileDB The Universal Storage Engine 项目地址: https://gitcode.com/gh_mirrors/ti/TileDB TileDB作为通用存储引擎，提供了强大的版本控制与时间旅行功能&#xff0c…...

编程日记 2026/5/8 4:49:18

pocketclaw：轻量级网页抓取工具，配置驱动与无头浏览器实战

1. 项目概述：一个轻量级、高可用的网页内容抓取工具最近在做一个需要批量获取网页结构化数据的项目，找了一圈现成的爬虫框架，要么太重，要么配置太复杂，要么对动态渲染页面的支持不够友好。直到我发现了PYXXXX/pocketcl…...

编程日记 2026/5/8 4:49:18

自动化测试系列(五) 微服务接口测试-WireMock与契约测试-CDC

微服务接口测试：WireMock与契约测试（CDC）上篇咱们用RestAssured搞定了单体应用的接口测试。但微服务架构下，你的服务依赖一堆下游服务，怎么测？今天聊WireMock模拟和契约测试，这是微服务测试的两…...

编程日记 2026/5/8 4:49:18

Handlebars.js扩展开发终极指南：自定义Helper与Decorator创建技巧

Handlebars.js扩展开发终极指南：自定义Helper与Decorator创建技巧 【免费下载链接】handlebars.js Minimal templating on steroids. 项目地址: https://gitcode.com/gh_mirrors/ha/handlebars.js Handlebars.js作为一款功能强大的模板引擎，为开发…...

编程日记 2026/5/8 4:49:18

AI编程助手全景图：从GitHub Copilot到本地部署，开发者如何高效选型

1. 项目概述：一份AI编程助手全景图如果你是一名开发者，最近两年一定被各种AI编程工具轮番轰炸过。从GitHub Copilot横空出世，到ChatGPT写代码，再到各种本地化部署的代码模型，感觉不跟上这波潮流，写代码的效…...

编程日记 2026/5/8 4:49:18

别只刷题了！用PTA L2真题拆解C++ STL：set、map、vector在算法竞赛中的实战技巧

用PTA L2真题拆解C STL：set、map、vector在算法竞赛中的实战技巧 在算法竞赛中，熟练掌握C标准模板库（STL）是提升编码效率的关键。本文将通过PTA团体程序设计天梯赛L2真题，深入剖析set、map和vector三大核心容器的实战应…...

编程日记 2026/5/8 4:47:18

React Google Maps API搜索与自动完成：Autocomplete和StandaloneSearchBox使用详解

React Google Maps API搜索与自动完成：Autocomplete和StandaloneSearchBox使用详解 【免费下载链接】react-google-maps-api React Google Maps API 项目地址: https://gitcode.com/gh_mirrors/re/react-google-maps-api React Google Maps API是一个强大的库…...

编程日记 2026/5/8 4:47:18

第36篇：Vibe Coding时代：LangGraph 自动生成 README 实战，解决 AI 项目交付后没人知道怎么运行的问题

第36篇：Vibe Coding时代：LangGraph 自动生成 README 实战，解决 AI 项目交付后没人知道怎么运行的问题 一、问题场景：Agent 生成了项目，但没有运行说明 AI Coding Agent 很擅长生成代码文件。 比如： main.py requirements.txt test_main.py config.py但是很多时候它没有…...

编程日记 2026/5/8 4:47:18

VOIPAC iMX8M工业级开发套件评测与应用指南

1. VOIPAC iMX8M工业级开发套件概览VOIPAC iMX8M工业级开发套件是一款基于NXP i.MX 8M四核Cortex-A53处理器的嵌入式开发平台，专为工业应用场景设计。这套开发板的核心是"iMX8M Industrial Pro"系统模块(SOM)，标配2GB RAM和16GB eMMC闪存&…...

编程日记 2026/5/8 4:47:18

Python配置管理新范式：基于装饰器的Tanuki库实践指南

1. 项目概述：一个轻量级、高可配的Python配置管理库 在Python项目开发中，配置管理是个看似简单、实则暗藏玄机的环节。从最简单的 config.py 里写几个变量，到使用环境变量、YAML/JSON文件，再到引入复杂的配置中心，每…...

编程日记 2026/5/8 4:47:18

Lichess Mobile多语言支持：如何实现147种语言的国际化

Lichess Mobile多语言支持：如何实现147种语言的国际化 【免费下载链接】mobile Lichess mobile app 项目地址: https://gitcode.com/gh_mirrors/mobile6/mobile Lichess Mobile作为一款全球流行的开源国际象棋应用，通过强大的国际化架构支持147种…...

编程日记 2026/5/8 4:45:17

TermuxBlack故障排除：常见安装问题和解决方案完整清单

TermuxBlack故障排除：常见安装问题和解决方案完整清单 【免费下载链接】TermuxBlack Termux repository for hacking tools and packages 项目地址: https://gitcode.com/gh_mirrors/te/TermuxBlack TermuxBlack是一个专注于提供黑客工具和软件包的Termux仓库…...

编程日记 2026/5/8 4:45:17

ARM Trace Analyzer：指令追踪与调试核心技术解析

1. ARM Trace Analyzer技术概览指令追踪技术是现代处理器调试与性能分析的基石，而ARM Trace Analyzer作为CoreSight调试架构的核心组件，其设计哲学体现了硬件级调试的前沿思想。想象一下，当处理器以GHz频率运行时，工程师需要在不影…...

编程日记 2026/5/8 4:45:17

any-listen安全与隐私保护：构建可信赖的私有音乐服务

any-listen安全与隐私保护：构建可信赖的私有音乐服务 【免费下载链接】any-listen A cross-platform private music playback service 项目地址: https://gitcode.com/gh_mirrors/an/any-listen 在数字音乐时代，隐私保护已成为用户最关心的核心需…...

编程日记 2026/5/8 4:45:17

Bottleneck性能优化：7个最佳实践让你的应用速度提升300%

Bottleneck性能优化：7个最佳实践让你的应用速度提升300% 【免费下载链接】bottleneck Job scheduler and rate limiter, supports Clustering 项目地址: https://gitcode.com/gh_mirrors/bo/bottleneck Bottleneck是一款轻量级且零依赖的任务调度器和速率限制…...

编程日记 2026/5/8 4:45:16

PaperForge：模块化AI提示词框架，赋能学术写作与专利转化

1. 项目概述与核心价值如果你是一名研究生、科研人员，或者像我一样，经常需要和学术论文、技术专利打交道，那你一定体会过那种“词穷”和“逻辑混乱”的痛苦。初稿写出来像流水账，翻译出来的英文读着别扭，好不容易写完又…...

编程日记 2026/5/8 4:43:16

wait-on 终极指南：如何轻松等待文件和网络资源就绪

wait-on 终极指南：如何轻松等待文件和网络资源就绪 【免费下载链接】wait-on wait-on is a cross-platform command line utility and Node.js API which will wait for files, ports, sockets, and http(s) resources to become available 项目地址: https://git…...

编程日记 2026/5/8 4:43:16

团队管理工具现代化重构：从可定制数据模型到实时协同的架构实践

1. 项目概述：一个团队管理工具的“刷新”意味着什么？最近在GitHub上看到一个挺有意思的项目，叫loLollipop/team-manage-refresh。光看这个标题，可能很多人会想，这不就是一个团队管理工具吗？市面上这类工具多…...

编程日记 2026/5/8 4:43:16

Keyboard Cowboy代码架构解析：Swift开发的优秀实践

Keyboard Cowboy代码架构解析：Swift开发的优秀实践 【免费下载链接】KeyboardCowboy :keyboard: The missing keyboard shortcut utility for macOS 项目地址: https://gitcode.com/gh_mirrors/ke/KeyboardCowboy Keyboard Cowboy是一款专为macOS设计的键盘快…...

编程日记 2026/5/8 4:43:16

油猴脚本工具箱：AI搜索增强、双语阅读与网页优化实战

1. 项目概述：一个油猴脚本的实用工具箱如果你和我一样，是个重度浏览器用户，每天要在各种网页间来回切换，处理信息、查找资料，那你肯定也遇到过不少“网页体验不够好”的瞬间。比如，想在搜索引擎结果页快速调…...

编程日记 2026/5/8 4:43:16

基于向量数据库与语义检索的AI记忆增强工具Memok-AI深度解析

1. 项目概述：一个面向记忆增强的AI工具最近在GitHub上闲逛，发现了一个挺有意思的项目，叫galaxy8691/memok-ai。乍一看这个名字，memok很容易让人联想到 “Memory” 和 “OK” 的组合，直译过来就是“记忆没问题”。点进去…...

编程日记 2026/5/8 4:41:15

LLMs-from-scratch-CN性能优化技巧：从FLOPS分析到高效注意力实现

LLMs-from-scratch-CN性能优化技巧：从FLOPS分析到高效注意力实现 【免费下载链接】LLMs-from-scratch-CN LLMs-from-scratch项目中文翻译 项目地址: https://gitcode.com/gh_mirrors/llm/LLMs-from-scratch-CN LLMs-from-scratch-CN是一个专注于LLM模型构建与…...

编程日记 2026/5/8 4:41:15

Devon：AI驱动的研发智能体实战，重塑软件开发工作流

1. 项目概述：Devon，一个重新定义AI驱动的研发工作流如果你和我一样，长期在软件研发一线摸爬滚打，那你肯定对“上下文切换”这个词深恶痛绝。从写代码到查文档，从跑测试到部署上线，再到和同事沟通需求&#…...

编程日记 2026/5/8 4:41:15

gh_mirrors/in/invoice部署实战：从开发到生产环境的完整迁移指南

gh_mirrors/in/invoice部署实战：从开发到生产环境的完整迁移指南 【免费下载链接】invoice Collaboration with wangxupeng(https://github.com/wangxupeng) 项目地址: https://gitcode.com/gh_mirrors/in/invoice gh_mirrors/in/invoice是一个基于YOLOv3CRN…...

编程日记 2026/5/8 4:41:15

10个 wait-on 实用技巧：从基础到高级的完整教程

10个 wait-on 实用技巧：从基础到高级的完整教程 【免费下载链接】wait-on wait-on is a cross-platform command line utility and Node.js API which will wait for files, ports, sockets, and http(s) resources to become available 项目地址: https://gitcod…...

编程日记 2026/5/8 4:41:15

DAC与数字电位器的核心差异与工程选型指南

1. DAC与数字电位器的本质差异在电子系统设计中，数字模拟转换器(DAC)和数字电位器都是实现数字信号控制模拟输出的关键器件，但两者的工作原理和适用场景存在本质区别。我从业十余年，见过太多工程师因为选型不当导致项目返工的情况&#xff0c…...

编程日记 2026/5/8 4:39:15

终极指南：Ralph for Claude Code开发循环异常检测与告警阈值设置全攻略

终极指南：Ralph for Claude Code开发循环异常检测与告警阈值设置全攻略 【免费下载链接】ralph-claude-code Autonomous AI development loop for Claude Code with intelligent exit detection 项目地址: https://gitcode.com/GitHub_Trending/ra/ralph-claude-c…...

编程日记 2026/5/8 4:39:15