活动回顾|首次 Cloudberry Database Meetup · 北京站成功举办
8 月 3 日,由酷克数据 HashData 主办的 Cloudberry Database Meetup 北京站活动圆满结束。本次 Meetup 以“以开源应对 Greenplum 闭源,原厂开发者再聚首”为主题,深入探讨了 Greenplum 闭源所带来的影响,并聚焦于 Cloudberry Database,邀请核心贡献者与大家分享了 Cloudberry Database 的开源孵化历程、发展路线图以及部分关键功能的实现细节。本次 Meetup 吸引了 30 多位开源数据库技术爱好者前来参加,现场朋友们提问不断、互动热烈。
近期 Greenplum 源码归档及走向闭源在圈内讨论火热,原有开源用户面临断档风险。作为 Greenplum 衍生版和开源替代,Cloudberry Database 由原厂核心开发者打造,与其保持兼容,并且具备更新内核和更丰富功能。Cloudberry Database 逐渐引起大家的关注,当前越来越多的社区用户正在考虑并选型 Cloudberry Database 作为 Greenplum 开源替代。为了加速 Cloudberry Database 开源生态建设,酷克数据 HashData 以线下交流的形式发起主题 Meetup,汇聚各方智慧,凝聚各方力量。
本次活动上,Cloudberry Database 社区负责人王殿进首先分享了 Cloudberry Database 的开源孵化之路。他回顾了 Cloudberry Database 项目自 2022 年 6 月初首个 commit 以来的重要里程碑,包括 2023 年 6 月底项目正式开源以及 Greenplum 闭源事件的影响。王殿进强调,Cloudberry Database 是由前 Greenplum 原厂工程团队倡议发起的项目。酷克数据 HashData 目前拥有全球第二大 Greenplum 内核开发团队,为 Cloudberry Database 长期发展提供了强大开发力量支撑。Cloudberry Database 遵循 Apache License 2.0 协议,确保项目的开放性和商业友好性,整体目标是实现与 Greenplum 的原生兼容和无缝迁移。
王殿进分享 Cloudberry Database 的开源孵化之路
Cloudberry Database 技术负责人杨瑜,全面介绍了 Cloudberry Database 作为新一代开源 MPP 数据库的功能全景与未来路线图。Cloudberry Database 集成了 PostgreSQL 的多样数据类型与复杂查询能力,支持 MPP 架构实现高并发处理,具备行列混合存储、全文检索等先进特性,并承诺持续优化性能与增强安全性。同时,Cloudberry Database 致力于保持与 Greenplum 的原生兼容性,确保无缝迁移,为用户提供了高性能、可扩展且安全的数据库解决方案,以满足日益增长的数据处理需求。
杨瑜分享 Cloudberry Database 功能全景与路线图
在关键功能特性分享环节中,Cloudberry Database 研发工程师宋东晓深入剖析了 Cloudberry Database 的向量化计算引擎。他指出,Cloudberry Database 通过向量化处理和并行计算,显著提升了 OLAP 查询性能。通过减少外层循环次数、提高数据局部性和利用 SIMD 指令,Cloudberry Database 大幅降低了 CPU 消耗。同时,Cloudberry Database 向量化引擎还支持灵活地并行执行和向量化 Motion 操作,进一步增强了数据处理能力和响应速度,为用户提供了更高效、更强大的数据分析支持。
宋东晓分享 Cloudberry Database 向量化计算引擎
Cloudberry Database 研发工程师段猛猛分享了 Cloudberry Database 在湖仓一体架构上的实现与应用。他指出,湖仓一体之前,数据分析经历了数据库、数据仓库和数据湖分析三个时代。数据仓库解决了数据快速分析的需求,数据湖解决了数据的存储和管理的需求,而湖仓一体旨在无缝集成两者,促进数据自由流动,使用户能借数据仓库之力解数据湖分析之困,并依托数据湖管理能力提升数据价值。
Cloudberry Database 通过其高效的 OLAP 查询引擎和 MPP 向量化分布式查询层,为湖上数据提供加速分析,并通过通过引入外部数据包装器(FDW)机制,支持多数据源联邦查询和数据整合,构建统一的数据分析平台,满足了企业对多样化数据处理和分析的需求,为构建企业级湖仓一体数据平台提供了强有力的支持。
段猛猛分享湖仓一体在 Cloudberry Database 上的实现
此外,针对非结构化数据的管理难题,Cloudberry Database 研发工程师张文超分享了管理非结构化数据的 Directory Table 技术的原理与实现。他详细介绍了 Directory Table 作为一种新型表类型,如何支持非结构化数据的存储、查询和管理。通过引入 DFS Tablespace 和 Catalog/Schema 表结构,Directory Table 实现了非结构化数据的高效组织和管理,提供了包括数据导入、查询、删除在内的全面功能。未来,Cloudberry Database 还将进一步优化 Directory Table 技术,实现数据文件的加密/解密、备份等功能。
张文超分享 Directory Table 的原理与实现
最后在演示环节,Cloudberry Database 研发工程师王晓冉演示了 Cloudberry Database 的 Web 管控台,展示了该管控台在数据库管理、集群监控、SQL 编辑、系统监控以及查询监控等方面的丰富功能。通过 Web 管控台,用户可以方便地进行自动化部署、实时监控集群性能、编辑和执行 SQL 查询、管理数据库表空间和连接,以及监控和分析查询执行情况。这一平台不仅提升了数据库管理的便捷性和效率,还为企业提供了全面的系统监控能力,确保了数据库的稳定运行。
王晓冉演示 Cloudberry Database Web 管控台
讲师们的分享内容精彩纷呈,引发了现场开发者的热烈提问和积极互动,技术的交流与思想的碰撞贯穿始终。会后,在交流环节,多位参会者纷纷表达了对 Cloudberry Database 的期待与愿景。其中,一位参会者表示:“Cloudberry Database 不仅有效缓解了我们对 Greenplum 闭源的担忧,更凭借其强大的内核功能,让我们看到了未来数据库发展的新方向。我们计划在产品生态中引入 Cloudberry Database,相信它能为我们提供坚实的数据底座。”更有参会者主动提出愿意成为 Cloudberry Database 的社区贡献者,并表示非常愿意为 Cloudberry Database 社区贡献在数据库领域的经验和技能,与大家携手并进,共同推动社区的进步与发展。
参会者现场互动交流
展望未来,Cloudberry Database 将坚定地走开源路线,秉持开放、共享的理念,提升用户使用和开发者开发体验。我们期待与更多的开发者、企业以及社区成员携手合作,共同向世界交付一个优秀的开源数据库项目。同时,我们后续也将在其他城市举办更多的活动,邀请更多技术爱好者共同探索数据库的未来发展之路。让我们一同见证并参与 Cloudberry Database 的成长!
相关文章:

活动回顾|首次 Cloudberry Database Meetup · 北京站成功举办
8 月 3 日,由酷克数据 HashData 主办的 Cloudberry Database Meetup 北京站活动圆满结束。本次 Meetup 以“以开源应对 Greenplum 闭源,原厂开发者再聚首”为主题,深入探讨了 Greenplum 闭源所带来的影响,并聚焦于 Cloudberry Dat…...

C语言 软件设计的七大原则,及其应用案例
1. 单一职责原则 (Single Responsibility Principle, SRP) 定义: 一个模块或函数应当只有一个引起变化的原因。 应用案例: 在嵌入式系统中,可以将传感器数据的读取和处理分开成不同的函数。例如: // 读取传感器数据的函数 floa…...

初学嵌入式-C语言常犯错误详解
1、对于下面这道题,估计有很多人会选择B答案,但其实答案是D 2.int a10, b9,c9,d; d b || (a>c),请问上述代码执行完毕后a b c d的值分别是 。 A、10 9 10 9 B、10 10 10 1 C、10 9 10 1 D、10 10 9 1 答案解释: 在C语言…...

Golang 语法入门
Golang 语法入门 Hello World package mainimport "fmt"func main() {fmt.Println("hello world") }变量 package mainimport "fmt"// 全局变量 var ans 123 var cnt intfunc main() {// 单个局部变量a : 114514// 多个局部变量b, c : 114, …...

Filebeat+Kafka+ELK
架构: 部署: #配置nginx,部署filebeat systemctl stop firewalld setenforce 0 systemctl restart nginx#解压filebeat tar -xf filebeat-6.7.2-linux-x86_64.tar.gz mv filebeat-6.7.2-linux-x86_64 filebeat#日志收集 cd firebeat vim fil…...

Python 为Excel单元格设置填充\背景色 (纯色、渐变、图案)
在使用Excel进行数据处理和分析时,对特定单元格进行背景颜色填充不仅能够提升工作表的视觉吸引力,还能帮助用户快速识别和区分不同类别的数据,增强数据的可读性和理解性。 本文将通过以下三个示例详细介绍如何使用Python在Excel中设置不同的单…...

家里浮毛粉尘到处飞?宠物空气净化器出动帮你解决
由于家里收养的十几只流浪猫咪夏季掉毛非常严重,整个房子弥漫着猫毛,而且这十几只里面有七八只还是长毛的品种,掉落的毛发都因为太长而直接掉落成毛团,而短毛的那几只也在掉毛,这十几只掉下的浮毛,家里已经…...

计算机网络ISO七层网络模型及TCP
思维导图(通俗理解) 首先,先用最通俗的话来描述ISO七层模型,思维导图结构如下: ISO七层网络模型概念 应用层(Application Layer):应用层是OSI模型的最高层,直接与用户交…...

机器学习知识点全面总结
一、机器学习基础概念 1、什么是机器学习 机器学习是一种人工智能技术,通过对数据的学习和分析,让计算机系统自动提高其性能。简而言之,机器学习是一种从数据中学习规律和模式的方法,通过数据来预测、分类或者决策。 机器学习的本…...

【研发日记】嵌入式处理器技能解锁(三)——TI C2000 DSP的C28x内核
文章目录 前言 背景介绍 C28x内核 浮点单元(FPU) 快速整数除法单元(FINTDIV) 三角数学单元(TMU) VCRC单元 CPU总线 指令流水线 总结 参考资料 前言 见《【研发日记】嵌入式处理器技能解锁(一)——多任务异步执行调度的三种方法》 见《【研发日记】嵌入式处理器技能解…...

LeetCode.27.移除元素
题目描述: 给你一个数组 nums 和一个值 val,你需要 原地 移除所有数值等于 val 的元素。元素的顺序可能发生改变。然后返回 nums 中与 val 不同的元素的数量。 假设 nums 中不等于 val 的元素数量为 k,要通过此题,您需要执行以…...

redis面试(十二)可重入锁总结
可重入锁总结 从实现原理以及源码的层面,真正剖析和了解到了redis分布式锁的企业级的实现,这个分布式锁实现的还是非常漂亮的,麻雀虽小,五脏俱全,分布式的可重入锁,总结一下流程 (1࿰…...

软件测试知识点3
063、一份测试计划应该包括哪些内容? 背景、项目简介、目的、测试范围、测试策略、人员分工、资源要求、进度计划、参考文档、常用术语、提交文档、风险分析。 065、如何定位测试用例的作用? 组织性:编写、组织性、功能覆盖、重复性、跟踪、测试确认 066、什么…...

WPF Treeview开启虚拟化后如何找到TreeViewItem
用VirtualizingStackPanel的BringIndexIntoViewPublic方法就好,没必要像微软给的例子那样还要继承一个VirtualizingStackPanel /// <summary> /// Recursively search for an item in this subtree. /// </summary> /// <param name"container…...

给python初学者的一些建议
写在开篇 关于Python,可以这么说,这几年借着数据科学、机器学习与人工智能的东风,Python 老树开新花,在风口浪尖上居高不下。 Python 之所以这么受大家的青睐,是因为它语言简洁,上手容易,让非…...

【Python学习手册(第四版)】学习笔记17-作用域
个人总结难免疏漏,请多包涵。更多内容请查看原文。本文以及学习笔记系列仅用于个人学习、研究交流。 本文介绍Python作用域,介绍了变量名解析的LEGB原则,以及内置作用域,全局作用域global语句,嵌套作用域及nonlocal语…...

大语言模型(LLM)文本预处理实战
大语言模型(LLM)文本预处理实战 文章目录 大语言模型(LLM)文本预处理实战2.1 理解词嵌入2.2 文本分词2.3 将 token 转换为 token ID2.4 添加特殊上下文 token2.5 字节对编码 (BytePair Encoding, BPE)2.6 使用滑动窗口进行数据采样…...

宠物健康新守护:智能听诊器的家庭应用
宠物已成为我们情感的寄托和生活的一部分,为宠物的健康守护带来了科技的温度。 科技与关怀结合 这款智能听诊器,以其科技感和关怀精神,为宠物的健康监测提供了全新的视角。 家庭友好设计:考虑到家庭使用环境,智能听…...

六、go函数
函数在任何语言中并不难理解,但是不论是有几年开发经验的人,真正想要写好一个函数并不是那么容易的 1、go语言中函数结构 func main() {fmt.Println(isEven(2)) } func isEven(x int) bool {return x%2 0 }(这里我写了一个简单的判断是否是…...

高原型垂直起降高速无人机技术详解
1. 技术概述 高原型垂直起降高速无人机(High-Altitude Vertical Take-off and Landing High-Speed Unmanned Aerial Vehicle, HAVTHS UAV)是针对高原复杂环境设计的一种先进无人机系统。它结合了垂直起降的灵活性与高速飞行的能力,能够克服高…...

Selenium + Python 自动化测试10(unittest概念)
我们的目标是:按照这一套资料学习下来,大家可以独立完成自动化测试的任务。 上几篇我们讨论了元素的定位方法、操作方法以及一些特殊元素的操作。 在实际的测试项目组中每个模块会写多条案例,如第一条用例那里我们的登录。登录的话就可以有多…...

大数据-67 Kafka 高级特性 分区 分配策略 Ranger、RoundRobin、Sticky、自定义分区器
点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完&am…...

深度学习与图像修复:ADetailer插件在Stable Diffusion中的应用
文章目录 引言ADetailer插件介绍插件安装常用模型控制提示词参数配置参数详解 实践建议 示例插件的对比:1. ADetailer插件2. Photoshop插件(如Nik Collection)3. GIMP插件(如GMIC)4. Affinity Photo插件 结语 引言 无…...

【Pytorch】topk函数
topk 是 PyTorch 中的一个函数,用于从张量中选取最大(或最小)的 k 个元素及其对应的索引。其定义如下: values, indices torch.topk(input, k, dimNone, largestTrue, sortedTrue, *, outNone)参数说明 input (Tensor): 输入张…...

使用mybatis注解和xml映射执行javaWeb中增删改查等操作
Mapper接口 使用注解执行SQL语句操作和相应的Java抽象类(对于简单的增删改查使用注解) Mapper public interface EmpMapper {// 根据id删除员工信息Delete("delete from mybatis.emp where id#{id}")public int EmpDelete(Integer id);// 查…...

SpringBoot3 响应式编程
Spring Boot 3 中的响应式编程是一个重要的特性,它允许开发者构建非阻塞、异步和基于事件的应用程序,这对于处理高并发和实时数据流的应用场景尤为重要。以下是对Spring Boot 3响应式编程的详细解析: 一、响应式编程概述 响应式编程是一种编…...

【C++ 面试 - 基础题】每日 3 题(二)
✍个人博客:Pandaconda-CSDN博客 📣专栏地址:http://t.csdnimg.cn/fYaBd 📚专栏简介:在这个专栏中,我将会分享 C 面试中常见的面试题给大家~ ❤️如果有收获的话,欢迎点赞👍收藏&…...

Modelica建模,Modelica语言的学习,技术调研工作
Modelica建模,Modelica语言的学习,技术调研工作 参考资料: 苏州同元软控信息技术有限公司 - 同元 Modelica 再探冷却 modelica学习-CSDN博客 1、 Modelica简介 Modelica是由Modelica协会维护、免费开放的物理系统面向对象的统一建模语言规…...

Oracle数据字典之——v$lock 和v$locked_object
v$lock视图 v$lock视图列出当前系统持有的或正在申请的所有锁的情况,其主要字段说明如下: 11g如下: 字段名称类型说明ADDRRAW(8)锁定状态对象的地址KADDRRAW(8)锁的地址SIDNUMBER会话(SESSION)标识;TYPE…...

solidity 以太坊(Ether) 单位(很基础)
一个字面常数可以带一个后缀 wei, gwei 或 ether 来指定一个以太坊的数量, 其中没有后缀的以太数字被认为单位是wei。 在以太坊和许多其他基于以太坊的区块链系统中,以太币(Ether)是网络中的主要加密货币。 以太可以被…...