大数据平台HDP、CDH、CDP的区别

部署一套大数据架构是相当麻烦的事情各种组件、服务配置相当多而杂由此诞生了能简化各种服务部署和配置的工具也就是大数据平台框架。HDPHortonworks Data PlatformHortonworks 公司推出的 100% 开源 Hadoop 发行版强调完全兼容 Apache 社区无私有修改。HDP3已于2021年12月停止支持。‌CDHCloudera Distribution Including Apache Hadoop / Cloudera Distribution Hadoop‌Cloudera 公司推出的 Hadoop 发行版提供企业级功能如管理、监控、安全等曾是国内主流选择 。CDH 6.3 是 CDH 的最后一个主要版本并已于2022年3月停止支持。‌CDPCloudera Data Platform‌Hortonworks 公司和Cloudera 公司在2019年进行了正式合并形成了新的 Cloudera 公司。产品合并完之后CDH 和 HDP 两大产品陆续停更并且不再进行技术支持。CDH 停留在 6.x 版本HDP 停留在 3.x 版本。而CDP是Cloudera 于 2019 年推出的新一代统一数据平台融合了 CDH 和 HDP 的优势支持多云、混合云部署并增强安全、治理与云原生能力。HDP 2.6.5主流组件版本如下‌Apache Hadoop‌: ‌2.7.3‌‌Apache Ambari‌: ‌2.5.2 或 2.6.2‌Apache Hive‌: ‌2.1.0‌‌Apache HBase‌: ‌1.1.2‌‌Apache Spark‌: ‌2.3.0‌‌Apache Pig‌: ‌0.16.0‌‌Apache ZooKeeper‌: ‌3.4.6‌‌Apache Kafka‌: ‌0.10.2‌Apache Ranger‌: ‌0.7.0‌CDP 7.x 核心组件版本以 CDP 7.1.x / 7.3 为代表‌Apache Hadoop‌: ‌3.1.1‌‌Apache HBase‌: ‌2.2.3‌‌Apache Hive‌: ‌3.1.3‌‌Apache Spark‌: ‌2.4.7‌同时集成 Spark 3.1.1‌Apache Impala‌: ‌3.4.0‌‌Apache Kafka‌: ‌2.5.0‌‌Apache Flink‌: ‌1.14.0‌‌Apache Ranger‌: ‌2.1.0‌‌Apache Atlas‌: ‌2.10‌‌Apache NiFi‌: ‌1.13.2‌‌Apache Oozie‌: ‌5.10‌‌Apache Solr‌: ‌8.4.1‌‌Apache ZooKeeper‌: ‌3.5.5‌‌Cloudera Manager‌: ‌7.44‌用于集群管理‌Python 版本‌: ‌Python 2.7.18‌ / ‌Python 3.7.6参考大数据平台CDH、HDP、CDP的区别 – 明月工作室