Apache Kylin最简单的解析、了解

官网：Overview | Apache Kylin

一、Apache Kylin是什么？

由中国团队研发具有浓厚的中国韵味，使用神兽麒麟（kylin）为名

的一个OLAP多维数据分析引擎:（据官方给出的数据）

1. 亚秒级响应（亚秒内查询巨大的hive表）
2. 支持超大数据集（PB级以上，千亿条数据）
3. 标准SQL接口、简短易用的即席查询工具
4. 拥有丰富的工具集成支持标准数据库协议、各种BI分析工具

可伸缩性和高吞吐量：单节点Kylin可实现每秒70个查询，还可以结合Zookeeper分布式协调服务搭建Kylin集群，速度更快。

二、Kylin架构：

三、环境、依赖、配置

Kylin版本对应最低依赖图（官方数据）

环境

• Hadoop：Kylin 依赖 Hadoop 进行数据存储和计算。
• Hive：用于数据源的管理和访问。
• HBase：作为 Kylin 的默认存储引擎。
• Spark：用于加速 Cube 构建。
• Kylin：Apache Kylin 的核心服务。

注意：在MySQL中手动创建kylin数据库（官方默认连接mysql设置的是kylin这个数据库）

或更改配置

硬件要求：

Yarn内存设置

Kylin4.0使用Spark作为计算引擎和查询引擎，因此对spark任务运行的yarn容器内存有所要求，要求yarn容器内存不能低于4G，因此需要将Yarn容器内存调为8G，否则kylin启动会报错。 注意：yarn容器内存都调为了8G，所以三台虚拟机内存一定要大于8G，否则Kylin运行会报错，此处建议学者最低要将三台虚拟机内存设置为12G，8G，8G。（电脑内存不能低于32G）

增加ApplicationMaster 资源比例

因为Kylin的查询会生成一个在后台长期运行的Sparder任务，占用Default队列，因此一定要调大此参数，否则Kylin无法正常使用。

需要对 Kylin 进行配置。主要配置文件为：

kylin.properties：Kylin 的核心配置文件，包含元数据存储、查询引擎和存储引擎的配置。

hive-site.xml：Hive 配置文件，Kylin 需要访问 Hive 进行数据抽取。

hbase-site.xml：HBase 配置文件，Kylin 需要访问 HBase 进行数据存储。

四、Kylin的核心特点

• 分布式分析引擎：Kylin是一个基于Hadoop/Spark等分布式计算平台的分析引擎，能够充分利用集群的计算资源，实现大规模数据的并行处理。
• 高效的多维分析能力：Kylin支持多维数据分析，用户可以轻松地对数据进行切片、切块、汇总等操作。这种能力在处理复杂的数据分析任务时非常有用，能够帮助用户从多个角度审视数据，发现其中的规律和趋势。
• 预计算与实时查询的平衡：Kylin采用了预计算技术，通过在离线阶段对数据进行预处理和计算，生成多维数据立方体（Cube）。这使得在实时查询阶段能够迅速返回结果，实现了预计算与实时查询之间的平衡。这种平衡既保证了查询效率，又满足了用户对实时性的需求。