AWS Glue基础知识

AWS Glue 是一项完全托管的 ETL（提取、转换、加载）服务，与考试相关，尤其是在数据集成、处理和分析方面。

1.数据集成和 ETL（提取、转换、加载）

• AWS Glue 主要用于构建 ETL 管道以准备数据以进行分析。作为解决方案架构师，您需要知道如何设计涉及集成和转换数据的解决方案，而 AWS Glue 是该领域的关键服务。
• 使用案例 包括：
  • 在不同数据存储之间移动数据（例如，从 S3 移动到 Redshift，或从 DynamoDB 移动到 S3）。
  • 下游分析的数据清理、转换和准备。
• 组件：AWS Glue 包含 ETL 作业、爬虫和数据目录等元素。ETL 作业负责数据的提取、转换和加载；爬虫会探索数据源，填充数据目录；数据目录则存储元数据。
• 自动化 ETL：它通过提供预构建的函数、通往各类数据源的连接器以及托管式执行环境，简化了 ETL 流程。这减少了常规数据管道的手动编码工作。
  相关主题：
• 数据存储和管理解决方案（例如 S3、Redshift、RDS）。
• 集成数据处理服务。

2.数据湖和分析

• AWS Glue 在数据湖架构中发挥着至关重要的作用。它可以对存储在 Amazon S3 中的原始数据进行编目，并将其转换为结构化格式，以供 Amazon Athena 和 Amazon Redshift 等服务查询。
• AWS Glue Data Catalog 是数据湖的核心组件，为数据集提供统一的元数据存储库，从而可以轻松查询存储在各种服务中的数据。

相关主题：

• 设计数据湖（例如，使用 S3、Glue、Athena）。
• 无服务器分析解决方案（例如 Athena、Redshift Spectrum、Glue）。

3.AWS Glue 数据目录

• Glue Data Catalog 是一个中央元数据存储库，用于存储表定义、作业定义和其他用于数据处理和分析的必要元数据。
• 它与其他 AWS 服务集成，包括 Amazon Athena、Amazon Redshift Spectrum 和 AWS Glue ETL 作业。
  相关主题：
• 将 AWS Glue 数据目录与分析和查询服务结合使用。
• 元数据管理和数据管理的最佳实践。

4.无服务器架构

• AWS Glue 是一项完全托管的无服务器服务。它抽象出底层基础设施，使架构师能够专注于数据管道，而不是管理计算资源。
• 了解无服务器架构在考试中非常重要，因为解决方案通常利用 AWS Glue 等完全托管的服务来实现可扩展性、成本效益和简单性。

相关主题：

• 设计无服务器架构（例如，使用 AWS Glue、Lambda、API Gateway）。
• 无服务器数据处理工作流。

5.安全和权限

• 使用 AWS Glue 时，安全性是一个关键考虑因素。您需要知道如何管理数据处理作业的权限、加密和访问控制。
• AWS Identity and Access Management （IAM）** 用于控制对 AWS Glue 资源的访问，并且可以为存储在 S3 中的数据或通过 Glue 作业处理的数据启用加密。
• Glue 作业 可以配置为使用具有最低权限原则的 IAM 角色来确保安全性。

相关主题：

• 管理访问控制和权限（IAM、KMS）。
• 静态和传输中的数据加密。
• 保护 ETL 工作流。

6.AWS Glue 作业和工作流

• AWS Glue 作业允许在数据源之间转换和移动数据，您可能需要设计和配置能够以自动化方式执行这些操作的作业。
• Glue 工作流的概念使您能够创建和管理一系列依赖作业。
• 了解 Glue 作业的 类型 （Python、Scala、Spark） 以及这些作业针对各种处理任务的配置非常重要。
  相关主题：
• 使用 AWS Glue 设计自动化工作流。
• 配置数据转换和移动作业。
• 监控和排查 Glue 作业。

7.数据处理与大数据

• AWS Glue 可以处理批处理数据和流数据。它与 Amazon Kinesis、Amazon Redshift 和 Amazon S3 集成，以实现实时和批处理。
• 涉及大数据架构的解决方案可能包括 AWS Glue 作为数据管道的一部分。

相关主题：

• 使用 Glue、EMR、Redshift 和 Athena 等服务进行大数据处理。
• 设计实时和批处理解决方案。
• 使用 AWS 服务构建大数据管道。

8.成本优化

• 由于 AWS Glue 是无服务器的，因此它会根据数据大小和工作负载自动扩展。了解 AWS Glue 的成本模型，包括数据处理单元 （DPU） 的定价以及如何优化成本，是考试的一个关键领域。
• 作为解决方案架构师，您需要设计不仅可扩展且经济高效的解决方案，这包括管理 AWS Glue 的使用。

相关主题：

• 使用 AWS 服务的成本优化策略。
• AWS Glue 等无服务器服务的定价模型。

要回顾的关键 AWS Glue 概念：

• AWS Glue Studio，用于可视化 ETL 作业设计。
• AWS Glue 爬网程序，用于在 S3 中发现和分类数据。
• AWS Glue 触发器，用于根据事件自动执行作业。
• AWS Glue Dynamic Frames 用于处理半结构化数据。

AWS Glue 数据目录

• 元数据管理：充当元数据的核心枢纽，存储有关数据源、表模式及关系的详细信息，便于在 AWS 各项服务间无缝发现数据。
• 表与模式管理：支持创建、删除和修改表条目。您能够定义列、数据类型以及分区信息，从而实现有序的数据访问。

ETL 作业与爬虫

• ETL 作业创建：可通过 AWS 控制台、命令行界面（CLI）或软件开发工具包（SDK）来创建。作业可用 Python 或 Scala 等语言编写脚本，并借助 Spark 提升处理能力。
• 模式发现：爬虫会分析 S3、RDS 等数据源中的数据。它们自动检测列名、数据类型和分区，无需手动输入模式信息即可填充数据目录。

AWS Glue 安全

• IAM 角色与策略：IAM 角色会关联到 Glue 作业上，这些角色附带的策略规定了访问权限，诸如对 S3 存储桶的读/写权限，或是访问 RDS 数据库的权限。
• 加密：对于静态数据，可使用 AWS KMS 密钥加密 S3 中的数据。在传输过程中，SSL/TLS 协议会保障 Glue 组件与数据源之间的数据安全。

用于数据集成的 Glue

• 连接数据源：拥有针对 S3、RDS、Redshift 等的原生连接器，能够流畅地从多个存储库摄取数据。
• 转换语言：支持 Python、Scala 和 Spark SQL。尤其是 Spark，为复杂的数据操作提供了丰富的函数集。

Glue 触发器与调度

• 基于事件的触发器：当诸如 S3 中有新文件到达这类事件发生时，能够触发作业。定时触发器则使用 cron 表达式，按设定的时间间隔（如每天或每周）运行作业。

监控与日志记录

• CloudWatch 监控：CloudWatch 追踪作业指标，像是执行时间、资源利用率以及成功/失败率。CloudWatch 中的日志会提供详细的错误消息，便于调试。
• 错误处理：最佳实践包括在 CloudWatch 中设置告警、分析堆栈跟踪信息，以及在作业脚本中使用重试机制。

Glue 作业性能

• 优化：涉及数据分区、选用合适的数据处理单元（DPU），以及选择恰当的数据格式。例如，对于大型数据集，Parquet 格式性能更佳。
• 资源配置：可依据数据量调整 DPU。也能微调内存分配，防止处理过程中出现瓶颈。

二、注意事项

• 动手实践：不要只死记硬背概念，要使用 AWS Glue 控制台、CLI 和 SDK 构建示例 ETL 管道、爬虫，并管理数据目录。
• 理解服务交互：由于 Glue 与众多 AWS 服务交互，需知晓它与 S3、Redshift 和 Athena 的协同方式。例如，Glue 元数据的变更会如何影响 Athena 查询。
• 跟进更新：AWS 服务在不断演进，要及时了解 Glue 的新特性、安全增强功能，或是定价模式的变动。