Glue Connector 和 Connection 的关系与区别

AWS Glue作为一种无服务器产品，其运行环境是“不可预知”的，也就是“一个黑盒”，所以如何能连接一些自有数据源是Glue必须考虑并给予满足的，为此，Glue给出的解决方案就是Connector和Connection，一个connector就是一个用于协助访问数据源的程序包(容器镜像或Jar包），如果你要使用一个connector，必须先创建一个针对该connector的connection。一个connection包含了连接一个特定数据源的属性。connector和connections联合起来为目标数据源提供访问通路。本文地址：https://laurence.blog.csdn.net/article/details/129139176，转载请注明出处！

1. 关系与区别

下面是一些明确切且重要的结论：

• 先创建Connector，再创建Connection，后者依附于前者，Connector与Connection是一对多的映射关系
• Connector与Connection非常类似于数据库客户端工具（例如DataGrip）中的Driver和DataSource之间的关系，Connector类似Driver，主要包含JAR包和基础属性（如JDBC类型的Connector需要配置Base的JDBC URL），DataSource类似于DataSource，主要包含身份认证信息和网络配置
• 能在Glue控制台上编辑的主要是Custom Connector & Connection，以及Marketplace Connector关联的Connection
• Marketplace Connector是只读的，不可配置，对应Connection可由用户创建和编辑
• Marketplace Connector在架构上有更大的“运作空间”，一般以容器形式运行于EKS/ECS上
• Custom Connector只能是一个Jar包，所以它只有Spark、Athena、JDBC三种类型（对应Glue提供的三种集成API)
• Custom Connection可以独立于Connector存在，依赖Jar包可通过Job Dependent Jar配置给Job，故不一定非要依赖Connector
• 再进一步，如果配置了VPC Connection，再通过Job Dependent Jar配置Jar包，则Connection也可以省去（未必所有的Connection都可以，但测试过部分，确实是可行的）
• 尽管上述两点都已证明可行，还是建议始终使用Custom Connector + Custom Connection的标准方式配置数据源连接。跳过Connector直接创建Custom Connection会丢失一个优势：由于在Glue图形化编辑器上，只有Connector是可以直接拖放的Source/Sink组件，所以如果跳过Custom Connector直接创建Custom Connection，在Glue图形化编辑器上就没有这个数据源对应的连接器可以拖放了。

下图对以上要点进行了总结：

来自于marketplace的connector显然拥有“特权”，它们拥有更加复杂的架构，这些connector往往都有自己docker镜像，并使用ECS/EKS部署和运行镜像，独立的镜像给了connector最大化的定制空间。而自定义connector的“运作空间”远远没有marketplace上的connector大，它不能拥有自定义镜像，只能以jar包形式存在，并依附于Glue的运行环境（通过三套API接口集成），所以，自定义的connector只有三种类型，只能以Jar包形式存在：

• Spark DataSource API -> connectionType=custom.spark
• Amazon Athena Data Source API -> connectionType=custom.athena
• Java JDBC API -> connectionType=custom.jdbc

2. Connection的加载时机

此外，我们一直想找出：Glue的Connection与Spark原生数据加载方式（例如:spark.read.format(“jdbc”)）之间到底有什么差异，我们以JDBC类型的Connection做了如下一些测试：

测试场景	测试结果
Custom JDBC Connection + Glue Context with Connection	成功
Custom VPC Connection + Job Dependent Jar + Glue Context with Connection	成功
Custom JDBC Connection + Spark原生数据加载方式 ( spark.read.format(“jdbc”) )	失败

上述三个测试用例可有力地证明：在Glue中，对于一个数据源的连接配置只能通过Glue专属的GlueContext加载才能生效。关于这一点，我们没有办法从源代码上获得验证，但是一种合理的解释是：我们知道，Glue作为Serverless产品，其工作节点（Worker）的网络环境是不可见的“黑盒”，为了能和目标数据源打通，Glue会根据Connction中的网络配置给它的工作节点创建临时的ENI（虚拟网卡），用于连接到Connection配置的子网中，这些工作节点也因此获得了指定子网内的私有IP地址，从上面的测试结果来看，真正触发Glue去完成这一系列操作的“开关”是在代码中通过GlueContext加载Connection时（根据Spark Lazy Loading的一贯特性，触发的时机可能会更晚，有可能是在初次读取DynamicFrame时），而不是只要在Job属性中关联了一个Connection，在Job启动时就会被自动激活。

3. 重要细节

最后，补充一些测试中的细节：

• Trino JDBC Driver的URL中user参数不得为空

• Trino JDBC Driver的URL中user和passoword，只能通过secret manager配置方可生效

• 通过Glue专属的GlueContext加载Connection指的是类似下面的代码：

  # author: https://laurence.blog.csdn.net/
  Trino_node1676884948138 = glueContext.create_dynamic_frame.from_options(connection_type="custom.jdbc",connection_options={"tableName": "orders","dbTable": "orders","jobBookmarkKeys": ["orderkey"],"jobBookmarkKeysSortOrder": "asc","connectionName": "my-trino-connection",},transformation_ctx="Trino_node1676884948138",
  )
  

• 通过Spark原生数据加载方式读取数据源指的是类似下面的代码：

  # author: https://laurence.blog.csdn.net/
  spark.read.format("jdbc").option("url", "jdbc:trino://localhost:8889/hive/default").option("driver", "io.trino.jdbc.TrinoDriver").option("user", "hadoop").option("dbtable", "orders").load().show()
  

• Glue的官方文档对于创建ENI有专门的解释：

  AWS Glue sets up elastic network interfaces that enable your jobs to connect securely to other resources within your VPC. Each elastic network interface is assigned a private IP address from the IP address range within the subnet you specified.

4. 相关资源

4.1. 内置Connectors

connectionType	Connects To
custom.*	Spark, Athena, or JDBC data stores (see Custom and AWS Marketplace connectionType values
documentdb	Amazon DocumentDB (with MongoDB compatibility) database
dynamodb	Amazon DynamoDB database
kafka	Kafka or Amazon Managed Streaming for Apache Kafka
kinesis	Amazon Kinesis Data Streams
marketplace.*	Spark, Athena, or JDBC data stores (see Custom and AWS Marketplace connectionType values)
mongodb	MongoDB database
mysql	MySQL database (see JDBC connectionType Values)
oracle	Oracle database (see JDBC connectionType Values)
orc	Files stored in Amazon Simple Storage Service (Amazon S3) in the Apache Hive Optimized Row Columnar (ORC) file format
parquet	Files stored in Amazon S3 in the Apache Parquet file format
postgresql	PostgreSQL database (see JDBC connectionType Values)
redshift	Amazon Redshift database (see JDBC connectionType Values)
s3	Amazon S3
sqlserver	Microsoft SQL Server database (see JDBC connectionType Values)

4.2. Marketplace Connectors

通过下面的链接可以查找到Marketplace上所有的连接器：

https://aws.amazon.com/marketplace/search/results?searchTerms=glue+connector

4.3. Custom Connectors

这里有一篇整体介绍，建议先阅读此文:

Developing, testing, and deploying custom connectors for your data stores with AWS Glue

4.3.1. 基于Spark DataSource API的自定义连接器

文档:

https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/glue-3.0

示例：

MinimalSpark3Connector.scala

4.3.2. 基Java JDBC API的自定义连接器

文档:

https://docs.aws.amazon.com/glue/latest/ug/connectors-chapter.html#code-jdbc-connector

示例：

https://github.com/aws-samples/aws-glue-samples/blob/master/GlueCustomConnectors/development/Spark/SparkConnectorMySQL.scala

4.3.3. 基Java JDBC API的自定义连接器

文档:

https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena

示例：

https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena

本文地址：https://laurence.blog.csdn.net/article/details/129139176，转载请注明出处！