连接到数据
AWS Glue连接是一个数据目录对象,用于存储特定数据存储的登录凭据、URI 字符串、虚拟私有云 (VPC) 信息等。 AWS Glue 爬虫、作业和开发端点使用连接来访问某些类型的数据存储。您可以将连接用于源和目标,并在多个爬网程序或提取、转换、加载(ETL)作业中重复使用相同的连接。
AWS Glue 支持以下连接类型:
-
Amazon DocumentDB
-
亚马逊 OpenSearch 服务,可与 for Spark AWS Glue 配合使用。
-
Amazon Redshift
-
Azure Cosmos,用于在 ETL 作业中使用 NoSQL 的 Azure Cosmos DB AWS Glue
-
Azure SQL,与 Spark 一起 AWS Glue 使用。
-
谷歌 BigQuery,用 AWS Glue 于 Spark。
-
JDBC
-
Kafka
-
MongoDB
-
MongoDB Atlas
-
Salesforce
-
SAP HANA,与 Spark 搭 AWS Glue 配使用。
-
Snowflake,用 AWS Glue 于 Spark。
-
Teradata Vantage,用于 Spark 时。 AWS Glue
-
Vertica,用 AWS Glue 于 Spark。
-
各种 Amazon Relational Database Service(Amazon RDS)产品。
-
网络(指定到 Amazon Virtual Private Cloud(Amazon VPC)中数据来源的连接)
-
Aurora(如果使用原生 JDBC 驱动程序,则支持。并非所有驱动程序功能都可以利用)
使用 AWS Glue Studio,您还可以创建连接器的连接。连接器是一个可选代码包,可帮助访问 AWS Glue Studio中的数据存储。有关更多信息,请参阅 在 AWS Glue Studio 中使用连接器和连接
有关如何连接到本地数据库的信息,请参阅如何使用AWS GlueAWS 大数据博客网站访问和分析本地数据存储