Conectar a dados

Uma AWS Glue conexão é um objeto do Catálogo de Dados que armazena credenciais de login, cadeias de caracteres de URI, informações de nuvem privada virtual (VPC) e muito mais para um armazenamento de dados específico. AWS Glue rastreadores, trabalhos e endpoints de desenvolvimento usam conexões para acessar determinados tipos de armazenamentos de dados. Você pode usar conexões para fontes e destinos, além de reutilizar a mesma conexão em vários trabalhos de crawler ou de extração, transformação e carregamento (ETL).

AWS Glue suporta os seguintes tipos de conexão:

• Amazon DocumentDB

• Amazon OpenSearch Service, para uso com o AWS Glue Spark.

• Amazon Redshift

• Azure Cosmos, para uso do Azure Cosmos DB para NoSQL com trabalhos de ETL AWS Glue

• Azure SQL, para uso com AWS Glue o Spark.

• Google BigQuery, para uso com o AWS Glue Spark.

• JDBC

• Kafka

• MongoDB

• MongoDB Atlas

• Salesforce

• SAP HANA, para uso com o AWS Glue Spark.

• Floco de neve, para uso com AWS Glue o Spark.

• Teradata Vantage, quando usado AWS Glue para o Spark.

• Vertica, para uso com o AWS Glue Spark.

• Várias ofertas do Amazon Relational Database Service (Amazon RDS).

• Rede (designa uma conexão para uma fonte de dados que esteja dentro de um ambiente da Amazon Virtual Private Cloud [Amazon VPC])

• Aurora (compatível se o driver JDBC nativo estiver sendo usado. Nem todos os atributos do driver podem ser aproveitados)

Com o AWS Glue Studio, você também pode criar uma conexão para um conector. Um conector é um pacote de código opcional que ajuda a acessar armazenamentos de dados no AWS Glue Studio. Para obter mais informações, consulte Uso de conectores e conexões com o AWS Glue Studio

Para obter informações sobre como se conectar a bancos de dados locais, consulte Como acessar e analisar armazenamentos de dados locais usando AWS Glue o site do AWS Big Data Blog.

Esta seção inclui os tópicos a seguir para ajudar você a usar conexões do AWS Glue :

• Propriedades da conexão do AWS Glue
• Armazenamento de credenciais de conexão no AWS Secrets Manager
• Adicionar uma conexão do AWS Glue
• Testar uma conexão do AWS Glue
• Configurar chamadas da AWS para passar por sua VPC
• Conectar-se a um armazenamento de dados JDBC em uma VPC
• Usar uma conexão do MongoDB ou do MongoDB Atlas
• Crawling em armazenamento de dados do Amazon S3 usando um endpoint da VPC
• Solução de problemas de conexão no AWS Glue
• Tutorial: Usar o AWS Glue Connector for Elasticsearch