Integração de dados do Amazon Q em AWS Glue

A integração de dados do Amazon Q AWS Glue é um novo recurso generativo de IA AWS Glue que permite que engenheiros de dados e desenvolvedores de ETL criem trabalhos de integração de dados usando linguagem natural. Engenheiros e desenvolvedores podem pedir à Amazon Q que crie trabalhos, solucione problemas e responda perguntas sobre AWS Glue integração de dados.

O que é o Amazon Q?

nota

Desenvolvido pelo Amazon Bedrock: AWS implementa a detecção automática de abusos. Como a integração de dados do Amazon Q é baseada no Amazon Bedrock, os usuários podem aproveitar ao máximo os controles implementados no Amazon Bedrock para reforçar a segurança, a proteção e o uso responsável de inteligência artificial.

O Amazon Q é um assistente de conversação com inteligência artificial generativa (IA) que pode ajudar você a entender, criar, ampliar e operar AWS aplicativos. O modelo que impulsiona o Amazon Q foi aprimorado com AWS conteúdo de alta qualidade para oferecer respostas mais completas, acionáveis e referenciadas para acelerar sua construção. AWS Para obter mais informações, consulte What is Amazon Q?

O que é a integração de dados do Amazon Q no AWS Glue?

A integração de dados do Amazon Q AWS Glue inclui os seguintes recursos:

• Chat — A integração de dados do Amazon Q AWS Glue pode responder perguntas de linguagem natural em inglês sobre AWS Glue domínios de integração de dados, como conectores de AWS Glue origem e destino, tarefas de AWS Glue ETL, catálogo de dados, rastreadores e AWS Lake Formation outras documentações de recursos e melhores práticas. A integração de dados do Amazon Q AWS Glue responde com step-by-step instruções e inclui referências às suas fontes de informação.

• Geração de código de integração de dados — A integração de dados do Amazon Q AWS Glue pode responder perguntas sobre scripts de AWS Glue ETL e gerar novos códigos com base em uma pergunta de linguagem natural em inglês.

• Solução de problemas — A integração de dados do Amazon Q foi criada especificamente para ajudar você a entender erros em AWS Glue trabalhos e fornece step-by-step instruções para identificar a causa e resolver seus problemas. AWS Glue

nota

A integração de dados do Amazon Q AWS Glue não usa o contexto da sua conversa para informar futuras respostas durante a conversa. Cada conversa com a integração de dados do Amazon Q AWS Glue é independente de suas conversas anteriores ou futuras.

Como trabalhar com a integração de dados do Amazon Q no AWS Glue?

No painel do Amazon Q, você pode solicitar que o Amazon Q gere código para um script de AWS Glue ETL ou responda a uma pergunta sobre AWS Glue recursos ou solucione um erro. A resposta é um script ETL PySpark com step-by-step instruções para personalizar o script, revisá-lo e executá-lo. Para perguntas, a resposta é gerada de acordo com a base de conhecimento de integração de dados com um resumo e um URL de origem para referências.

Por exemplo, você pode pedir ao Amazon Q que “Forneça um script Glue que leia do Snowflake, renomeie os campos e grave no Redshift” e, em resposta, a integração de dados do Amazon Q AWS Glue retornará um script de AWS Glue trabalho que possa realizar a ação solicitada. Você pode revisar o código gerado para garantir que ele atenda à intenção solicitada. Se estiver satisfeito, você pode implantá-lo como um AWS Glue trabalho em produção. Você pode solucionar problemas solicitando que a integração explique erros e falhas e proponha soluções. O Amazon Q pode responder perguntas sobre AWS Glue nossas melhores práticas de integração de dados.

A seguir estão exemplos de perguntas que demonstram como a integração de dados do Amazon Q AWS Glue pode ajudar você a desenvolver AWS Glue:

AWS Glue Geração de código ETL:

• Escreva um AWS Glue script que leia o JSON do S3, transforme campos usando o mapeamento de aplicação e grave no Amazon Redshift

• Como escrevo um AWS Glue script para ler no DynamoDB, aplicar a transformação e gravar DropNullFields no S3 como Parquet?

• Forneça um AWS Glue script que leia o MySQL, elimine alguns campos com base na minha lógica de negócios e grave no Snowflake

• Escrever um AWS Glue trabalho para ler do DynamoDB e gravar no S3 como JSON

• Ajude-me a desenvolver um AWS Glue script para o AWS Glue Data Catalog to S3

• Escreva um AWS Glue trabalho para ler JSON do S3, eliminar nulos e gravar no Redshift

AWS Glue explicações de características:

• Como faço para usar a qualidade de AWS Glue dados?

• Como usar marcadores AWS Glue de emprego?

• Como faço para ativar o AWS Glue escalonamento automático?

• Qual é a diferença entre quadros AWS Glue dinâmicos e quadros de dados do Spark?

• Quais são os diferentes tipos de conexões compatíveis AWS Glue?

AWS Glue solução de problemas:

• Como solucionar erros de falta de memória (OOM) em AWS Glue trabalhos?

• Quais são algumas mensagens de erro que você pode ver ao configurar a Qualidade de AWS Glue Dados e como corrigi-las?

• Como faço para corrigir um AWS Glue trabalho com o erro de acesso negado ao Amazon S3?

• Como faço para resolver problemas com o embaralhamento de dados em AWS Glue trabalhos?

Melhores práticas para interagir com a integração de dados do Amazon Q

A seguir estão as melhores práticas para interagir com a integração de dados do Amazon Q:

• Ao interagir com a integração de dados do Amazon Q, faça perguntas específicas, repita quando tiver solicitações complexas e verifique se as respostas estão corretas.

• Ao fornecer instruções de integração de dados em linguagem natural, seja o mais específico possível para ajudar o assistente a entender exatamente o que você precisa. Em vez de pedir “extrair dados do S3”, forneça mais detalhes, como “escrever um AWS Glue script que extraia arquivos JSON do S3”.

• Revise o script gerado antes de executá-lo para garantir a precisão. Se o script gerado tiver erros ou não corresponder à sua intenção, forneça instruções ao assistente sobre como corrigi-lo.

• A tecnologia de IA generativa é nova e pode haver erros, às vezes chamados de alucinações, nas respostas. Teste e analise todo o código em busca de erros e vulnerabilidades antes de usá-lo no ambiente ou no workload.

Integração de dados do Amazon Q na melhoria AWS Glue de serviços

Para ajudar a integração de dados do Amazon Q a AWS Glue fornecer as informações mais relevantes sobre AWS os serviços, podemos usar determinados conteúdos do Amazon Q, como perguntas que você faz ao Amazon Q e suas respostas, para melhorar o serviço.

Para obter informações sobre o conteúdo que usamos e como optar por não participar, consulte Melhoria do serviço Amazon Q Developer no Amazon Q Developer User Guide.

Considerações

Considere os seguintes itens antes de usar a integração de dados do Amazon Q no AWS Glue:

• Atualmente, a geração de código só funciona com o PySpark kernel. O código gerado é para AWS Glue trabalhos baseados no Python Spark.

• Para obter informações sobre as combinações suportadas de habilidades de geração de código da integração de dados do Amazon Q em AWS Glue, consulteCapacidades de geração de código suportadas.