Integración de datos de Amazon Q en AWS Glue

La integración de datos de Amazon Q AWS Glue es una nueva capacidad de IA generativa AWS Glue que permite a los ingenieros de datos y a los desarrolladores de ETL crear trabajos de integración de datos utilizando un lenguaje natural. Los ingenieros y desarrolladores pueden pedir a Amazon Q que cree trabajos, solucione problemas y responda a preguntas sobre AWS Glue la integración de datos.

¿Qué es Amazon Q?

nota

Desarrollado por Amazon Bedrock: AWS implementa la detección automática de abusos. Gracias a que la integración de datos de Amazon Q está integrada en Amazon Bedrock, los usuarios pueden aprovechar al máximo los controles implementados en Amazon Bedrock para reforzar la protección, la seguridad y el uso responsable de la inteligencia artificial (IA).

Amazon Q es un asistente conversacional basado en inteligencia artificial (IA) generativa que puede ayudarlo a comprender, crear, ampliar y operar AWS aplicaciones. El modelo en el que se basa Amazon Q se ha ampliado con AWS contenido de alta calidad para ofrecerte respuestas más completas, procesables y referenciadas que te permitan acelerar tu desarrollo. AWS Para obtener más información, consulte ¿Qué es Amazon Q?

¿En qué consiste la integración de datos de Amazon Q en AWS Glue?

La integración de datos de Amazon Q AWS Glue incluye las siguientes capacidades:

• Chat: la integración de datos de Amazon Q AWS Glue puede responder a preguntas en inglés en lenguaje natural sobre AWS Glue los dominios de integración de datos, como los conectores de AWS Glue origen y destino, los trabajos de AWS Glue ETL, el catálogo de datos, los rastreadores y AWS Lake Formation otras funciones, la documentación y las mejores prácticas. La integración de datos de Amazon Q AWS Glue responde a step-by-step instrucciones e incluye referencias a sus fuentes de información.

• Generación de código de integración de datos: la integración de datos de Amazon Q AWS Glue puede responder a preguntas sobre los scripts de AWS Glue ETL y generar código nuevo si se responde a una pregunta en inglés en lenguaje natural.

• Solución de problemas: la integración de datos de Amazon Q AWS Glue está diseñada específicamente para ayudarlo a comprender los errores en los AWS Glue trabajos y proporciona step-by-step instrucciones para identificar la causa y resolver sus problemas.

nota

La integración de datos de Amazon Q AWS Glue no utiliza el contexto de la conversación para generar respuestas futuras mientras dure la conversación. Cada conversación con la integración de datos de Amazon Q AWS Glue es independiente de sus conversaciones anteriores o futuras.

¿Está trabajando con la integración de datos de Amazon Q en AWS Glue?

En el panel de Amazon Q, puedes solicitar a Amazon Q que genere el código para un script de AWS Glue ETL o responder a una pregunta sobre AWS Glue las funciones o la solución de un error. La respuesta es un script ETL PySpark con step-by-step instrucciones para personalizar el script, revisarlo y ejecutarlo. Para las preguntas, la respuesta se genera a partir de la base de conocimientos sobre integración de datos, con un resumen y una URL fuente como referencia.

Por ejemplo, puedes pedirle a Amazon Q que diga «Por favor, proporciona un script de Glue que lea de Snowflake, cambie el nombre de los campos y escriba en Redshift» y, en respuesta, la integración de datos de Amazon Q AWS Glue devolverá un script de AWS Glue trabajo que puede realizar la acción solicitada. Puede revisar el código generado para asegurarse de que cumple la intención solicitada. Si está satisfecho, puede implementarlo como un AWS Glue trabajo en producción. Puede solucionar los problemas de los trabajos pidiendo a la integración que explique los errores y fallos y que proponga soluciones. Amazon Q puede responder a las preguntas sobre las prácticas recomendadas de integración de datos AWS Glue o a las prácticas recomendadas para la integración de datos.

Las siguientes son preguntas de ejemplo que demuestran cómo la integración de datos de Amazon Q AWS Glue puede ayudarlo a desarrollar AWS Glue:

AWS Glue Generación de código ETL:

• Escriba un AWS Glue script que lea JSON de S3, transforme los campos mediante la asignación de aplicaciones y escriba en Amazon Redshift

• ¿Cómo escribo un AWS Glue script para leer desde DynamoDB, aplicar DropNullFields la transformación y escribir en S3 como Parquet?

• Deme un AWS Glue script que lea desde MySQL, elimine algunos campos según mi lógica empresarial y escriba en Snowflake

• Escriba un AWS Glue trabajo para leerlo desde DynamoDB y escriba en S3 como JSON

• Ayúdeme a desarrollar un AWS Glue script para el catálogo de AWS Glue datos para S3

• Escribe un AWS Glue trabajo para leer JSON desde S3, elimina los nulos y escribe en Redshift

AWS Glue explicaciones de las funciones:

• ¿Cómo utilizo la calidad AWS Glue de los datos?

• ¿Cómo usar los marcadores de AWS Glue trabajo?

• ¿Cómo activo el ajuste de escala AWS Glue automático?

• ¿Cuál es la diferencia entre los marcos AWS Glue dinámicos y los marcos de datos de Spark?

• ¿Cuáles son los diferentes tipos de conexiones compatibles AWS Glue?

AWS Glue solución de problemas:

• ¿Cómo solucionar los errores de falta de memoria (OOM) en AWS Glue los trabajos?

• ¿Cuáles son algunos de los mensajes de error que puede ver al configurar la calidad de AWS Glue los datos y cómo puede solucionarlos?

• ¿Cómo soluciono un AWS Glue trabajo con el error Acceso denegado a Amazon S3?

• ¿Cómo soluciono los problemas relacionados con la reorganización de datos en los AWS Glue trabajos?

Prácticas recomendadas para interactuar con la integración de datos de Amazon Q

Las siguientes son las prácticas recomendadas para interactuar con la integración de datos de Amazon Q:

• Cuando interactúe con la integración de datos de Amazon Q, formule preguntas específicas, repita cuando tenga solicitudes complejas y compruebe la precisión de las respuestas.

• Cuando proporcione instrucciones de integración de datos en lenguaje natural, sea lo más específico posible para ayudar al asistente a entender exactamente lo que necesita. En lugar de preguntar «extraiga datos de S3», proporcione más detalles, como «escriba un AWS Glue script que extraiga archivos JSON de S3».

• Revise el script generado antes de ejecutarlo para garantizar su precisión. Si el script generado contiene errores o no coincide con su intención, dé instrucciones al asistente sobre cómo corregirlo.

• La tecnología de IA generativa es nueva y puede haber errores (a veces denominados alucinaciones) en las respuestas. Pruebe y revise todo el código para detectar errores y vulnerabilidades antes de usarlo en su entorno o carga de trabajo.

Integración de datos de Amazon Q en la mejora AWS Glue del servicio

Para ayudar a la integración de datos de Amazon Q a AWS Glue proporcionar la información más relevante sobre AWS los servicios, podemos utilizar cierto contenido de Amazon Q, como las preguntas que le haces a Amazon Q y sus respuestas, para mejorar el servicio.

Para obtener información sobre el contenido que utilizamos y cómo excluirlo, consulta la mejora del servicio Amazon Q Developer en la Guía del usuario para desarrolladores de Amazon Q.

Consideraciones

Tenga en cuenta los siguientes aspectos antes de utilizar la integración de datos de Amazon Q en AWS Glue:

• Actualmente, la generación de código solo funciona con PySpark el kernel. El código generado es para AWS Glue trabajos basados en Python Spark.

• Para obtener información sobre las combinaciones compatibles de capacidades de generación de código de la integración de datos de Amazon Q en AWS Glue, consulteCapacidades de generación de código compatibles.