La integración de datos de Amazon Q en AWS Glue es una nueva capacidad de IA generativa de AWS Glue que permite a los ingenieros de datos y a los desarrolladores de ETL crear trabajos de integración de datos usando un lenguaje natural. Los ingenieros y desarrolladores pueden pedir a Amazon Q que cree trabajos, solucione problemas y responda a preguntas sobre AWS Glue y la integración de datos.
¿Qué es Amazon Q?
nota
Con tecnología de Amazon Bedrock: AWS implementa detección automática de abusos. Gracias a que la integración de datos de Amazon Q está integrada en Amazon Bedrock, los usuarios pueden aprovechar al máximo los controles implementados en Amazon Bedrock para reforzar la protección, la seguridad y el uso responsable de la inteligencia artificial (IA).
Amazon Q es un asistente conversacional con tecnología de inteligencia artificial (IA) generativa que puede ayudar a comprender, crear, extender y operar aplicaciones de AWS. El modelo que impulsa Amazon Q fue optimizado con contenidos de alta calidad de AWS para brindar respuestas más completas, accionables y referenciadas para acelerar la creación en AWS. Para obtener más información, consulte ¿Qué es Amazon Q?
¿En qué consiste la integración de datos de Amazon Q en AWS Glue?
La integración de datos de Amazon Q en AWS Glue incluye las siguientes capacidades:
Chat: la integración de datos de Amazon Q en AWS Glue puede responder a preguntas en inglés en lenguaje natural sobre AWS Glue y los dominios de integración de datos, como los conectores de AWS Glue de origen y destino, los trabajos de AWS Glue ETL, el catálogo de datos, los rastreadores y AWS Lake Formation, y otras funciones, la documentación y las mejores prácticas. La integración de datos de Amazon Q en AWS Glue responde con instrucciones paso a paso e incluye referencias a sus fuentes de información.
Generación de códigos de integración de datos: la integración de datos de Amazon Q en AWS Glue puede responder preguntas sobre los scripts de ETL de AWS Glue y generar códigos nuevos de acuerdo a una pregunta en lenguaje natural en inglés.
Solución de problemas: la integración de datos de Amazon Q en AWS Glue está diseñada específicamente para ayudarlo aentender los errores en los trabajos de AWS Glue y presenta instrucciones paso a paso para identificar la causa y resolver los problemas.
nota
La integración de datos de Amazon Q en AWS Glue no usa el contexto de la conversación para generar respuestas futuras mientras dure la conversación. Cada conversación con la integración de datos de Amazon Q en AWS Glue es independiente de sus conversaciones anteriores o futuras.
¿Está trabajando con la integración de datos de Amazon Q en AWS Glue?
En el panel de Amazon Q, puede solicitarle a Amazon Q que genere un código para un script de ETL de AWS Glue o que responda una pregunta sobre las características de AWS Glue o sobre la resolución de un error. La respuesta será un script de ETL en PySpark junto a instrucciones paso a paso para personalizar, revisar y ejecutar el script. Para las preguntas, la respuesta se genera a partir de la base de conocimientos sobre integración de datos, con un resumen y una URL fuente como referencia.
Por ejemplo, puede pedir a Amazon Q que proporcione un script de Glue que lea de Snowflake, cambie el nombre de los campos y escriba en Redshift y, en respuesta, la integración de datos de Amazon Q en AWS Glue devolverá un script de trabajo de AWS Glue que puede llevar a cabo la acción solicitada. Puede revisar el código generado para asegurarse de que cumple la intención solicitada. Si cumple con lo solicitado, puede ejecutarlo como un trabajo de AWS Glue en producción. Puede solucionar los problemas de los trabajos pidiendo a la integración que explique los errores y fallos y que proponga soluciones. Amazon Q puede responder preguntas sobre AWS Glue o las prácticas recomendadas de integración de datos.
Los siguientes son ejemplos de preguntas que demuestran cómo la integración de datos de Amazon Q en AWS Glue puede ayudarlo a desarrollar AWS Glue:
Generación de código AWS Glue ETL:
Escriba un script AWS Glue que lea JSON de S3, transforme los campos mediante la asignación de aplicaciones y escriba a Amazon Redshift
¿Cómo escribo un script AWS Glue para leer desde DynamoDB, aplicar la transformación DropNullFields y escribir en S3 como Parquet?
Dame un script AWS Glue que lea desde MySQL, elimine algunos campos según mi lógica empresarial y escriba en Snowflake
Escribir un trabajo AWS Glue para leerlo desde DynamoDB y escribir en S3 como JSON
Ayúdame a desarrollar un script AWS Glue para el catálogo de datos de AWS Glue para S3
Escribe un trabajo AWS Glue para leer JSON desde S3, elimina los nulos y escribe en Redshift
Explicaciones de las características de AWS Glue:
¿Cómo utilizo la Calidad de los datos de AWS Glue?
¿Cómo usar los marcadores de trabajo de AWS Glue?
¿Cómo habilito el escalado automático de AWS Glue?
¿Cuál es la diferencia entre los marcos dinámicos de AWS Glue y los marcos de datos de Spark?
¿Cuáles son los diferentes tipos de conexiones que AWS Glue admite?
Solución de problemas de AWS Glue:
¿Cómo solucionar los errores de falta de memoria (OOM) en los trabajos de AWS Glue?
¿Cuáles son algunos de los mensajes de error que puede ver al configurar la Calidad de los datos de AWS Glue y cómo puede solucionarlos?
¿Cómo arreglo un trabajo de AWS Glue con el error Acceso denegado a Amazon S3?
¿Cómo resuelvo problemas con la reorganización de datos en trabajos de AWS Glue?
Prácticas recomendadas para interactuar con la integración de datos de Amazon Q
Las siguientes son las prácticas recomendadas para interactuar con la integración de datos de Amazon Q:
Cuando interactúe con la integración de datos de Amazon Q, formule preguntas específicas, repita cuando tenga solicitudes complejas y compruebe la precisión de las respuestas.
Cuando proporcione peticiones de integración de datos en lenguaje natural, sea lo más específico posible para ayudar al asistente a entender exactamente lo que necesita. En lugar de preguntar “extraiga datos de S3”, proporcione más detalles, como “escriba un script de AWS Glue que extraiga archivos JSON de S3”.
Revise el script generado antes de ejecutarlo para garantizar su precisión. Si el script generado contiene errores o no coincide con su intención, dé instrucciones al asistente sobre cómo corregirlo.
La tecnología de IA generativa es nueva y puede haber errores (a veces denominados alucinaciones) en las respuestas. Pruebe y revise todo el código para detectar errores y vulnerabilidades antes de usarlo en su entorno o carga de trabajo.
Integración de datos de Amazon Q en la mejora del servicio de AWS Glue
Para ayudar a la integración de datos de Amazon Q en AWS Glue a proporcionar la información más relevante sobre los servicios de AWS, podemos utilizar cierto contenido de Amazon Q, como las preguntas que le hace a Amazon Q y sus respuestas, para mejorar el servicio.
Para obtener información sobre el contenido que utilizamos y cómo excluirlo, consulte Amazon Q Developer service improvement en la Guía del usuario para desarrolladores de Amazon Q.
Consideraciones
Tenga en cuenta los siguientes aspectos antes de utilizar la integración de datos de Amazon Q en AWS Glue:
En la actualidad, la generación de códigos solo es compatible con el kernel de PySpark. El código generado es para trabajos de AWS Glue basados en Python Spark.
Para obtener información sobre las combinaciones compatibles de capacidades de generación de código de la integración de datos de Amazon Q en AWS Glue, consulte Capacidades de generación de código compatibles.
