Integrazione dei dati di Amazon Q in AWS Glue

L'integrazione dei dati di Amazon Q AWS Glue è una nuova funzionalità di intelligenza artificiale generativa AWS Glue che consente ai data engineer e agli sviluppatori ETL di creare lavori di integrazione dei dati utilizzando il linguaggio naturale. Ingegneri e sviluppatori possono chiedere ad Amazon Q di creare lavori, risolvere problemi e rispondere a domande sull' AWS Glue integrazione dei dati.

Che cos'è Amazon Q?

Nota

Realizzato da Amazon Bedrock: AWS implementa il rilevamento automatico degli abusi. Poiché l'integrazione dei dati di Amazon Q è basata su Amazon Bedrock, gli utenti possono sfruttare appieno i controlli implementati in Amazon Bedrock per rafforzare la sicurezza e l'uso responsabile dell'intelligenza artificiale (AI).

Amazon Q è un assistente conversazionale basato sull'intelligenza artificiale generativa (AI) che può aiutarti a comprendere, creare, estendere e utilizzare le applicazioni. AWS Il modello alla base di Amazon Q è stato arricchito con AWS contenuti di alta qualità per fornirti risposte più complete, attuabili e referenziate per accelerare la tua crescita. AWS Per ulteriori informazioni, consulta Che cos'è Amazon Q?

Che cos'è l'integrazione dei dati di Amazon Q in AWS Glue?

L'integrazione dei dati di Amazon Q in AWS Glue include le seguenti funzionalità:

• Chat: Amazon Q Data Integration in AWS Glue può rispondere a domande in linguaggio naturale in inglese su AWS Glue domini di integrazione dei dati come connettori di AWS Glue origine e destinazione, job AWS Glue ETL, Data Catalog, crawler e AWS Lake Formation altra documentazione sulle funzionalità e best practice. L'integrazione dei dati di Amazon Q AWS Glue risponde con step-by-step istruzioni e include riferimenti alle sue fonti di informazioni.

• Generazione di codice di integrazione dei dati: Amazon Q Data Integration in AWS Glue può rispondere a domande sugli script AWS Glue ETL e generare nuovo codice in base a una domanda in linguaggio naturale in inglese.

• Risoluzione dei problemi: l'integrazione dei dati di Amazon Q AWS Glue è stata creata appositamente per aiutarti a comprendere gli errori nei AWS Glue lavori e fornisce step-by-step istruzioni per la causa principale e la risoluzione dei problemi.

Nota

L'integrazione dei dati di Amazon Q in AWS Glue non utilizza il contesto della conversazione per fornire informazioni sulle risposte future per tutta la durata della conversazione. Ogni conversazione con Amazon Q Data Integration in AWS Glue è indipendente dalle conversazioni precedenti o future.

Utilizzi l'integrazione dei dati di Amazon Q in AWS Glue?

Nel pannello Amazon Q puoi richiedere ad Amazon Q di generare codice per uno script AWS Glue ETL o rispondere a una domanda sulle AWS Glue funzionalità o risolvere un errore. La risposta è uno script ETL PySpark con step-by-step istruzioni per personalizzare lo script, esaminarlo ed eseguirlo. Per le domande, la risposta viene generata sulla base della knowledge base sull'integrazione dei dati con un riepilogo e un URL di origine per i riferimenti.

Ad esempio, puoi chiedere ad Amazon Q di "Fornisci uno script Glue che legga da Snowflake, rinomini i campi e scriva su Redshift" e, in risposta, l'integrazione dei dati di Amazon Q AWS Glue restituirà uno script di AWS Glue lavoro in grado di eseguire l'azione richiesta. Puoi esaminare il codice generato per assicurarti che soddisfi l'intento richiesto. Se sei soddisfatto, puoi implementarlo come processo di produzione. AWS Glue È possibile risolvere i problemi relativi ai processi chiedendo all'integrazione di spiegare gli errori e di proporre soluzioni. Amazon Q può rispondere a domande sulle nostre AWS Glue best practice di integrazione dei dati.

Di seguito sono riportati alcuni esempi di domande che dimostrano come l'integrazione dei dati di Amazon Q in AWS Glue può aiutarti a sviluppare AWS Glue:

AWS Glue Generazione di codice ETL:

• Scrivi uno AWS Glue script che legga JSON da S3, trasformi i campi utilizzando Apply Mapping e scriva su Amazon Redshift

• Come faccio a scrivere uno AWS Glue script per leggere da DynamoDB, applicare DropNullFields la trasformazione e scrivere su S3 come Parquet?

• Dammi uno AWS Glue script che legga da MySQL, rilasci alcuni campi in base alla mia logica aziendale e scriva su Snowflake

• Scrivi un AWS Glue lavoro da leggere da DynamoDB e scrivi su S3 come JSON

• Aiutami a sviluppare uno AWS Glue script per AWS Glue Data Catalog to S3

• Scrivi un AWS Glue lavoro per leggere JSON da S3, elimina i valori nulli e scrivi su Redshift

AWS Glue spiegazioni delle funzionalità:

• Come posso usare AWS Glue Data Quality?

• Come usare i segnalibri di AWS Glue lavoro?

• Come posso abilitare la scalabilità AWS Glue automatica?

• Qual è la differenza tra frame AWS Glue dinamici e frame di dati Spark?

• Quali sono i diversi tipi di connessioni supportati AWS Glue?

AWS Glue risoluzione dei problemi:

• Come risolvere gli errori di memoria esaurita (OOM) nei AWS Glue job?

• Quali sono alcuni messaggi di errore che potresti visualizzare durante la configurazione della qualità AWS Glue dei dati e come puoi risolverli?

• Come posso correggere un AWS Glue lavoro con l'errore Accesso negato ad Amazon S3?

• Come posso risolvere i problemi relativi allo shuffle dei dati nei lavori? AWS Glue

Le migliori pratiche per interagire con l'integrazione dei dati di Amazon Q

Di seguito sono riportate le best practice per interagire con l'integrazione dei dati di Amazon Q:

• Quando interagisci con l'integrazione dei dati di Amazon Q, poni domande specifiche, ripeti quando hai richieste complesse e verifica l'accuratezza delle risposte.

• Quando fornisci richieste di integrazione dei dati in linguaggio naturale, sii il più specifico possibile per aiutare l'assistente a capire esattamente di cosa hai bisogno. Invece di chiedere «estrai dati da S3", fornisci maggiori dettagli come «scrivi AWS Glue uno script che estragga i file JSON da S3".

• Controlla lo script generato prima di eseguirlo per assicurarne la precisione. Se lo script generato contiene errori o non corrisponde alle tue intenzioni, fornisci istruzioni all'assistente su come correggerlo.

• La tecnologia di IA generativa è nuova e nelle risposte possono esserci errori, a volte chiamati allucinazioni. Testa e rivedi tutto il codice per individuare errori e vulnerabilità prima di utilizzarlo nell'ambiente o nel carico di lavoro.

L'integrazione dei dati di Amazon Q nel miglioramento dei AWS Glue servizi

Per aiutare l'integrazione dei dati di Amazon Q a AWS Glue fornire le informazioni più pertinenti sui AWS servizi, possiamo utilizzare determinati contenuti di Amazon Q, come le domande che poni ad Amazon Q e le relative risposte, per migliorare il servizio.

Per informazioni sui contenuti che utilizziamo e su come disattivarli, consulta il miglioramento del servizio Amazon Q Developer nella Amazon Q Developer User Guide.

Considerazioni

Considera i seguenti elementi prima di utilizzare l'integrazione dei dati di Amazon Q in AWS Glue:

• Attualmente, la generazione di codice funziona solo con il PySpark kernel. Il codice generato è per i AWS Glue lavori basati su Python Spark.

• Per informazioni sulle combinazioni supportate di capacità di generazione di codice dell'integrazione dei dati di Amazon Q in AWS Glue, consultaCapacità di generazione di codice supportate.