Seleziona le tue preferenze relative ai cookie

Utilizziamo cookie essenziali e strumenti simili necessari per fornire il nostro sito e i nostri servizi. Utilizziamo i cookie prestazionali per raccogliere statistiche anonime in modo da poter capire come i clienti utilizzano il nostro sito e apportare miglioramenti. I cookie essenziali non possono essere disattivati, ma puoi fare clic su \"Personalizza\" o \"Rifiuta\" per rifiutare i cookie prestazionali.

Se sei d'accordo, AWS e le terze parti approvate utilizzeranno i cookie anche per fornire utili funzionalità del sito, ricordare le tue preferenze e visualizzare contenuti pertinenti, inclusa la pubblicità pertinente. Per continuare senza accettare questi cookie, fai clic su \"Continua\" o \"Rifiuta\". Per effettuare scelte più dettagliate o saperne di più, fai clic su \"Personalizza\".

Usare Scala per programmare AWS Glue Script ETL

Modalità Focus
Usare Scala per programmare AWS Glue Script ETL - AWS Glue

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

È possibile generare automaticamente un programma di estrazione, trasformazione e caricamento (ETL) di Scala utilizzando il AWS Glue consolate e modificatelo secondo necessità prima di assegnarlo a un lavoro. In alternativa, è possibile scrivere il proprio programma da zero. Per ulteriori informazioni, consulta Configurazione delle proprietà dei job per i job Spark in AWS Glue. AWS Glue quindi compila il programma Scala sul server prima di eseguire il lavoro associato.

Per garantire che il programma venga compilato senza errori e venga eseguito come previsto, è importante caricarlo su un endpoint di sviluppo in un REPL (Read-Eval-Print Loop) o un Jupyter Notebook e testarlo lì prima di eseguirlo in un lavoro. Poiché il processo di compilazione viene effettuato sul server, non sarà possibile individuare chiaramente eventuali problemi.

Test di un programma Scala ETL in un notebook Jupyter su un endpoint di sviluppo

Per testare un programma Scala su un AWS Glue endpoint di sviluppo, configura l'endpoint di sviluppo come descritto in. Aggiunta di un endpoint di sviluppo

Quindi, collegalo a un notebook Jupyter in esecuzione localmente sul tuo computer o in remoto su un server notebook Amazon. EC2 Per installare una versione locale di un notebook Jupyter, segui le istruzioni riportate alla pagina Tutorial: notebook Jupyter in JupyterLab.

L'unica differenza tra l'esecuzione del codice Scala e l'esecuzione PySpark del codice sul notebook è che è necessario iniziare ogni paragrafo sul Notebook con quanto segue:

%spark

Ciò impedisce al server Notebook di utilizzare come impostazione predefinita l'interprete PySpark Spark.

Test di un programma Scala ETL in una REPL Scala

È possibile testare un programma Scala su un endpoint di sviluppo utilizzando AWS GlueScala REPL. Segui le istruzioni riportate inTutorial: usa un notebook basato sull' SageMaker intelligenza artificiale, tranne che alla fine del SSH-to-REPL comando, sostituisci -t gluepyspark con-t glue-spark-shell. Questo richiama il AWS Glue Scala REPL.

Per chiudere la REPL quando si è terminato, digitare sys.exit.

PrivacyCondizioni del sitoPreferenze cookie
© 2025, Amazon Web Services, Inc. o società affiliate. Tutti i diritti riservati.