Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Usare Scala per programmare AWS Glue Script ETL
È possibile generare automaticamente un programma di estrazione, trasformazione e caricamento (ETL) di Scala utilizzando il AWS Glue consolate e modificatelo secondo necessità prima di assegnarlo a un lavoro. In alternativa, è possibile scrivere il proprio programma da zero. Per ulteriori informazioni, consulta Configurazione delle proprietà dei job per i job Spark in AWS Glue. AWS Glue quindi compila il programma Scala sul server prima di eseguire il lavoro associato.
Per garantire che il programma venga compilato senza errori e venga eseguito come previsto, è importante caricarlo su un endpoint di sviluppo in un REPL (Read-Eval-Print Loop) o un Jupyter Notebook e testarlo lì prima di eseguirlo in un lavoro. Poiché il processo di compilazione viene effettuato sul server, non sarà possibile individuare chiaramente eventuali problemi.
Test di un programma Scala ETL in un notebook Jupyter su un endpoint di sviluppo
Per testare un programma Scala su un AWS Glue endpoint di sviluppo, configura l'endpoint di sviluppo come descritto in. Aggiunta di un endpoint di sviluppo
Quindi, collegalo a un notebook Jupyter in esecuzione localmente sul tuo computer o in remoto su un server notebook Amazon. EC2 Per installare una versione locale di un notebook Jupyter, segui le istruzioni riportate alla pagina Tutorial: notebook Jupyter in JupyterLab.
L'unica differenza tra l'esecuzione del codice Scala e l'esecuzione PySpark del codice sul notebook è che è necessario iniziare ogni paragrafo sul Notebook con quanto segue:
%sparkCiò impedisce al server Notebook di utilizzare come impostazione predefinita l'interprete PySpark Spark.
Test di un programma Scala ETL in una REPL Scala
È possibile testare un programma Scala su un endpoint di sviluppo utilizzando AWS GlueScala REPL. Segui le istruzioni riportate inTutorial: usa un notebook basato sull' SageMaker intelligenza artificiale, tranne che alla fine del SSH-to-REPL comando, sostituisci -t gluepyspark con-t glue-spark-shell. Questo richiama il AWS Glue Scala REPL.
Per chiudere la REPL quando si è terminato, digitare sys.exit.
