Migrazione dagli endpoint di sviluppo alle sessioni interattive - AWS Glue

Migrazione dagli endpoint di sviluppo alle sessioni interattive

Utilizza la seguente lista di controllo per determinare il metodo appropriato per eseguire la migrazione dagli endpoint di sviluppo alle sessioni interattive.

Il tuo script dipende da funzionalità specifiche di AWS Glue 0.9 o 1.0 (ad esempio, HDFS, YARN, ecc.)?

Se la risposta è sì, consulta Migrazione dei processi AWS Glue a AWS Glue versione 3.0 per scoprire come migrare da Glue 0.9 o 1.0 a Glue 3.0 e versioni successive.

Quale metodo utilizzi per accedere all'endpoint di sviluppo?

Se usi questo metodo Allora completa le seguenti operazioni
Notebook SageMaker AI, notebook Jupyter o Jupyter Lab Esegui la migrazione al notebook AWS Glue Studio scaricando i file .ipynb su Jupyter e crea un nuovo processo del notebook AWS Glue Studio caricando il file .ipynb. In alternativa, puoi usare anche SageMaker AI Studio e selezionare il kernel AWS Glue.
Notebook Zeppelin Converti il notebook in un notebook Jupyter manualmente copiando e incollando il codice o automaticamente utilizzando un convertitore di terze parti come ze2nb. Quindi, usa il notebook nel notebook AWS Glue Studio o in SageMaker AI Studio.
IDE Consulta Creazione di processi AWS Glue con PyCharm tramite sessioni interattive di AWS Glue o Utilizzo di sessioni interattive con Microsoft Visual Studio Code.
REPL

Installa aws-glue-session package in locale, quindi esegui il comando seguente:

  • Per Python: jupyter console --kernal glue_pyspark

  • Per Scala: jupyter console --kernal glue_spark

SSH Non esiste un'opzione corrispondente per le sessioni interattive. In alternativa, puoi usare un'immagine Docker. Per ulteriori informazioni, consulta Sviluppare utilizzando un'immagine Docker