Creazione di un cluster Amazon EMR a lunga durata ed esecuzione di diversi passaggi tramite un SDK AWS - Amazon Simple Storage Service

Creazione di un cluster Amazon EMR a lunga durata ed esecuzione di diversi passaggi tramite un SDK AWS

Gli esempi di codice seguenti mostrano come creare un cluster Amazon EMR a lunga durata ed eseguire diversi passaggi.

Python
SDK per Python (Boto3)

Creare un cluster Amazon EMR di lunga durata che utilizzi Apache Spark per interrogare i dati storici delle recensioni di Amazon dal set di dati delle recensioni dei clienti Amazon. Eseguire un processo che ottenga dati per i prodotti più votati in categorie specifiche che contengono parole chiave nei titoli dei prodotti. I risultati dei processi vengono scritti in un bucket Amazon Simple Storage Service (Amazon S3).

  • Creare un bucket Amazon S3 e caricare uno script di processo.

  • Crea ruoli AWS Identity and Access Management (IAM).

  • Creare i gruppi di sicurezza di Amazon Elastic Compute Cloud (Amazon EC2).

  • Creare un cluster a lunga durata ed eseguire diversi passaggi.

Questo esempio è visualizzabile in maniera ottimale su GitHub. Per il codice sorgente completo e le istruzioni su come configurare ed eseguire, vedi l'esempio completo su GitHub.

Servizi utilizzati in questo esempio

  • Amazon EC2

  • Amazon EMR

  • IAM

  • Simple Storage Service (Amazon S3)

Per un elenco completo delle guide per gli sviluppatori di SDK AWS ed esempi di codice, consulta la sezione Utilizzo del servizio con un SDK AWS. Questo argomento include anche informazioni su come iniziare e dettagli sulle versioni precedenti dell'SDK.