Cos'è Amazon EMR Serverless?

Amazon EMR Serverless è un'opzione di distribuzione per Amazon EMR che fornisce un ambiente di runtime serverless. Ciò semplifica il funzionamento delle applicazioni di analisi che utilizzano i più recenti framework open source, come Apache Spark e Apache Hive. Con EMR Serverless, non è necessario configurare, ottimizzare, proteggere o utilizzare i cluster per eseguire applicazioni con questi framework.

EMRServerless consente di evitare un approvvigionamento eccessivo o insufficiente delle risorse per le attività di elaborazione dei dati. EMRServerless determina automaticamente le risorse necessarie all'applicazione, ottiene queste risorse per elaborare i lavori e rilascia le risorse al termine dei processi. Nei casi d'uso in cui le applicazioni richiedono una risposta entro pochi secondi, come l'analisi interattiva dei dati, è possibile preinizializzare le risorse necessarie all'applicazione al momento della creazione dell'applicazione.

Con EMR Serverless, continuerai a ottenere i vantaggi di AmazonEMR, come la compatibilità open source, la concorrenza e le prestazioni di runtime ottimizzate per i framework più diffusi.

EMRServerless è adatto ai clienti che desiderano semplificare il funzionamento delle applicazioni che utilizzano framework open source. Offre un avvio rapido dei processi, una gestione automatica della capacità e un controllo diretto dei costi.

Concetti

In questa sezione, trattiamo i termini e i concetti relativi al EMR sistema serverless presenti nella nostra Guida per l'utente EMR Serverless.

Versione di rilascio

Una EMR versione di Amazon è un insieme di applicazioni open source dell'ecosistema dei big data. Ogni versione include diverse applicazioni, componenti e funzionalità per i big data che scegli EMR Serverless per la distribuzione e la configurazione in modo che possano eseguire le tue applicazioni. Quando si crea un'applicazione, è necessario specificarne la versione di rilascio. Scegli la versione di EMR rilascio di Amazon e la versione del framework open source che desideri utilizzare nella tua applicazione. Per ulteriori informazioni sulle versioni preliminari, consultaVersioni di rilascio di Amazon EMR Serverless.

Applicazione

Con EMR Serverless, puoi creare una o più applicazioni EMR Serverless che utilizzano framework di analisi open source. Per creare un'applicazione, è necessario specificare i seguenti attributi:

• La versione di EMR rilascio di Amazon per la versione del framework open source che desideri utilizzare. Per determinare la tua versione di rilascio, consultaVersioni di rilascio di Amazon EMR Serverless.

• Il runtime specifico che desideri venga utilizzato dall'applicazione, ad esempio Apache Spark o Apache Hive.

Dopo aver creato un'applicazione, puoi inviare lavori di elaborazione dati o richieste interattive all'applicazione.

Ogni applicazione EMR Serverless viene eseguita su un Amazon Virtual Private Cloud (VPC) sicuro e distinto dalle altre applicazioni. Inoltre, puoi usare AWS Identity and Access Management (IAM) politiche per definire quali utenti e ruoli possono accedere all'applicazione. È inoltre possibile specificare limiti per controllare e tenere traccia dei costi di utilizzo sostenuti dall'applicazione.

Prendi in considerazione la possibilità di creare più applicazioni quando devi fare quanto segue:

• Utilizza diversi framework open source

• Utilizza versioni diverse di framework open source per diversi casi d'uso

• Esegui test A/B durante l'aggiornamento da una versione all'altra

• Mantieni ambienti logici separati per scenari di test e produzione

• Fornisci ambienti logici separati per diversi team con controlli dei costi e monitoraggio dell'utilizzo indipendenti

• Separa diverse line-of-business applicazioni

EMRServerless è un servizio regionale che semplifica il modo in cui i carichi di lavoro vengono eseguiti su più zone di disponibilità in una regione. Per ulteriori informazioni su come utilizzare le applicazioni con EMR Serverless, consulta. Interazione con un'applicazione

Esecuzione del processo

L'esecuzione di un processo è una richiesta inviata a un'applicazione EMR Serverless che l'applicazione esegue in modo asincrono e ne tiene traccia fino al completamento. Esempi di lavori includono una query HiveQL che invii a un'applicazione Apache Hive o uno script di elaborazione dati che invii a PySpark un'applicazione Apache Spark. Quando inviate un lavoro, dovete specificare un ruolo di runtime, creato inIAM, che il lavoro utilizza per accedere AWS risorse, come oggetti Amazon S3. È possibile inviare più richieste di esecuzione di lavoro a un'applicazione e ogni esecuzione di lavoro può utilizzare un ruolo di runtime diverso per l'accesso AWS risorse. Un'applicazione EMR serverless inizia a eseguire i lavori non appena li riceve ed esegue più richieste di lavoro contemporaneamente. Per ulteriori informazioni su come EMR Serverless esegue i job, consulta. Esecuzione di processi

Worker

Un'applicazione EMR serverless utilizza internamente i lavoratori per eseguire i carichi di lavoro. Le dimensioni predefinite di questi worker si basano sul tipo di applicazione e sulla versione di EMR rilascio di Amazon. Quando pianifichi l'esecuzione di un lavoro, puoi sostituire queste dimensioni.

Quando si invia un lavoro, EMR Serverless calcola le risorse necessarie all'applicazione per il lavoro e pianifica i lavoratori. EMRServerless suddivide i carichi di lavoro in attività, scarica immagini, provvede e organizza i lavoratori e li disattiva al termine del lavoro. EMRServerless aumenta o riduce automaticamente i dipendenti in base al carico di lavoro e al parallelismo richiesti in ogni fase del lavoro. Questa scalabilità automatica elimina la necessità di stimare il numero di lavoratori necessari all'applicazione per eseguire i carichi di lavoro.

Capacità preinizializzata

EMRServerless offre una funzionalità di capacità preinizializzata che mantiene gli operatori inizializzati e pronti a rispondere in pochi secondi. Questa capacità crea in modo efficace un pool di lavoratori accogliente per un'applicazione. Per configurare questa funzionalità per ogni applicazione, impostate il initial-capacity parametro di un'applicazione. Quando si configura la capacità preinizializzata, i lavori possono iniziare immediatamente in modo da poter implementare applicazioni iterative e lavori urgenti. Per ulteriori informazioni sui worker preinizializzati, consulta. Configurazione di un'applicazione

EMRStudio

EMRStudio è la console utente che puoi utilizzare per gestire le tue applicazioni EMR Serverless. Se nel tuo account non è presente EMR uno Studio quando crei la tua prima applicazione EMR Serverless, ne creiamo automaticamente uno per te. Puoi accedere a EMR Studio dalla EMR console Amazon oppure puoi attivare l'accesso federato dal tuo provider di identità (IdP) IAM tramite IAM Identity Center. In questo modo, gli utenti possono accedere a Studio e gestire le applicazioni EMR Serverless senza accesso diretto alla EMR console Amazon. Per saperne di più su come le applicazioni EMR Serverless funzionano con EMR Studio, consulta Interazione con l'applicazione dalla console Studio EMR e. Esecuzione di processi dalla console EMR Studio