Sicurezza in Amazon EMR

La sicurezza e la conformità sono una responsabilità che condividi. AWS Questo modello di responsabilità condivisa può contribuire ad alleggerire il carico operativo in quanto AWS gestisce, gestisce e controlla i componenti dal sistema operativo host e dal livello di virtualizzazione fino alla sicurezza fisica delle strutture in cui operano i cluster EMR. Ti assumi la responsabilità, la gestione e l'aggiornamento dei cluster Amazon EMR, nonché la configurazione del software applicativo e AWS i controlli di sicurezza forniti. Questa differenziazione di responsabilità viene comunemente definita sicurezza del cloud rispetto alla sicurezza nel cloud.

• Sicurezza del cloud: AWS è responsabile della protezione dell'infrastruttura in esecuzione Servizi AWS . AWS AWS ti offre anche servizi che puoi utilizzare in modo sicuro. I revisori di terze parti testano e verificano regolarmente l'efficacia della sicurezza come parte dei programmi di conformitàAWS. Per maggiori informazioni sui programmi di conformità che si applicano ad Amazon EMR, consulta Servizi AWS la sezione «Scope by compliance program».

• Sicurezza nel cloud: sei anche responsabile dell'esecuzione di tutte le attività di configurazione e gestione della sicurezza necessarie per proteggere un cluster Amazon EMR. I clienti che implementano un cluster Amazon EMR sono responsabili della gestione del software applicativo installato sulle istanze e della configurazione delle funzionalità fornite come i gruppi di sicurezza, AWS la crittografia e il controllo degli accessi in base ai requisiti, alle leggi e ai regolamenti applicabili.

La presente documentazione aiuta a comprendere come applicare il modello di responsabilità condivisa quando si utilizza Amazon EMR. Gli argomenti di questo capitolo mostrano come configurare Amazon EMR e utilizzarne altri Servizi AWS per raggiungere i tuoi obiettivi di sicurezza e conformità.

Sicurezza della rete e dell'infrastruttura

In quanto servizio gestito, Amazon EMR è protetto dalle procedure di sicurezza di rete AWS globali descritte nel white paper Amazon Web Services: panoramica dei processi di sicurezza. AWS i servizi di protezione della rete e dell'infrastruttura offrono protezioni granulari sia a livello di host che a livello di rete. Supporti Servizi AWS e funzionalità applicative di Amazon EMR che soddisfano i requisiti di protezione e conformità della rete.

• I gruppi di sicurezza di Amazon EC2 fungono da firewall virtuale per le istanze di cluster Amazon EMR, limitando il traffico di rete in entrata e in uscita. Per ulteriori informazioni, consulta Controllare il traffico di rete con gruppi di sicurezza.

• Amazon EMR block public access (BPA) impedisce l'avvio di un cluster in una sottorete pubblica se il cluster ha una configurazione di sicurezza che consente il traffico in entrata da indirizzi IP pubblici su una porta. Per ulteriori informazioni, consulta Using Amazon EMR block public access.

• Secure Shell (SSH) aiuta a fornire agli utenti un modo sicuro per connettersi alla riga di comando sulle istanze del cluster. È inoltre possibile utilizzare SSH per visualizzare le interfacce Web ospitate dalle applicazioni sul nodo master di un cluster. Per ulteriori informazioni, consulta Use an EC2 key pair for SSH credenziali e Connect to a cluster.

Aggiornamenti per l'AMI predefinita di Amazon Linux per Amazon EMR

Importante

I cluster Amazon EMR che eseguono le AMI (Amazon Linux Machine Images) Amazon Linux o Amazon Linux 2 utilizzano il comportamento predefinito di Amazon Linux e non scaricano e installano automaticamente aggiornamenti importanti e critici dei kernel che richiedono un riavvio. Si tratta dello stesso comportamento assunto da altre istanze Amazon EC2 che eseguono l'AMI predefinita di Amazon Linux. Se nuovi aggiornamenti software Amazon Linux che richiedono un riavvio (ad esempio, aggiornamenti del kernel, NVIDIA e CUDA) risultano disponibili dopo il rilascio di una versione di Amazon EMR, le istanze del cluster EMR che eseguono l'AMI predefinita non scaricano e installano automaticamente tali aggiornamenti. Per ottenere gli aggiornamenti del kernel, puoi personalizzare l'AMI di Amazon EMR per utilizzare l'AMI di Amazon Linux più recente.

A seconda dell'assetto di sicurezza dell'applicazione e la durata di esecuzione di un cluster, è possibile scegliere di riavviare periodicamente il cluster per applicare gli aggiornamenti di sicurezza, oppure creare un'operazione di bootstrap per personalizzare l'installazione dei pacchetti e degli aggiornamenti. È anche possibile scegliere di provare e quindi installare determinati aggiornamenti di sicurezza sulle istanze del cluster in esecuzione. Per ulteriori informazioni, consulta Utilizzo dell'AMI Amazon Linux predefinita per Amazon EMR. Tieni presente che la configurazione di rete deve consentire l'uscita di HTTP e HTTPS verso i repository Linux in Amazon S3, altrimenti gli aggiornamenti di sicurezza non avranno esito positivo.

AWS Identity and Access Management con Amazon EMR

AWS Identity and Access Management (IAM) è un AWS servizio che aiuta un amministratore a controllare in modo sicuro l'accesso alle AWS risorse. Gli amministratori IAM controllano chi è authenticated (autenticato) (accesso effettuato) e authorized (autorizzato) (dispone di autorizzazioni) a utilizzare risorse Amazon EMR. Le identità IAM includono utenti, gruppi e ruoli. Un ruolo IAM è simile a un utente IAM, ma non è associato a una persona specifica ed è pensato per essere assunto da qualsiasi utente che necessiti di autorizzazioni. Per ulteriori informazioni, consulta AWS Identity and Access Management Amazon EMR. Amazon EMR utilizza più ruoli IAM per aiutarti a implementare i controlli di accesso per i cluster Amazon EMR. IAM è un AWS servizio che puoi utilizzare senza costi aggiuntivi.

• Ruolo IAM per Amazon EMR (ruolo EMR): controlla in che modo il servizio Amazon EMR è in grado di accedere ad altri utenti per tuo Servizi AWS conto, ad esempio fornisce istanze Amazon EC2 all'avvio del cluster Amazon EMR. Per ulteriori informazioni, consulta Configurare i ruoli del servizio IAM per le autorizzazioni e le risorse di Amazon EMR. Servizi AWS

• Ruolo IAM per le istanze EC2 del cluster (profilo dell'istanza EC2): un ruolo assegnato a ogni istanza EC2 nel cluster Amazon EMR all'avvio dell'istanza. I processi applicativi eseguiti sul cluster utilizzano questo ruolo per interagire con altri Servizi AWS, come Amazon S3. Per ulteriori informazioni, consulta il ruolo IAM per le istanze EC2 del cluster.

• Ruolo IAM per le applicazioni (ruolo di runtime): un ruolo IAM che puoi specificare quando invii un lavoro o una query a un cluster Amazon EMR. Il job o la query che invii al tuo cluster Amazon EMR utilizza il ruolo di runtime per accedere alle AWS risorse, come gli oggetti in Amazon S3. Puoi specificare i ruoli di runtime con Amazon EMR per i processi Spark e Hive. Utilizzando i ruoli di runtime, puoi isolare i job in esecuzione sullo stesso cluster utilizzando ruoli IAM diversi. Per ulteriori informazioni, consulta Utilizzo del ruolo IAM come ruolo di runtime con Amazon EMR.

Le identità della forza lavoro si riferiscono agli utenti che creano o gestiscono carichi di lavoro. AWS Amazon EMR fornisce supporto per le identità della forza lavoro con quanto segue:

• AWS IAM identity center (Idc) è consigliato Servizio AWS per gestire l'accesso degli utenti alle risorse. AWS È un unico posto in cui è possibile assegnare le identità della forza lavoro e accedere in modo coerente a più AWS account e applicazioni. Amazon EMR supporta le identità della forza lavoro tramite una propagazione affidabile delle identità. Grazie alla funzionalità affidabile di propagazione delle identità, un utente può accedere all'applicazione e tale applicazione può passare l'identità dell'utente ad altri Servizi AWS per autorizzare l'accesso a dati o risorse. Per ulteriori informazioni, consulta la sezione Abilitazione del supporto per AWS IAM Identity Center con Amazon EMR.

  Lightweight Directory Access Protocol (LDAP) è un protocollo applicativo standard di settore aperto, indipendente dal fornitore e per l'accesso e la gestione di informazioni su utenti, sistemi, servizi e applicazioni sulla rete. LDAP è comunemente usato per l'autenticazione degli utenti su server di identità aziendali come Active Directory (AD) e OpenLDAP. Abilitando LDAP con cluster EMR, consenti agli utenti di utilizzare le credenziali esistenti per autenticare e accedere ai cluster. Per ulteriori informazioni, consulta Attivazione del supporto per LDAP con Amazon EMR.

  Kerberos è un protocollo di autenticazione di rete progettato per fornire un'autenticazione avanzata per le applicazioni client/server utilizzando la crittografia a chiave segreta. Quando usi Kerberos, Amazon EMR configura Kerberos per le applicazioni, i componenti e i sottosistemi che installa nel cluster in modo che siano autenticati tra loro. Per accedere a un cluster con Kerberos configurato, un principale kerberos deve essere presente nel Kerberos Domain Controller (KDC). Per ulteriori informazioni, consulta Abilitazione del supporto per Kerberos con Amazon EMR.

Cluster single-tenant e multi-tenant

Per impostazione predefinita, un cluster è configurato per una singola tenancy con il profilo di istanza EC2 come identità IAM. In un cluster single-tenant, ogni job ha accesso completo e completo al cluster e l'accesso a tutte le Servizi AWS risorse viene effettuato sulla base del profilo dell'istanza EC2. In un cluster multi-tenant, i tenant sono isolati gli uni dagli altri e non hanno accesso completo ai cluster e alle istanze EC2 del cluster. L'identità nei cluster multi-tenant è costituita dai ruoli di runtime o dagli identificativi della forza lavoro. In un cluster multi-tenant, puoi anche abilitare il supporto per il controllo granulare degli accessi (FGAC) tramite o Apache Ranger. AWS Lake Formation In un cluster con ruoli di runtime o FGAC abilitati, l'accesso al profilo dell'istanza EC2 viene disabilitato anche tramite iptables.

Importante

Tutti gli utenti che hanno accesso a un cluster single-tenant possono installare qualsiasi software sul sistema operativo Linux (OS), modificare o rimuovere i componenti software installati da Amazon EMR e influire sulle istanze EC2 che fanno parte del cluster. Se vuoi assicurarti che gli utenti non possano installare o modificare le configurazioni di un cluster Amazon EMR, ti consigliamo di abilitare la multi-tenancy per il cluster. Puoi abilitare la multi-tenancy su un cluster abilitando il supporto per runtime role, AWS IAM Identity Center, Kerberos o LDAP.

Protezione dei dati

Con AWS, puoi controllare i tuoi dati utilizzando Servizi AWS strumenti per determinare in che modo i dati sono protetti e chi può accedervi. Servizi come AWS Identity and Access Management (IAM) consentono di gestire in modo sicuro l'accesso Servizi AWS e le risorse. AWS CloudTrail consente il rilevamento e il controllo. Amazon EMR semplifica la crittografia dei dati inattivi in Amazon S3 utilizzando chiavi gestite AWS o completamente gestite da te. Amazon EMR supporta anche l'abilitazione della crittografia per i dati in transito. Per ulteriori informazioni, consulta crittografare i dati a riposo e in transito.

Controllo dell'accesso ai dati

Con il controllo dell'accesso ai dati, puoi controllare a quali dati può accedere un'identità IAM o un'identità della forza lavoro. Amazon EMR supporta i seguenti controlli di accesso:

• Policy basate sull'identità IAM: gestisci le autorizzazioni per i ruoli IAM che usi con Amazon EMR. Le policy IAM possono essere combinate con l'etichettatura per controllare l'accesso su base individuale. cluster-by-cluster Per ulteriori informazioni, consulta AWS Identity and Access Management Amazon EMR.

• AWS Lake Formationcentralizza la gestione delle autorizzazioni dei dati e ne semplifica la condivisione all'interno dell'organizzazione e all'esterno. Puoi usare Lake Formation per abilitare un accesso granulare a livello di colonna a database e tabelle nel Glue Data Catalog. AWS Per ulteriori informazioni, consulta Using AWS Lake Formation with Amazon EMR.

• L'accesso ad Amazon S3 concede identità di mappe, identità di mappe in directory come Active Directory o AWS Identity and Access Management (IAM) principal, ai set di dati in S3. Inoltre, l'accesso S3 garantisce l'identità dell'utente finale del registro e l'applicazione utilizzata per accedere ai dati S3 in. AWS CloudTrail Per ulteriori informazioni, consulta Usare le concessioni di accesso di Amazon S3 con Amazon EMR.

• Apache Ranger è un framework per abilitare, monitorare e gestire una sicurezza completa dei dati su tutta la piattaforma Hadoop. Amazon EMR supporta il controllo granulare degli accessi basato su Apache Ranger per Apache Hive Metastore e Amazon S3. Per ulteriori informazioni, consulta Integrazione di Apache Ranger con Amazon EMR.