Comprendere la crittografia in transito

È possibile configurare un cluster EMR per eseguire framework open source come Apache Spark, Apache Hive e Presto. Ciascuno di questi framework open source ha una serie di processi in esecuzione sulle istanze di un cluster. EC2 Ciascuno di questi processi può ospitare endpoint di rete per le comunicazioni di rete.

Se la crittografia in transito è abilitata su un cluster EMR, diversi endpoint di rete utilizzano meccanismi di crittografia diversi. Consulta le sezioni seguenti per saperne di più sugli endpoint di rete con framework open source specifici supportati dalla crittografia in transito, sui relativi meccanismi di crittografia e sulla versione di Amazon EMR che ha aggiunto il supporto. Ogni applicazione open source può inoltre avere best practice e configurazioni di framework open source diverse che puoi modificare.

Per una copertura ottimale della crittografia in transito, consigliamo di abilitare sia la crittografia in transito che Kerberos. Se abiliti solo la crittografia in transito, la crittografia in transito sarà disponibile solo per gli endpoint di rete che supportano TLS. Kerberos è necessario perché alcuni endpoint di rete con framework open source utilizzano Simple Authentication and Security Layer (SASL) per la crittografia in transito.

Tieni presente che tutti i framework open source non supportati nelle versioni di Amazon EMR 7.x.x non sono inclusi.

Spark

Quando abiliti la crittografia in transito nelle configurazioni di sicurezza, spark.authenticate viene automaticamente impostata e utilizza la crittografia basata su AES per true le connessioni RPC.

A partire da Amazon EMR 7.3.0, se utilizzi la crittografia in transito e l'autenticazione Kerberos, non puoi utilizzare le applicazioni Spark che dipendono dal metastore Hive. Hive 3 risolve questo problema in HIVE-16340. HIVE-44114 risolve completamente questo problema quando Spark open source può essere aggiornato a Hive 3. Nel frattempo, puoi decidere di risolvere il problema. hive.metastore.use.SSL false Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.

Per ulteriori informazioni, consulta la sicurezza di Spark nella documentazione di Apache Spark.

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
Spark History Server	spark.ssl.history.port	18480	TLS	emr-5,3,0+, emr-6,0+, emr-7,0+
Interfaccia utente di Spark	spark.ui.port	4440	TLS	emr-5,3,0+, emr-6,0+, emr-7,0+
Driver Spark	spark.driver.port	Dinamico	Crittografia basata su Spark AES	emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0+
Esecutore Spark	Executor Port (nessuna configurazione con nome)	Dinamico	Crittografia basata su Spark AES	emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0+
FILATO NodeManager	spark.shuffle.service.porta 1	7337	Crittografia basata su Spark AES	emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0+

1 è ^{ospitato su} spark.shuffle.service.port YARN ma è utilizzato solo da Apache NodeManager Spark.

Hadoop YARN

Secure Hadoop RPC è impostato e utilizza la crittografia in transito basata su SASL. privacy Ciò richiede che l'autenticazione Kerberos sia abilitata nella configurazione di sicurezza. Se non desideri la crittografia in transito per Hadoop RPC, configura. hadoop.rpc.protection = authentication Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

Se i tuoi certificati TLS non sono in grado di soddisfare i requisiti di verifica del nome host TLS, puoi configurarli. hadoop.ssl.hostname.verifier = ALLOW_ALL Ti consigliamo di utilizzare la configurazione predefinita dihadoop.ssl.hostname.verifier = DEFAULT, che impone la verifica del nome host TLS.

Per disabilitare HTTPS per gli endpoint dell'applicazione web YARN, configura. yarn.http.policy = HTTP_ONLY In questo modo il traffico verso questi endpoint rimane non crittografato. Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

Per ulteriori informazioni, consulta Hadoop in secure mode (Hadoop in modalità protetta) nella documentazione di Apache Hadoop.

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
ResourceManager	yarn.resourcemanager.webapp.address	8088	TLS	emr-7.3.0+
ResourceManager	yarn.resourcemanager.resource-tracker.address	8025	SASL+ Kerberos	emr-4.8.0+, emr-5.0+, emr-6.0.0+, emr-7.0+
ResourceManager	yarn.resourcemanager.scheduler.address	8030	SASL+ Kerberos	emr-4.8.0+, emr-5.0+, emr-6.0.0+, emr-7.0+
ResourceManager	yarn.resourcemanager.address	8032	SASL + Kerberos	emr-4.8.0+, emr-5.0+, emr-6.0.0+, emr-7.0+
ResourceManager	yarn.resourcemanager.admin.address	8033	SASL + Kerberos	emr-4.8.0+, emr-5.0+, emr-6.0.0+, emr-7.0+
TimelineServer	yarn.timeline-service.indirizzo	10200	SASL+ Kerberos	emr-4.8.0+, emr-5.0+, emr-6.0.0+, emr-7.0+
TimelineServer	yarn.timeline-service.webapp.address	8188	TLS	emr-7.3.0+
WebApplicationProxy	yarn.web-proxy.address	2088	SASL + Kerberos	emr-4.8.0+, emr-5.0+, emr-6.0.0+, emr-7.0+
NodeManager	yarn.nodemanager.address	8041	SASL+ Kerberos	emr-4.8.0+, emr-5.0+, emr-6.0.0+, emr-7.0+
NodeManager	yarn.nodemanager.localizer.address	8040	SASL+ Kerberos	emr-4.8.0+, emr-5.0+, emr-6.0.0+, emr-7.0+
NodeManager	yarn.nodemanager.webapp.address	8044	TLS	emr-7.3.0+
NodeManager	mapreduce.shuffle.porta 1	13562	TLS	emr-4.8.0+, emr-5.0+, emr-6.0,0+, emr-7.0+
NodeManager	spark.shuffle.service.porta 2	7337	Crittografia basata su Spark AES	emr-4.8.0+, emr-5.0.0+, emr-6.0.0+, emr-7.0+

1 è ^{ospitato su} mapreduce.shuffle.port YARN ma viene utilizzato solo da NodeManager Hadoop. MapReduce

² spark.shuffle.service.port è ospitato su YARN NodeManager ma viene utilizzato solo da Apache Spark.

Hadoop HDFS

Il nodo nome Hadoop, il nodo dati e il nodo journal supportano tutti TLS per impostazione predefinita se la crittografia in transito è abilitata nei cluster EMR.

Secure Hadoop RPC è impostato e utilizza la crittografia in transito basata su SASL. privacy Ciò richiede che l'autenticazione Kerberos sia abilitata nella configurazione di sicurezza.

Ti consigliamo di non modificare le porte predefinite utilizzate per gli endpoint HTTPS.

La crittografia dei dati sul trasferimento a blocchi HDFS utilizza AES 256 e richiede che la crittografia a riposo sia abilitata nella configurazione di sicurezza.

Per ulteriori informazioni, consulta Hadoop in secure mode (Hadoop in modalità protetta) nella documentazione di Apache Hadoop.

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
NomeNode	indirizzo dfs.namenode.https-address	9871	TLS	emr-4.8.0+, emr-5.0+, emr-6.0,0+, emr-7.0+
Nodo del nome	dfs.namenode.rpc-indirizzo-pc	8020	SASL+ Kerberos	emr-4.8.0+, emr-5.0+, emr-6.0.0+, emr-7.0+
Nodo dati	dfs.datanode.https.address	9865	TLS	emr-4.8.0+, emr-5.0+, emr-6.0,0+, emr-7.0+
Nodo dati	dfs.datanode.address	9866	SASL + Kerberos	emr-4.8.0+, emr-5.0+, emr-6.0.0+, emr-7.0+
Nodo Journal	indirizzo dfs.journalnode.https-address	8481	TLS	emr-4.8.0+, emr-5.0+, emr-6.0,0+, emr-7.0+
Nodo Journal	indirizzo dfs.journalnode.rpc	8485	SASL+ Kerberos	emr-4.8.0+, emr-5.0+, emr-6.0.0+, emr-7.0+
DFSZKFailoverControllore	dfs.ha.zkfc.port	8019	Nessuno	TLS per ZKFC è supportato solo in Hadoop 3.4.0. Per ulteriori informazioni, vedere HADOOP-18919. La versione 7.1.0 di Amazon EMR è attualmente su Hadoop 3.3.6. Le versioni successive di Amazon EMR saranno disponibili su Hadoop 3.4.0 in futuro

Hadoop MapReduce

Hadoop MapReduce, Job History Server e MapReduce shuffle supportano tutti TLS per impostazione predefinita quando la crittografia in transito è abilitata nei cluster EMR.

Lo shuffle crittografato Hadoop MapReduce utilizza TLS.

Ti consigliamo di non modificare le porte predefinite per gli endpoint HTTPS.

Per ulteriori informazioni, consulta Hadoop in secure mode (Hadoop in modalità protetta) nella documentazione di Apache Hadoop.

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
JobHistoryServer	mapreduce.jobhistory.webapp.https.address	19890	TLS	emr-7.3.0+
FILATO NodeManager	mapreduce.shuffle.porta 1	13562	TLS	emr-4.8.0+, emr-5.0+, emr-6.0,0+, emr-7.0+

1 è ^{ospitato su} mapreduce.shuffle.port YARN ma viene utilizzato solo da NodeManager Hadoop. MapReduce

Presto

Nelle versioni 5.6.0 e successive di Amazon EMR, la comunicazione interna tra il coordinatore Presto e i lavoratori utilizza TLS Amazon EMR configura tutte le configurazioni richieste per consentire una comunicazione interna sicura in Presto.

Se il connettore utilizza il metastore Hive come archivio di metadati, anche la comunicazione tra il comunicatore e il metastore Hive viene crittografata con TLS.

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
Coordinatore Presto	http-server.https.port	8446	TLS	emr-5,6,0+, emr-6,0+, emr-7,0+
Lavoratore Presto	http-server.https.port	8446	TLS	emr-5,6,0+, emr-6,0+, emr-7,0+

Trino

Nelle versioni 6.1.0 e successive di Amazon EMR, la comunicazione interna tra il coordinatore di Presto e i lavoratori utilizza TLS Amazon EMR configura tutte le configurazioni richieste per consentire una comunicazione interna sicura in Trino.

Se il connettore utilizza il metastore Hive come archivio di metadati, anche la comunicazione tra il comunicatore e il metastore Hive viene crittografata con TLS.

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
Coordinatore di Trino	http-server.https.port	8446	TLS	emr-6,1+, emr-7,0+
Operaio di Trino	http-server.https.port	8446	TLS	emr-6,1+, emr-7,0+

Hive e Tez

Per impostazione predefinita, Hive server 2, Hive metastore server, Hive LLAP Daemon Web UI e Hive LLAP shuffle supportano tutti TLS quando la crittografia in transito è abilitata nei cluster EMR. Per ulteriori informazioni sulle configurazioni Hive, vedere Proprietà di configurazione.

L'interfaccia utente Tez ospitata sul server Tomcat è anche abilitata per HTTPS quando la crittografia in transito è abilitata nel cluster EMR. Tuttavia, HTTPS è disabilitato per il servizio di interfaccia utente web Tez AM, quindi gli utenti AM non hanno accesso al file keystore per il listener SSL di apertura. È inoltre possibile abilitare questo comportamento con le configurazioni booleane e. tez.am.tez-ui.webservice.enable.ssl tez.am.tez-ui.webservice.enable.client.auth

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
HiveServer2	hive.server2.thrift.port	10000	TLS	emr-6.9.0+, emr-7.0.0+
HiveServer2	hive.server2.thrift.http.port	10001	TLS	emr-6.9.0+, emr-7.0+
HiveServer2	hive.server2.webui.port	10002	TLS	emr-7.3.0+
HiveMetastoreServer	hive.metastore.port	9083	TLS	emr-7.3.0+
Demone LLAP	hive.llap.daemon.yarn.shuffle.port	1551	TLS	emr-7.3.0+
Demone LLAP	hive.llap.daemon.web.port	15002	TLS	emr-7.3.0+
Demone LLAP	hive.llap.daemon.output.service.port	15003	Nessuno	Hive non supporta la crittografia in transito per questo endpoint
Demone LLAP	hive.llap.management.rpc.port	15004	Nessuno	Hive non supporta la crittografia in transito per questo endpoint
Demone LLAP	hive.llap.plugin.rpc.port	Dinamico	Nessuno	Hive non supporta la crittografia in transito per questo endpoint
Demone LLAP	hive.llap.daemon.rpc.port	Dinamico	Nessuno	Hive non supporta la crittografia in transito per questo endpoint
Web HCat	templeton.port	5011	TLS	emr-7.3.0+
Tez Application Master	tez.am.client.am.port-range tez.am.task.am.port-range	Dinamico	Nessuno	Tez non supporta la crittografia in transito per questo endpoint
Tez Application Master	tez.am.tez-ui.webservice.port-range	Dinamico	Nessuno	Disabilitato per impostazione predefinita. Può essere abilitato utilizzando le configurazioni Tez in emr-7.3.0+
Tez Task	N/A: non configurabile	Dinamico	Nessuno	Tez non supporta la crittografia in transito per questo endpoint
Interfaccia utente Tez	Configurabile tramite il server Tomcat su cui è ospitata l'interfaccia utente Tez	8080	TLS	emr-7.3.0+

Flink

Gli endpoint REST Apache Flink e la comunicazione interna tra i processi flink supportano TLS per impostazione predefinita quando si abilita la crittografia in transito nei cluster EMR.

security.ssl.internal.enabledè impostato true e utilizza la crittografia in transito per la comunicazione interna tra i processi Flink. Se non desideri la crittografia in transito per le comunicazioni interne, disabilita tale configurazione. Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

Amazon EMR imposta true e utilizza security.ssl.rest.enabledla crittografia in transito per gli endpoint REST. Inoltre, Amazon EMR imposta su true historyserver.web.ssl.enabledper utilizzare la comunicazione TLS con il server di cronologia Flink. Se non desideri la crittografia in transito per i punti REST, disabilita queste configurazioni. Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

Amazon EMR utilizza security.ssl.algorithms. per specificare l'elenco di cifrari che utilizzano la crittografia basata su AES. Sostituisci questa configurazione per utilizzare i codici che desideri.

Per ulteriori informazioni, consulta SSL Setup nella documentazione di Flink.

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
Flink History Server	historyserver.web.port	8082	TLS	emr-7.3.0+
Server Rest di Job Manager	rest.bind-port porta di riposo	Dinamico	TLS	emr-7.3.0+

HBase

Amazon EMR imposta Secure Hadoop RPC su. privacy HMaster e RegionServer utilizza la crittografia in transito basata su SASL. Ciò richiede che l'autenticazione Kerberos sia abilitata nella configurazione di sicurezza.

Amazon EMR imposta su true e utilizza TLS hbase.ssl.enabled per gli endpoint dell'interfaccia utente. Se non desideri utilizzare TLS per gli endpoint dell'interfaccia utente, disabilita questa configurazione. Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

Amazon EMR imposta hbase.rest.ssl.enabled hbase.thrift.ssl.enabled e utilizza TLS per gli endpoint dei server REST e Thirft, rispettivamente. Se non desideri utilizzare TLS per questi endpoint, disabilita questa configurazione. Ti consigliamo di utilizzare la configurazione predefinita per la massima sicurezza.

A partire da EMR 7.6.0, TLS è supportato sugli endpoint. HMaster RegionServer Amazon EMR imposta hbase.server.netty.tls.enabled anche e. hbase.client.netty.tls.enabled Se non desideri utilizzare TLS per questi endpoint, disabilita questa configurazione. Ti consigliamo di utilizzare la configurazione predefinita, che fornisce la crittografia e quindi una maggiore sicurezza. Per ulteriori informazioni, consulta Transport Level Security (TLS) nella comunicazione HBase RPC nella Apache HBase Reference Guide.

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
HMaster	HMaster	16000	SASL + Kerberos TLS	SASL + Kerberos in emr-4.8.0+, emr-5.0.0+, emr-6.0.0+ ed emr-7.0.0+ TLS in emr-7.6.0+
HMaster	HMaster INTERFACCIA UTENTE	16010	TLS	emr-7.3.0+
RegionServer	RegionServer	16020	SASL+ Kerberos TLS	SASL + Kerberos in emr-4.8.0+, emr-5.0.0+, emr-6.0.0+ ed emr-7.0.0+ TLS in emr-7.6.0+
RegionServer	RegionServer Informazioni	16030	TLS	emr-7.3.0+
HBase Server REST	Server di riposo	8070	TLS	emr-7.3.0+
HBase Server REST	Interfaccia utente Rest	8085	TLS	emr-7.3.0+
Hbase Thrift Server	Server Thrift	9090	TLS	emr-7.3.0+
Hbase Thrift Server	Interfaccia utente di Thrift Server	9095	TLS	emr-7.3.0+

Phoenix

Se hai abilitato la crittografia in transito nel tuo cluster EMR, Phoenix Query Server supporta la phoenix.queryserver.tls.enabled proprietà TLS, che è impostata su di default. true

Per ulteriori informazioni, consulta Configurazioni relative a HTTPS nella documentazione di Phoenix Query Server.

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
Server di interrogazione	phoenix.queryserver.http.port	8765	TLS	emr-7.3.0+

Oozie

OOZIE-3673 è disponibile su Amazon EMR se esegui Oozie su Amazon EMR 7.3.0 e versioni successive. Se devi configurare protocolli SSL o TLS personalizzati quando esegui un'azione e-mail, puoi impostare la proprietà nel file. oozie.email.smtp.ssl.protocols oozie-site.xml Per impostazione predefinita, se hai abilitato la crittografia in transito, Amazon EMR utilizza il protocollo TLS v1.3.

OOZIE-3677 e OOZIE-3674 sono disponibili anche su Amazon EMR se esegui Oozie su Amazon EMR 7.3.0 e versioni successive. Ciò consente di specificare keyStoreType trustStoreType le oozie-site.xml proprietà e le impostazioni. OOZIE-3674 aggiunge il parametro --insecure al client Oozie in modo che possa ignorare gli errori dei certificati.

Oozie applica la verifica del nome host TLS, il che significa che qualsiasi certificato utilizzato per la crittografia in transito deve soddisfare i requisiti di verifica del nome host. Se il certificato non soddisfa i criteri, il cluster potrebbe rimanere bloccato nella oozie share lib update fase in cui Amazon EMR effettua il provisioning del cluster. Ti consigliamo di aggiornare i certificati per assicurarti che siano conformi alla verifica del nome host. Tuttavia, se non riesci ad aggiornare i certificati, puoi disabilitare SSL per Oozie impostando la oozie.https.enabled proprietà su nella configurazione del cluster. false

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
EmbeddedOozieServer	oozie.https.port	11443	TLS	emr-7.3.0+
EmbeddedOozieServer	oozie.email.smtp.port	25	TLS	emr-7.3.0+

Hue

Per impostazione predefinita, Hue supporta TLS quando la crittografia in transito è abilitata nei cluster Amazon EMR. Per ulteriori informazioni sulle configurazioni Hue, consulta Configurare Hue con HTTPS/SSL.

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
Hue	http_port	8888	TLS	emr-7,4+

Livy

Per impostazione predefinita, Livy supporta TLS quando la crittografia in transito è abilitata nei cluster Amazon EMR. Per ulteriori informazioni sulle configurazioni Livy, consulta Abilitazione di HTTPS con Apache Livy.

A partire da Amazon EMR 7.3.0, se utilizzi la crittografia in transito e l'autenticazione Kerberos, non puoi utilizzare il server Livy per le applicazioni Spark che dipendono dal metastore Hive. Questo problema è stato risolto in HIVE-16340 e completamente risolto in SPARK-44114 quando l'applicazione open source Spark può essere aggiornata a Hive 3. Nel frattempo, puoi aggirare il problema se lo imposti. hive.metastore.use.SSL false Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.

Per ulteriori informazioni, consulta Abilitazione di HTTPS con Apache Livy.

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
livy-server	livy.server.port	8998	TLS	emr-7.4.0+

JupyterEnterpriseGateway

Per impostazione predefinita, Jupyter Enterprise Gateway supporta TLS quando la crittografia in transito è abilitata nei cluster Amazon EMR. Per ulteriori informazioni sulle configurazioni di Jupyter Enterprise Gateway, consulta Securing Enterprise Gateway Server.

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
jupyter_enterprise_gateway	c. porta EnterpriseGatewayApp	9547	TLS	emr-7,4+

JupyterHub

Per impostazione predefinita, JupyterHub supporta TLS quando la crittografia in transito è abilitata nei cluster Amazon EMR. Per ulteriori informazioni, consulta Attivazione della crittografia SSL nella documentazione. JupyterHub Non è consigliabile disabilitare la crittografia.

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
jupyter_hub	c. porta JupyterHub	9443	TLS	emr-5.14.0+, emr-6.0+, emr-7.0+

Zeppelin

Per impostazione predefinita, Zeppelin supporta TLS quando abiliti la crittografia in transito nel tuo cluster EMR. Per ulteriori informazioni sulle configurazioni Zeppelin, consulta Configurazione SSL nella documentazione di Zeppelin.

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
zeppelin	zeppelin.server.ssl.porta	8890	TLS	7,3,0+

Zookeeper

Amazon EMR si configura serverCnxnFactory per abilitare il TLS org.apache.zookeeper.server.NettyServerCnxnFactory per il quorum di Zookeeper e la comunicazione con i clienti.

secureClientPortspecifica la porta che ascolta le connessioni TLS. Se il client non supporta le connessioni TLS a Zookeeper, i client possono connettersi alla porta non sicura 2181 specificata in. clientPort Puoi sovrascrivere o disabilitare queste due porte.

Amazon EMR imposta entrambi sslQuorum e admin.forceHttps per abilitare la comunicazione TLS true per il quorum e il server di amministrazione. Se non desideri la crittografia in transito per il quorum e il server di amministrazione, puoi disabilitare tali configurazioni. Ti consigliamo di utilizzare le configurazioni predefinite per la massima sicurezza.

Per ulteriori informazioni, consulta Crittografia, Autenticazione, Opzioni di autorizzazione nella documentazione di Zookeeper.

Componente	Endpoint	Porta	Meccanismo di crittografia in transito	Supportato dalla versione
Server Zookeeper	secureClientPort	2281	TLS	emr-7,4+
Server Zookeeper	Porte Quorum	Ce ne sono 2: I follower usano 2888 per connettersi al leader. L'elezione del leader utilizza 3888	TLS	emr-7.4.0+
Server Zookeeper	Porta admin.server	8341	TLS	emr-7,4+