Considerazioni e best practice - Amazon EMR

Considerazioni e best practice

Limitazioni di un cluster Amazon EMR con più nodi primari:

  • Non puoi utilizzare un cluster Amazon EMR con più nodi primari con parchi istanze. Per ulteriori informazioni sulle funzionalità di Amazon EMR con più nodi primari, consulta Applicazioni e caratteristiche supportate.

  • Se due nodi primari riscontrano errori contemporaneamente, Amazon EMR non può ripristinare il cluster.

  • I cluster Amazon EMR con più nodi primari non possono tollerare gli errori della zona di disponibilità. Nel caso di un'interruzione nella zona di disponibilità, perdi l'accesso ai cluster EMR.

  • Amazon EMR non garantisce le funzionalità di disponibilità elevata di applicazioni open-source diverse da quelle specificate in Applicazioni supportate in un cluster Amazon EMR con più nodi primari.

  • In Amazon EMR dal rilascio 5.23.0 fino al rilascio 5.30.1, solo due dei tre nodi primari eseguono HDFS NameNode.

Considerazioni per la configurazione della sottorete:

  • Un cluster Amazon EMR con più nodi primari può trovarsi in una sola zona di disponibilità o sottorete. Amazon EMR non è in grado di sostituire un nodo primario con errori se la sottorete è completamente utilizzata o sovrascritta in caso di failover. Per evitare questo scenario, è opportuno dedicare un'intera sottorete a un cluster Amazon EMR. Inoltre, assicurati che nella sottorete siano disponibili sufficienti indirizzi IP privati.

Considerazioni per la configurazione dei nodi core:

  • Per garantire che anche il gruppo di istanze del nodo principale sia altamente disponibile, ti consigliamo di avviare almeno quattro nodi principali. Se decidi di avviare un cluster più piccolo con tre nodi principali (o un numero minore), imposta dfs.replication parameter almeno su 2 in modo che HDFS abbia una replica DFS sufficiente. Per ulteriori informazioni, consulta la sezione dedicata alla Configurazione di HDFS.

avvertimento

  1. L'impostazione di dfs.replication su 1 per i cluster con meno di quattro nodi può causare la perdita di dati HDFS in caso di disattivazione anche di un singolo nodo. Ti consigliamo di utilizzare un cluster con almeno quattro nodi principali per i carichi di lavoro di produzione.

  2. Amazon EMR non consente ai cluster di dimensionare i nodi principali al di sotto di dfs.replication. Ad esempio, se dfs.replication = 2, il numero minimo di nodi principali è 2.

  3. Quando utilizzi il dimensionamento gestito, il dimensionamento automatico o scegli di dimensionare manualmente il cluster, ti consigliamo di impostare dfs.replication su 2 o su un valore superiore.

Considerazioni per l'impostazione di allarmi sui parametri:

  • Amazon EMR non fornisce parametri specifici dell'applicazione su HDFS o YARN. Ti consigliamo di configurare gli allarmi per monitorare il conteggio delle istanze dei nodi primari. Configura gli allarmi usando i seguenti parametri di Amazon CloudWatch: MultiMasterInstanceGroupNodesRunning, MultiMasterInstanceGroupNodesRunningPercentage o MultiMasterInstanceGroupNodesRequested. CloudWatch ti avviserà in caso di errore e sostituzione del nodo primario.

    • Se il MultiMasterInstanceGroupNodesRunningPercentage è inferiore a 1.0 e superiore a 0.5, il cluster può avere perso un nodo primario. In questo caso, Amazon EMR tenta di sostituire un nodo primario.

    • Se il MultiMasterInstanceGroupNodesRunningPercentage è inferiore a 0.5, due nodi primari potrebbero avere riscontrato errori. In questo caso, il quorum viene perso e il cluster non può essere recuperato. È necessario eseguire manualmente la migrazione dei dati al di fuori del cluster.

    Per ulteriori informazioni, consulta Impostazione di allarmi per i parametri.