Apache Flink

PDFRSS

Apache Flink è un motore di flussi di dati in streaming che può essere utilizzato l'elaborazione di flussi in tempo reale su origini dati a elevato throughput. Flink supporta la semantica temporale out-of-order degli eventi, la semantica Exactly-Once, il controllo della contropressione ed è APIs ottimizzata per scrivere applicazioni in streaming e in batch.

Inoltre, Flink dispone di connettori per origini dati di terze parti, ad esempio le seguenti:

• Flusso di dati Amazon Kinesis

• Apache Kafka

• Connettore Flink Elasticsearch

• API di streaming di Twitter

• Cassandra

Amazon EMR supporta Flink come applicazione YARN in modo da poter gestire le risorse insieme ad altre applicazioni all'interno di un cluster. Flink-on-YARNti consente di inviare lavori Flink transitori oppure puoi creare un cluster di lunga durata che accetta più lavori e alloca le risorse in base alla prenotazione YARN complessiva.

Flink è incluso in Amazon EMR 5.1.0 e versioni successive.

Nota

Nella versione 5.2.1 di Amazon EMR è stato integrato il supporto per la classe FlinkKinesisConsumer.

La seguente tabella indica la versione di Flink inclusa nell'ultimo rilascio della serie Amazon EMR 7.x insieme ai componenti che Amazon EMR installa con Flink.

Per la versione dei componenti installati con Flink in questa versione, vedere Versioni dei componenti della release 7.7.0.

Informazioni sulla versione di Flink per emr-7.7.0

Etichetta di rilascio di Amazon EMR	Versione di Flink	Componenti installati con Flink
emr-7.7.0	Flink 1.20.0	emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta

La seguente tabella indica la versione di Flink inclusa nell'ultimo rilascio della serie Amazon EMR 6.x insieme ai componenti che Amazon EMR installa con Flink.

Per la versione dei componenti installati con Flink in questo rilascio, consulta la sezione Versioni dei componenti del rilascio 6.15.0.

Informazioni sulla versione di Flink per emr-6.15.0

Etichetta di rilascio di Amazon EMR	Versione di Flink	Componenti installati con Flink
emr-6.15.0	Flink 1.17.1	emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors

La seguente tabella indica la versione di Flink inclusa nell'ultimo rilascio della serie Amazon EMR 5.x insieme ai componenti che Amazon EMR installa con Flink.

Per la versione dei componenti installati con Flink in questa versione, vedere Versioni dei componenti della release 5.36.2.

Informazioni sulla versione di Flink per emr-5.36.2

Etichetta di rilascio di Amazon EMR	Versione di Flink	Componenti installati con Flink
emr-5.36.2	Flink 1.14.2	emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config

Argomenti

• Creazione di un cluster con Flink

• Configurazione di Flink in Amazon EMR

• Utilizzo dei processi Flink in Amazon EMR

• Utilizzo della shell Scala

• Trovare l'interfaccia Web Flink

• Autoscaler Flink

• Ottimizzazione dei tempi di riavvio dei processi per le operazioni di ripristino delle attività e dimensionamento

• Utilizzo dei processi Flink di Zeppelin in Amazon EMR

• Cronologia dei rilasci di Flink