Servizio gestito per Apache Flink: come funziona

Il servizio gestito per Apache Flink è un servizio completamente gestito da Amazon che consente di creare e gestire un'applicazione Apache Flink per elaborare i flussi di dati.

Programmazione dell'applicazione Apache Flink

Un'applicazione Apache Flink è un'applicazione Java o Scala creata con il framework Apache Flink. Puoi creare la tua applicazione Apache Flink in locale.

Le applicazioni utilizzano principalmente l'DataStream API o l'API Table. Sono disponibili anche le altre API Apache Flink, ma sono utilizzate meno comunemente nella creazione di applicazioni di streaming.

Le funzionalità delle due API sono descritte di seguito:

DataStream API

Il modello di programmazione dell' DataStream API Apache Flink si basa su due componenti:

• Flusso di dati: la rappresentazione strutturata di un flusso continuo di record di dati.

• Operatore di trasformazione: accetta uno o più flussi di dati come input e produce uno o più flussi di dati come output.

Le applicazioni create con l' DataStream API eseguono le seguenti operazioni:

• Lettura dei dati da un'origine dati (ad esempio un flusso Kinesis o un argomento Amazon MSK).

• Trasformazione di dati, ad esempio filtraggio, aggregazione o arricchimento.

• Scrittura dei dati trasformati in un sink di dati.

Le applicazioni che utilizzano l' DataStream API possono essere scritte in Java o Scala e possono essere lette da un flusso di dati Kinesis, un argomento di Amazon MSK o un'origine personalizzata.

L'applicazione elabora i dati utilizzando un connettore. Apache Flink utilizza i seguenti tipi di connettori:

• Origine: connettore utilizzato per leggere dati esterni.

• Sink: connettore utilizzato per scrivere in posizioni esterne.

• Operatore: connettore utilizzato per elaborare i dati all'interno dell'applicazione.

Un'applicazione tipica è costituita da almeno un flusso di dati con un'origine, un flusso di dati con uno o più operatori e almeno un sink di dati.

Per ulteriori informazioni sull'utilizzo dell' DataStream API, consulta. DataStream API

API Table

Il modello di programmazione dell'API Table di Apache Flink si basa sui componenti seguenti:

• Ambiente tabellare: interfaccia per i dati sottostanti utilizzata per creare e ospitare una o più tabelle.

• Tabella: un oggetto che fornisce l'accesso a una tabella o una vista SQL.

• Origine della tabella: serve per leggere dati da un'origine esterna, ad esempio un argomento di Amazon MSK.

• Funzione della tabella: una query SQL o una chiamata API utilizzata per trasformare dati.

• Sink della tabella: serve per scrivere dati in un percorso esterno, ad esempio un bucket Amazon S3.

Le applicazioni create con l'API Table eseguono le seguenti operazioni:

• Creazione di un TableEnvironment collegandosi a un'Table Source.

• Crea una tabella nel TableEnvironment utilizzando query SQL o funzioni API Table.

• Esecuzione di una query sulla tabella utilizzando API Table o SQL.

• Trasformazione dei risultati della query utilizzando funzioni Table o query SQL.

• Scrittura dei risultati della query o della funzione su un Table Sink.

Le applicazioni che utilizzano l'API Table possono essere scritte in Java o Scala e possono eseguire query sui dati utilizzando chiamate API o query SQL.

Per ulteriori informazioni sull'utilizzo dell'API Table, consulta API Table.

Creazione del servizio gestito per l'applicazione Apache Flink

Managed Service for Apache Flink è un AWS servizio che crea un ambiente per l'hosting dell'applicazione Apache Flink e fornisce le seguenti impostazioni:

• Proprietà di runtime: parametri che puoi fornire alla tua applicazione. È possibile modificare questi parametri senza ricompilare il codice dell'applicazione.

• Tolleranza ai guasti: in che modo l'applicazione viene ripristinata dopo interruzioni e riavvii.

• Registrazione di log e monitoraggio: In che modo l'applicazione registra gli eventi in Logs. CloudWatch

• Dimensionamento: in che modo l'applicazione fornisce le risorse di elaborazione.

È possibile creare ed eseguire un'applicazione del servizio gestito per Apache Flink utilizzando la console o la AWS CLI. Per iniziare a creare un'applicazione del servizio gestito da Amazon per Apache Flink, consulta Guida introduttiva (API) DataStream .