Guida introduttiva ad Amazon Managed Service per Apache Flink () DataStream API

Questa sezione presenta i concetti fondamentali di Managed Service for Apache Flink e introduce l'implementazione di un'applicazione in Java utilizzando il. DataStream API Descrive le opzioni disponibili per la creazione e il test delle applicazioni. Fornisce inoltre istruzioni per l'installazione degli strumenti necessari per completare i tutorial di questa guida e creare la tua prima applicazione.

Argomenti

• Esamina i componenti dell'applicazione Managed Service for Apache Flink
• Soddisfa i prerequisiti per completare gli esercizi
• Configura un AWS account e crea un utente amministratore
• Configura il AWS Command Line Interface (AWS CLI)
• Crea ed esegui un servizio gestito per l'applicazione Apache Flink
• Pulisci le risorse AWS
• Esplora risorse aggiuntive

Esamina i componenti dell'applicazione Managed Service for Apache Flink

Nota

Amazon Managed Service per Apache Flink supporta tutti gli Apache Flink APIs e potenzialmente tutte le lingue. JVM Per ulteriori informazioni, consulta Flink's. APIs

A seconda della API scelta, la struttura dell'applicazione e l'implementazione sono leggermente diverse. Questo tutorial introduttivo illustra l'implementazione delle applicazioni che utilizzano Java. DataStream API

Per elaborare i dati, l'applicazione Managed Service for Apache Flink utilizza un'applicazione Java che elabora l'input e produce l'output utilizzando il runtime Apache Flink.

Una tipica applicazione Managed Service for Apache Flink ha i seguenti componenti:

• Proprietà di runtime: è possibile utilizzare le proprietà di runtime per passare i parametri di configurazione all'applicazione e modificarli senza modificare e ripubblicare il codice.

• Fonti: l'applicazione utilizza dati da una o più fonti. Una fonte utilizza un connettore per leggere i dati da un sistema esterno, come un flusso di dati Kinesis o un bucket Kafka. Per ulteriori informazioni, consulta Origini.

• Operatori: l'applicazione elabora i dati utilizzando uno o più operatori. Un operatore può trasformare, arricchire o aggregare i dati. Per ulteriori informazioni, consulta DataStream Operatori API.

• Sinks: l'applicazione invia i dati a fonti esterne tramite i sink. Un sink utilizza un connettore v per inviare dati a un flusso di dati Kinesis, un argomento di Kafka, Amazon S3 o un database relazionale. Puoi anche usare un connettore speciale per stampare l'output solo a scopo di sviluppo. Per ulteriori informazioni, consulta Sink.

L'applicazione richiede alcune dipendenze esterne, come i connettori Flink utilizzati dall'applicazione o potenzialmente una libreria Java. Per essere eseguita in Amazon Managed Service for Apache Flink, l'applicazione deve essere impacchettata insieme alle dipendenze in un fat-jar e caricata in un bucket Amazon S3. Potrai quindi creare un'applicazione del servizio gestito per Apache Flink. Devi passare la posizione del pacchetto di codice, insieme a qualsiasi altro parametro di configurazione di runtime.

Questo tutorial dimostra come utilizzare Apache Maven per creare un pacchetto dell'applicazione e come eseguire l'applicazione localmente nel computer di propria scelta. IDE

Soddisfa i prerequisiti per completare gli esercizi

Per completare le fasi in questa guida, è richiesto quanto segue:

• Client Git. Installa il client Git, se non l'hai già fatto.

• Java Development Kit (JDK) versione 11. Installa un Java JDK 11 e imposta la variabile di JAVA_HOME ambiente in modo che punti alla posizione di JDK installazione. Se non disponi di un JDK 11, puoi utilizzare Amazon Coretto 11 o qualsiasi altro standard JDK a tua scelta.

  • Per verificare di averlo JDK installato correttamente, esegui il comando seguente. L'output sarà diverso se utilizzi un prodotto JDK diverso da Amazon Corretto. Assicurati che la versione sia 11.x.

    $ java --version
    
    openjdk 11.0.23 2024-04-16 LTS
    OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS)
    OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)

• Apache Maven. Installa Apache Maven se non l'hai già fatto. Per informazioni su come installarlo, consulta Installazione di Apache Maven.

  • Per testare l'installazione Apache Maven, immetti quanto segue:

  $ mvn -version

• IDEper lo sviluppo locale. Ti consigliamo di utilizzare un ambiente di sviluppo come Eclipse Java Neon o IntelliJ IDEA per sviluppare e compilare l'applicazione.

  • Per testare l'installazione Apache Maven, immetti quanto segue:

  $ mvn -version

Per iniziare, vai alla pagina Configura un AWS account e crea un utente amministratore.