Tutorial: Bereitstellung als Anwendung mit dauerhaftem Zustand

Das folgende Tutorial zeigt, wie Sie ein Studio-Notebook als Managed-Service für Apache Flink-Anwendung mit einem dauerhaften Status bereitstellen.

Aufstellen

Erstellen Sie ein neues Studio-Notizbuch, indem Sie den Anweisungen folgenTutorial zum Erstellen eines Studio-Notizbuchs und entweder Kinesis Datenstrom oder Amazon MSK verwenden. Name des Studio-Notizbuchs ExampleTestDeploy.

Stellen Sie eine Anwendung mit einem dauerhaften Zustand bereit, indem Sie AWS Management Console

1. Fügen Sie einen S3-Bucket-Speicherort hinzu, an dem der gepackte Code unter Speicherort des Anwendungscodes gespeichert werden soll - optional in der Konsole. Dies ermöglicht die Schritte zum Bereitstellen und Ausführen Ihrer Anwendung direkt vom Notebook aus.

2. Fügen Sie der Anwendungsrolle die erforderlichen Berechtigungen hinzu, um die von Ihnen verwendete Rolle zum Lesen und Schreiben in einen Amazon S3-Bucket zu aktivieren und um eine Managed Service for Apache Flink-Anwendung zu starten:

   • Amazon S3 FullAccess

   • Amazon hat es geschafft- flinkFullAccess

   • Zugriff auf Ihre Quellen, Ziele und VPCs, sofern zutreffend. Weitere Informationen finden Sie unter IAM-Berechtigungen für Studio-Notebooks.

3. Verwenden Sie den folgenden Beispielcode:

   %flink.ssql(type=update) 
   CREATE TABLE exampleoutput (
     'ticket' VARCHAR,
     'price' DOUBLE
   )
   WITH (
     'connector' = 'kinesis',
     'stream' = 'ExampleOutputStream',
     'aws.region' = 'us-east-1',
     'scan.stream.initpos' = 'LATEST',
     'format' = 'json'
   );
   
   INSERT INTO exampleoutput SELECT ticker, price FROM exampleinputstream

4. Mit der Einführung dieses Feature sehen Sie in der rechten oberen Ecke jeder Notiz in Ihrem Notizbuch ein neues Dropdown-Menü mit dem Namen des Notizbuchs. Sie haben die folgenden Möglichkeiten:

   • Sehen Sie sich die Studio-Notizbucheinstellungen in der AWS Management Console an.

   • Erstellen Sie Ihren Zeppelin Note und exportieren Sie ihn zu Amazon S3. Geben Sie an dieser Stelle einen Namen für Ihre Anwendung ein und wählen Sie Erstellen und Exportieren. Sie erhalten eine Benachrichtigung, wenn der Export abgeschlossen ist.

   • Bei Bedarf können Sie alle zusätzlichen Tests der ausführbaren Datei in Amazon S3 anzeigen und ausführen.

   • Sobald der Build abgeschlossen ist, können Sie Ihren Code als Kinesis-Streaming-Anwendung mit dauerhaftem Zustand und automatischer Skalierung bereitstellen.

   • Verwenden Sie das Drop-down-Menü und wählen Sie Zeppelin Note als Kinesis-Streaming-Anwendung bereitstellen. Überprüfen Sie den Namen der Anwendung und wählen Sie Über AWS Konsole bereitstellen aus.

   • Dadurch gelangen Sie zu der AWS Management Console Seite zum Erstellen einer Managed Service for Apache Flink-Anwendung. Beachten Sie, dass Anwendungsname, Parallelität, Codespeicherort, Standard-Glue-DB, VPC (falls zutreffend) und IAM-Rollen vorab ausgefüllt wurden. Stellen Sie sicher, dass die IAM-Rollen über die erforderlichen Berechtigungen für Ihre Quellen und Ziele verfügen. Snapshots sind standardmäßig aktiviert, um eine dauerhafte Verwaltung des Anwendungsstatus zu gewährleisten.

   • Wählen Sie Erstellen der Anwendung.

   • Sie können alle Einstellungen konfigurieren und ändern und anschließend Ausführen wählen, um Ihre Streaming-Anwendung zu starten.

Stellen Sie eine Anwendung mit einem dauerhaften Zustand bereit, indem Sie AWS CLI

Um eine Anwendung mithilfe von bereitzustellen AWS CLI, müssen Sie Ihre Version aktualisieren, sodass AWS CLI Sie das in Ihren Beta 2-Informationen enthaltene Servicemodell verwenden können. Weitere Informationen zur Verwendung des aktualisierten Servicemodells finden Sie unter Aufstellen.

Der folgende Beispielcode erstellt ein neues Studio-Notizbuch:

aws kinesisanalyticsv2 create-application \
     --application-name <app-name> \
     --runtime-environment ZEPPELIN-FLINK-3_0 \
     --application-mode INTERACTIVE \
     --service-execution-role <iam-role>
     --application-configuration '{ 
       "ZeppelinApplicationConfiguration": { 
         "CatalogConfiguration": { 
           "GlueDataCatalogConfiguration": { 
             "DatabaseARN": "arn:aws:glue:us-east-1:<account>:database/<glue-database-name>" 
           } 
         } 
       },
       "FlinkApplicationConfiguration": {
         "ParallelismConfiguration": {
           "ConfigurationType": "CUSTOM",
           "Parallelism": 4,
           "ParallelismPerKPU": 4
         }
       },
       "DeployAsApplicationConfiguration": {
            "S3ContentLocation": { 
               "BucketARN": "arn:aws:s3:::<s3bucket>",
               "BasePath": "/something/"
            }
        },
       "VpcConfigurations": [
         {
           "SecurityGroupIds": [
             "<security-group>"
           ],
           "SubnetIds": [
             "<subnet-1>",
             "<subnet-2>"
           ]
         }
       ]
     }' \
     --region us-east-1 

Das folgende Codebeispiel startet ein Studio-Notebook:

aws kinesisanalyticsv2 start-application \
    --application-name <app-name> \
    --region us-east-1 \
    --no-verify-ssl

Der folgende Code gibt die URL für die Apache Zeppelin-Notizbuch-Seite einer Anwendung zurück:

aws kinesisanalyticsv2 create-application-presigned-url \
    --application-name <app-name> \
    --url-type ZEPPELIN_UI_URL \

    --region us-east-1 \
    --no-verify-ssl