Amazon Managed Service for Apache Flink (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics for Apache Flink.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Cree un servicio gestionado para la aplicación Apache Flink
Este tema contiene información sobre la creación de un servicio gestionado para la aplicación Apache Flink.
Este tema contiene las siguientes secciones:
Cree su código de aplicación de servicio gestionado para Apache Flink
En esta sección se describen los componentes que se utilizan para crear el código de la aplicación Managed Service for Apache Flink.
Le recomendamos que utilice la última versión compatible de Apache Flink para el código de la aplicación. Para obtener información sobre la actualización de aplicaciones Managed Service para Apache Flink, consulte Utilice actualizaciones de versión locales para Apache Flink.
El código de la aplicación se debe crear con Apache Mavenpom.xml para especificar las versiones de los componentes que utiliza.
nota
Managed Service para Apache Flink admite archivos JAR de hasta 512 MB de tamaño. Si utiliza un archivo JAR de un tamaño superior a este, la aplicación no podrá iniciarse.
Las aplicaciones ahora pueden usar la API de Java desde cualquier versión de Scala. Debe incluir la biblioteca estándar de Scala que elija en sus aplicaciones de Scala.
Para obtener información sobre cómo crear una aplicación de Managed Service para Apache Flink que utilice Apache Beam, consulte Utilice Apache Beam con Managed Service para las aplicaciones de Apache Flink.
Especifique la versión de Apache Flink de su aplicación
Al utilizar la versión 1.1.0 del tiempo de ejecución de Managed Service para Apache Flink y versiones posteriores, debe especificar la versión de Apache Flink que utilizará la aplicación al compilarla. Usted proporciona la versión de Apache Flink con el -Dflink.version parámetro. Por ejemplo, si utiliza Apache Flink 1.19.1, proporcione lo siguiente:
mvn package -Dflink.version=1.19.1
Para crear aplicaciones con versiones anteriores de Apache Flink, consulte. Versiones anteriores
Cree su aplicación Managed Service para Apache Flink
Una vez creado el código de la aplicación, haga lo siguiente para crear la aplicación Managed Service for Apache Flink (Amazon MSF):
Cargue el código de la aplicación: cargue el código de la aplicación en un bucket de Amazon S3. Al crear la aplicación, especifique el nombre del bucket de S3 y el nombre del objeto del código de la aplicación. Para ver un tutorial que muestra cómo cargar el código de su aplicación, consulte el Tutorial: Comience a utilizar la DataStream API en Managed Service for Apache Flink tutorial.
Cree su aplicación Managed Service for Apache Flink: utilice uno de los siguientes métodos para crear su aplicación Amazon MSF:
nota
Amazon MSF cifra la aplicación de forma predeterminada mediante. Claves propiedad de AWS También puede crear su nueva aplicación con claves administradas por el AWS KMS cliente (CMKs) para crear, poseer y administrar sus claves usted mismo. Para obtener información al respecto CMKs, consulteAdministración de claves en Amazon Managed Service para Apache Flink.
Cree su aplicación Amazon MSF mediante la AWS consola: puede crear y configurar su aplicación mediante la AWS consola.
Al crear la aplicación mediante la consola, se crean automáticamente los recursos dependientes de la aplicación (como los CloudWatch registros, las transmisiones, las funciones de IAM y las políticas de IAM).
Al crear la aplicación mediante la consola, debe especificar qué versión de Apache Flink utiliza la aplicación seleccionándola en el menú desplegable de la página Managed Service para Apache Flink: Crear aplicación.
Para ver un tutorial sobre cómo usar la consola para crear una aplicación, consulte el Tutorial: Comience a utilizar la DataStream API en Managed Service for Apache Flink tutorial.
Cree su aplicación Amazon MSF mediante la AWS CLI: puede crear y configurar su aplicación mediante la AWS CLI.
Al crear la aplicación mediante la CLI, también debe crear los recursos dependientes de la aplicación (como las transmisiones de CloudWatch registros, las funciones de IAM y las políticas de IAM) de forma manual.
Al crear la aplicación mediante la CLI, debe especificar qué versión de Apache Flink utiliza la aplicación mediante el parámetro
RuntimeEnvironmentde la acciónCreateApplication.
nota
Puede cambiar el
RuntimeEnvironmentde una aplicación existente. Para aprender a hacerlo, consulte Utilice actualizaciones de versión locales para Apache Flink.
Utilice claves gestionadas por el cliente
En Amazon MSF, las claves administradas por el cliente (CMKs) son una función mediante la cual puede cifrar los datos de su aplicación con una clave que usted crea, posee y administra en AWS Key Management Service ()AWS KMS. En el caso de una aplicación de Amazon MSF, esto significa que todos los datos sujetos a un punto de control o una instantánea de Flink se cifran con una CMK que usted defina para esa aplicación.
Para utilizar la CMK con su aplicación, primero debe crear la nueva aplicación y, a continuación, aplicar una CMK. Para obtener más información sobre el uso CMKs, consulte. Administración de claves en Amazon Managed Service para Apache Flink
Inicie su aplicación Managed Service for Apache Flink
Una vez que haya creado el código de la aplicación, lo haya cargado en S3 y creado la aplicación Managed Service para Apache Flink, inicie la aplicación. El inicio de una aplicación Managed Service para Apache Flink normalmente tarda varios minutos.
Utilice uno de los siguientes métodos para iniciar la aplicación:
Inicie la aplicación Managed Service for Apache Flink mediante la AWS consola: puede ejecutar la aplicación seleccionando Ejecutar en la página de la aplicación de la AWS consola.
Inicie su aplicación Managed Service for Apache Flink mediante la AWS API: puede ejecutar la aplicación mediante la StartApplicationacción.
Verifique su aplicación Managed Service para Apache Flink
Puede comprobar que la aplicación funciona de las siguientes maneras:
Uso de CloudWatch registros: puede utilizar CloudWatch Logs y CloudWatch Logs Insights para comprobar que la aplicación se ejecuta correctamente. Para obtener información sobre el uso de CloudWatch Logs con su aplicación Managed Service for Apache Flink, consulteRegistro y supervisión en Amazon Managed Service para Apache Flink.
Uso de CloudWatch métricas: puede utilizar CloudWatch las métricas para supervisar la actividad de la aplicación o la actividad de los recursos que la aplicación utiliza como entrada o salida (como las transmisiones de Kinesis, las transmisiones de Firehose o los buckets de Amazon S3). Para obtener más información sobre CloudWatch las métricas, consulta Cómo trabajar con métricas en la Guía del CloudWatch usuario de Amazon.
Supervisión de las ubicaciones de salida: si la aplicación escribe la salida en una ubicación (como un bucket o una base de datos de Amazon S3), puede supervisar esa ubicación para localizar los datos escritos.
