Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Use conectores e dependências
Os conectores permitem que você leia e grave dados em várias tecnologias. O Managed Service for Apache Flink agrupa três conectores padrão com seu notebook Studio. Também é possível usar conectores personalizados. Para obter mais informações sobre conectores, consulte Tabela e SQL conectores
Conectores padrão
Se você usar o AWS Management Console para criar seu notebook Studio, o Managed Service for Apache Flink inclui os seguintes conectores personalizados por padrão:flink-sql-connector-kinesis
, e. flink-connector-kafka_2.12
aws-msk-iam-auth
Para criar um notebook Studio por meio do console sem esses conectores personalizados, escolha a opção Criar com configurações personalizadas. Em seguida, ao acessar a página Configurações, desmarque as caixas de seleção ao lado dos dois conectores.
Se você usar o CreateApplicationAPIpara criar seu notebook Studio, os flink-connector-kafka
conectores flink-sql-connector-flink
e não serão incluídos por padrão. Para adicioná-los, especifique-os como a MavenReference
no tipo de dados CustomArtifactsConfiguration
, conforme mostrado nos exemplos a seguir.
O aws-msk-iam-auth
conector é o conector a ser usado com a Amazon, MSK que inclui o recurso de autenticação automática. IAM
nota
As versões do conector mostradas no exemplo a seguir são as únicas para as quais oferecemos suporte.
For the Kinesis connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-sql-connector-kinesis", "Version": "1.15.4" } }] For authenticating with AWS MSK through AWS IAM: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "software.amazon.msk", "ArtifactId": "aws-msk-iam-auth", "Version": "1.1.6" } }] For the Apache Kafka connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-connector-kafka", "Version": "1.15.4" } }]
Para adicionar esses conectores a um notebook existente, use a UpdateApplicationAPIoperação e especifique-os como a MavenReference
no tipo de CustomArtifactsConfigurationUpdate
dados.
nota
Você pode definir como verdadeiro failOnError
para o flink-sql-connector-kinesis
conector na tabelaAPI.
Adicione dependências e conectores personalizados
Para usar o AWS Management Console para adicionar uma dependência ou um conector personalizado ao seu notebook Studio, siga estas etapas:
-
Carregue seu arquivo do conector personalizado no Amazon S3.
No AWS Management Console, escolha a opção de criação personalizada para criar seu notebook Studio.
Siga o fluxo de trabalho de criação do notebook Studio até chegar à etapa Configurações.
-
Na seção Conectores personalizados, selecione Adicionar conector personalizado.
-
Especifique a localização da dependência ou conector personalizado no Amazon S3.
-
Escolha Salvar alterações.
Para adicionar uma dependência JAR ou um conector personalizado ao criar um novo notebook Studio usando o CreateApplicationAPI, especifique a localização da JAR dependência no Amazon S3 ou o conector personalizado no CustomArtifactsConfiguration
tipo de dados. Para adicionar uma dependência ou um conector personalizado a um notebook Studio existente, invoque a UpdateApplicationAPIoperação e especifique a localização da JAR dependência no Amazon S3 ou o conector personalizado no tipo de dados. CustomArtifactsConfigurationUpdate
nota
Ao incluir uma dependência ou um conector personalizado, você também deve incluir todas as dependências transitivas que não estão agrupadas nela.