Use conectores e dependências

Os conectores permitem que você leia e grave dados em várias tecnologias. O Managed Service for Apache Flink agrupa três conectores padrão com seu notebook Studio. Também é possível usar conectores personalizados. Para obter mais informações sobre conectores, consulte Tabela e SQL conectores na documentação do Apache Flink.

Conectores padrão

Se você usar o AWS Management Console para criar seu notebook Studio, o Managed Service for Apache Flink inclui os seguintes conectores personalizados por padrão:flink-sql-connector-kinesis, e. flink-connector-kafka_2.12 aws-msk-iam-auth Para criar um notebook Studio por meio do console sem esses conectores personalizados, escolha a opção Criar com configurações personalizadas. Em seguida, ao acessar a página Configurações, desmarque as caixas de seleção ao lado dos dois conectores.

Se você usar o CreateApplicationAPIpara criar seu notebook Studio, os flink-connector-kafka conectores flink-sql-connector-flink e não serão incluídos por padrão. Para adicioná-los, especifique-os como a MavenReference no tipo de dados CustomArtifactsConfiguration, conforme mostrado nos exemplos a seguir.

O aws-msk-iam-auth conector é o conector a ser usado com a Amazon, MSK que inclui o recurso de autenticação automática. IAM

nota

As versões do conector mostradas no exemplo a seguir são as únicas para as quais oferecemos suporte.

For the Kinesis connector:

"CustomArtifactsConfiguration": [{
"ArtifactType": "DEPENDENCY_JAR",            
   "MavenReference": {
"GroupId": "org.apache.flink",

      "ArtifactId": "flink-sql-connector-kinesis",
      "Version": "1.15.4"

   }      
}]

For authenticating with AWS MSK through AWS IAM:

"CustomArtifactsConfiguration": [{
"ArtifactType": "DEPENDENCY_JAR",            
   "MavenReference": {
"GroupId": "software.amazon.msk",
      "ArtifactId": "aws-msk-iam-auth",
      "Version": "1.1.6"
   }      
}]
            
For the Apache Kafka connector:  

"CustomArtifactsConfiguration": [{
"ArtifactType": "DEPENDENCY_JAR",            
   "MavenReference": {
"GroupId": "org.apache.flink",

      "ArtifactId": "flink-connector-kafka",
      "Version": "1.15.4"

   }      
}]

Para adicionar esses conectores a um notebook existente, use a UpdateApplicationAPIoperação e especifique-os como a MavenReference no tipo de CustomArtifactsConfigurationUpdate dados.

nota

Você pode definir como verdadeiro failOnError para o flink-sql-connector-kinesis conector na tabelaAPI.

Adicione dependências e conectores personalizados

Para usar o AWS Management Console para adicionar uma dependência ou um conector personalizado ao seu notebook Studio, siga estas etapas:

1. Carregue seu arquivo do conector personalizado no Amazon S3.

2. No AWS Management Console, escolha a opção de criação personalizada para criar seu notebook Studio.

3. Siga o fluxo de trabalho de criação do notebook Studio até chegar à etapa Configurações.

4. Na seção Conectores personalizados, selecione Adicionar conector personalizado.

5. Especifique a localização da dependência ou conector personalizado no Amazon S3.

6. Escolha Salvar alterações.

Para adicionar uma dependência JAR ou um conector personalizado ao criar um novo notebook Studio usando o CreateApplicationAPI, especifique a localização da JAR dependência no Amazon S3 ou o conector personalizado no CustomArtifactsConfiguration tipo de dados. Para adicionar uma dependência ou um conector personalizado a um notebook Studio existente, invoque a UpdateApplicationAPIoperação e especifique a localização da JAR dependência no Amazon S3 ou o conector personalizado no tipo de dados. CustomArtifactsConfigurationUpdate

nota

Ao incluir uma dependência ou um conector personalizado, você também deve incluir todas as dependências transitivas que não estão agrupadas nela.