DiscoverInputSchema - Guia do desenvolvedor do Amazon Kinesis Data Analytics SQL para aplicativos

Para novos projetos, recomendamos que você use o novo Managed Service para Apache Flink Studio em vez do Kinesis Data Analytics for Applications. SQL O Managed Service for Apache Flink Studio combina facilidade de uso com recursos analíticos avançados, permitindo que você crie aplicativos sofisticados de processamento de stream em minutos.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

DiscoverInputSchema

nota

Esta documentação é para a versão 1 da API do Amazon Kinesis Data Analytics, que oferece suporte somente a aplicativos SQL. A versão 2 da API oferece suporte a aplicativos Java e SQL. Para obter mais informações sobre a versão 2, consulte Documentação da API V2 do Amazon Kinesis Data Analytics.

Infere um esquema avaliando registros de amostra na origem de streaming especificada (stream do Amazon Kinesis ou stream de entrega do Amazon Kinesis Firehose) ou objeto do S3. Na resposta, a operação retorna o esquema inferido e também os registros de amostra que a operação usou para inferir o esquema.

Você pode usar o esquema inferido ao configurar uma origem de streaming para seu aplicativo. Para obter informações conceituais, consulte Configuração da entrada do aplicativo. Observe que quando você cria um aplicativo usando o console do Amazon Kinesis Analytics, o console usa essa operação para inferir um esquema e mostrá-lo na interface de usuário do console.

Essa operação exige permissões para executar a ação kinesisanalytics:DiscoverInputSchema.

Sintaxe da Solicitação

{ "InputProcessingConfiguration": { "InputLambdaProcessor": { "ResourceARN": "string", "RoleARN": "string" } }, "InputStartingPositionConfiguration": { "InputStartingPosition": "string" }, "ResourceARN": "string", "RoleARN": "string", "S3Configuration": { "BucketARN": "string", "FileKey": "string", "RoleARN": "string" } }

Parâmetros da solicitação

A solicitação aceita os dados a seguir no formato JSON.

InputProcessingConfiguration

O InputProcessingConfigurationa ser usado para pré-processar os registros antes de descobrir o esquema dos registros.

Tipo: objeto InputProcessingConfiguration

Obrigatório: Não

InputStartingPositionConfiguration

Ponto em que você quer que o Amazon Kinesis Analytics comece a ler registros a partir das finalidades especificadas de descoberta da origem de streaming.

Tipo: objeto InputStartingPositionConfiguration

Obrigatório: Não

ResourceARN

O nome do recurso da Amazon (ARN) da origem do streaming.

Tipo: sequência

Restrições de tamanho: tamanho mínimo 1. Tamanho máximo de 2.048.

Padrão: arn:.*

Obrigatório: não

RoleARN

O ARN do perfil do IAM que o Amazon Kinesis Analytics pode assumir para acessar o stream em seu nome.

Tipo: sequência

Restrições de tamanho: tamanho mínimo 1. Tamanho máximo de 2.048.

Padrão: arn:.*

Obrigatório: não

S3Configuration

Especifique esse parâmetro para descobrir um esquema de dados em um objeto do Amazon S3.

Tipo: objeto S3Configuration

Obrigatório: Não

Sintaxe da Resposta

{ "InputSchema": { "RecordColumns": [ { "Mapping": "string", "Name": "string", "SqlType": "string" } ], "RecordEncoding": "string", "RecordFormat": { "MappingParameters": { "CSVMappingParameters": { "RecordColumnDelimiter": "string", "RecordRowDelimiter": "string" }, "JSONMappingParameters": { "RecordRowPath": "string" } }, "RecordFormatType": "string" } }, "ParsedInputRecords": [ [ "string" ] ], "ProcessedInputRecords": [ "string" ], "RawInputRecords": [ "string" ] }

Elementos de Resposta

Se a ação for bem-sucedida, o serviço retornará uma resposta HTTP 200.

Os dados a seguir são retornados no formato JSON pelo serviço.

InputSchema

Esquema inferido da origem do streaming. Identifica o formato dos dados na origem do streaming e como cada elemento de dados é mapeado para as colunas correspondentes no stream do aplicativo que você cria.

Tipo: objeto SourceSchema

ParsedInputRecords

Uma matriz de elementos, em que cada elemento corresponde a uma linha em um registro de fluxo (um registro de fluxo pode ter mais de uma linha).

Tipo: matriz de matrizes de strings

ProcessedInputRecords

Transmita dados que foram modificados pelo processador especificado no parâmetro InputProcessingConfiguration.

Tipo: matriz de strings

RawInputRecords

Dados brutos do stream que foram amostrados para inferir o esquema.

Tipo: matriz de strings

Erros

InvalidArgumentException

O valor do parâmetro de entrada especificado é inválido.

Código de Status HTTP: 400

ResourceProvisionedThroughputExceededException

O Discovery não conseguiu obter um registro da fonte de streaming por causa do Amazon ProvisionedThroughputExceededException Kinesis Streams. Para obter mais informações, consulte a GetRecordsReferência da API do Amazon Kinesis Streams.

Código de Status HTTP: 400

ServiceUnavailableException

O serviço não está disponível. Volte e repita a operação.

Código de Status HTTP: 500

UnableToDetectSchemaException

O formato de dados é inválido. O Amazon Kinesis Analytics não consegue detectar o esquema para a origem do streaming específica.

Código de Status HTTP: 400

UnsupportedOperationException

A solicitação foi rejeitada porque um parâmetro especificado não é compatível ou um recurso especificado não é válido para esta operação.

Código de Status HTTP: 400

Consulte também

Para obter mais informações sobre como usar essa API em um dos AWS SDKs específicos da linguagem, consulte o seguinte: