Após o reestilhaçamento - Amazon Kinesis Data Streams

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Após o reestilhaçamento

Após qualquer tipo de procedimento de reestilhaçamento no Amazon Kinesis Data Streams, e antes da conclusão do processamento normal de registro, outros procedimentos e considerações são necessários. As seções a seguir descrevem esses itens.

Aguardar um stream ficar ativo novamente

Depois de chamar uma operação de reestilhaçamento, splitShard ou mergeShards, você precisa esperar o stream ficar ativo novamente. O código a ser usado é o mesmo de quando você espera que um streaming se torne ativo após a criação de um streaming. Esse código é o seguinte:

DescribeStreamRequest describeStreamRequest = new DescribeStreamRequest(); describeStreamRequest.setStreamName( myStreamName ); long startTime = System.currentTimeMillis(); long endTime = startTime + ( 10 * 60 * 1000 ); while ( System.currentTimeMillis() < endTime ) { try { Thread.sleep(20 * 1000); } catch ( Exception e ) {} try { DescribeStreamResult describeStreamResponse = client.describeStream( describeStreamRequest ); String streamStatus = describeStreamResponse.getStreamDescription().getStreamStatus(); if ( streamStatus.equals( "ACTIVE" ) ) { break; } // // sleep for one second // try { Thread.sleep( 1000 ); } catch ( Exception e ) {} } catch ( ResourceNotFoundException e ) {} } if ( System.currentTimeMillis() >= endTime ) { throw new RuntimeException( "Stream " + myStreamName + " never went active" ); }

Roteamento de dados, persistência de dados e estado do estilhaço após um reestilhaçamento

O Kinesis Data Streams é um serviço de streaming de dados em tempo real, então, seus aplicativos devem pressupor que os dados estão fluindo continuamente pelos estilhaços do seu stream. Quando você reestilhaça, os registros de dados que estavam fluindo para os estilhaços pais são re-roteados para fluírem para os estilhaços filhos com base nos valores de chave de hash para as quais são mapeadas as chaves de partição de registro de dados. No entanto, os registros de dados que estavam nos estilhaços pais antes do reestilhaçamento permanecem nesses estilhaços. Em outras palavras, os estilhaços pais não desaparecem quando o reestilhaçamento ocorre. Eles persistem com os dados que continham antes do reestilhaçamento. Os registros de dados nos estilhaços pai podem ser acessados usando ogetShardIteratoregetRecordsOperações na API do Kinesis Data Streams ou pela Kinesis Client Library.

nota

Os registros de dados podem ser acessados a partir do momento em que são adicionados ao stream até o período de retenção atual. Isso é verdadeiro independentemente de quaisquer alterações aos estilhaços no stream durante esse período. Para obter mais informações sobre o período de retenção de um stream, consulte Alterar o período de retenção de dados.

No processo de reestilhaçamento, um estilhaço pai passa de um estado OPEN para um estado CLOSED para um estado EXPIRED.

  • ABRIR: Antes de uma operação de reshard, um fragmento pai está noOPENstate, o que significa que os registros de dados podem ser adicionados ao estilhaço e recuperados do estilhaço.

  • FECHADA: Após uma operação de reestilhaçamento, o estilhaço pai passa para umCLOSEDestado. Isso significa que os registros de dados não são mais adicionados ao estilhaço. Os registros de dados que foram adicionados a esse estilhaço agora são adicionados a um estilhaço filho. No entanto, os registros de dados ainda podem ser recuperados do estilhaço por tempo limitado.

  • EXPIRADO: Após a expiração do período de retenção do streaming, todos os registros de dados no estilhaço pai expiraram e não estão mais acessíveis. Neste momento, o próprio estilhaço muda para um estado EXPIRED. As chamadas a getStreamDescription().getShards para enumerar os estilhaços no stream não incluem os estilhaços EXPIRED na lista de estilhaços retornados. Para obter mais informações sobre o período de retenção de um stream, consulte Alterar o período de retenção de dados.

Depois que o reestilhaçamento ocorreu e o stream está novamente em um estado ACTIVE, você pode iniciar imediatamente a ler dados dos estilhaços filhos. No entanto, os estilhaços pais que permanecem após o reestilhaçamento ainda podem conter dados que ainda não foram lidos e foram adicionados ao stream antes do reestilhaçamento. Se você ler dados de estilhaços filhos antes ler todos os dados dos estilhaços pais, poderá ler dados de uma determinada chave de hash fora da ordem determinada pelos números sequenciais dos registros de dados. Portanto, pressupondo que a ordem dos dados é importante, você deve, após um reestilhaçamento, sempre continuar lendo dados dos estilhaços pais até esgotá-los. Só depois você deverá começar a ler dados dos estilhaços filhos. Quando getRecordsResult.getNextShardIterator retorna null, indica que você leu todos os dados no estilhaço pai. Se você está lendo dados usando a Biblioteca de cliente do Kinesis, a biblioteca garante que você receberá os dados em ordem, mesmo se ocorrer um reestilhaçamento.