Ativar a descompactação em um fluxo do Firehose existente

Esta seção fornece instruções para ativar a descompressão em fluxos Firehose existentes. Ele abrange dois cenários: fluxos com processamento Lambda desativado e fluxos com processamento Lambda já habilitado. As seções a seguir descrevem step-by-step os procedimentos para cada caso, incluindo a criação ou modificação das funções do Lambda, a atualização das configurações do Firehose e as métricas de CloudWatch monitoramento para garantir a implementação bem-sucedida do recurso de descompressão integrado do Firehose.

Ativando a descompressão quando o processamento do Lambda está desativado

Para habilitar a descompressão em um stream Firehose existente com o processamento Lambda desativado, você deve primeiro habilitar o processamento Lambda. Essa condição só é válida para fluxos existentes. As etapas a seguir mostram como habilitar a descompressão em fluxos existentes que não têm o processamento Lambda ativado.

1. Crie uma função do Lambda. Você pode criar uma passagem de registro fictícia ou usar esse esquema para criar uma nova função Lambda.

2. Atualize seu stream atual do Firehose para habilitar o processamento do Lambda e usar a função Lambda que você criou para processamento.

3. Depois de atualizar o stream com a nova função Lambda, volte ao console Firehose e ative a descompressão.

4. Desative o processamento do Lambda que você ativou na etapa 1. Agora você pode excluir a função que você criou na etapa 1.

Habilitando a descompressão quando o processamento Lambda está ativado

Se você já tem um stream do Firehose com uma função Lambda, para realizar a descompressão, você pode substituí-lo pelo recurso de descompressão do Firehose. Antes de continuar, revise o código da função do Lambda para confirmar se ela só executa a descompactação ou a extração de mensagens. A saída da função Lambda deve ser semelhante aos exemplos mostrados na Figura 1 ou na Figura 2. Se a saída for semelhante, será possível substituir a função do Lambda usando as etapas a seguir.

1. Substitua sua função do Lambda atual por este esquema. A nova função do Lambda do esquema detecta automaticamente se os dados recebidos estão compactados ou descompactados. Ela só executará a descompactação se os dados de entrada estiverem compactados.

2. Ative a descompactação usando a opção integrada do Firehose para descompactação.

3. Ative CloudWatch as métricas para seu stream do Firehose, caso ainda não esteja ativado. Monitore a métrica CloudWatchProcessorLambda_IncomingCompressedData e espere até que essa métrica mude para zero. Isso confirma que todos os dados de entrada enviados para sua função do Lambda estão descompactados e que a função do Lambda não é mais necessária.

4. Remova a transformação de dados do Lambda, pois você não precisará mais dela para descompactar seu fluxo.