Métrica de atualização de dados aumentando ou não emitida - Amazon Data Firehose

O Amazon Data Firehose era conhecido anteriormente como Amazon Kinesis Data Firehose

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Métrica de atualização de dados aumentando ou não emitida

A métrica de atualização de dados informa se os dados no fluxo de entrega estão atualizados. É a era do registro de dados mais antigo no stream de entrega, medida desde o momento em que o Firehose ingeriu os dados até o momento atual. O Firehose fornece métricas que você pode usar para monitorar a atualização dos dados. Para identificar a métrica de atualização de dados de um destino específico, consulte Monitorando o Amazon Data Firehose usando métricas CloudWatch .

Se você habilitar o backup de todos os eventos ou todos os documentos, monitore duas métricas de atualização de dados separadas: uma para o destino principal e outra para o backup.

Se a métrica de atualização de dados não estiver sendo emitida, isso significa que não há entrega ativa para o fluxo de entrega. Isso acontece quando a entrega de dados está completamente bloqueada ou quando não há dados de entrada.

Se a métrica de atualização de dados estiver aumentando constantemente, isso significa que a entrega de dados está em atraso. Isso pode acontecer por um dos seguintes motivos.

  • O destino não comporta a taxa de entrega. Se o Firehose encontrar erros transitórios devido ao alto tráfego, a entrega poderá ficar para trás. Isso pode acontecer para destinos diferentes do Amazon S3 (pode acontecer para OpenSearch Service, Amazon Redshift ou Splunk). Certifique-se de que o destino tenha capacidade suficiente para comportar o tráfego de entrada.

  • O destino é lento. A entrega de dados pode ficar para trás se o Firehose encontrar alta latência. Monitore a métrica da latência do destino.

  • A função do Lambda está lenta. Isso pode levar a uma taxa de entrega de dados inferior à taxa de ingestão de dados para o fluxo de entrega. Se possível, melhore a eficiência da função do Lambda. Por exemplo, se a função executa a E/S de rede, use vários threads ou a E/S assíncrona para aumentar o paralelismo. Além disso, considere aumentar o tamanho da memória da função do Lambda para que a alocação de CPU possa aumentar de acordo. Isso pode levar a invocações do Lambda mais rápidas. Para obter informações sobre como configurar funções Lambda, consulte Configurando AWS funções Lambda.

  • Há falhas durante a entrega de dados. Para obter informações sobre como monitorar erros usando o Amazon CloudWatch Logs, consulteMonitorando o Amazon Data Firehose usando registros CloudWatch .

  • Se a fonte de dados do fluxo de entrega for um fluxo de dados do Kinesis, é possível que esteja ocorrendo uma limitação. Verifique as métricas ThrottledGetRecords, ThrottledGetShardIterator e ThrottledDescribeStream. Se houver vários consumidores conectados ao fluxo de dados do Kinesis, considere o seguinte:

    • Se as métricas ThrottledGetRecords e ThrottledGetShardIterator estiverem altas, recomendamos aumentar o número de estilhaços provisionados para o fluxo de dados.

    • Se ThrottledDescribeStream for alto, recomendamos que você adicione a kinesis:listshards permissão à função configurada em KinesisStreamSourceConfiguration.

  • Dicas de baixa capacidade de buffer para o destino. Isso pode aumentar o número de viagens de ida e volta que o Firehose precisa fazer até o destino, o que pode atrasar a entrega. Considere aumentar o valor das dicas de buffer. Para obter mais informações, consulte BufferingHints.

  • Uma longa duração para repetições pode gerar atrasos na entrega quando os erros são frequentes. Considere reduzir a duração das repetições. Além disso, monitore os erros e tente reduzi-los. Para obter informações sobre como monitorar erros usando o Amazon CloudWatch Logs, consulteMonitorando o Amazon Data Firehose usando registros CloudWatch .

  • Se o destino for Splunk e DeliveryToSplunk.DataFreshness estiver alto, mas DeliveryToSplunk.Success parecer bom, o cluster do Splunk pode estar ocupado. Libere o cluster do Splunk se possível. Como alternativa, entre em contato com o AWS Support e solicite um aumento no número de canais que o Firehose está usando para se comunicar com o cluster Splunk.