Métrica de atualização de dados aumentando ou não emitida

A métrica de atualização de dados informa se os dados no fluxo de entrega estão atualizados. É a era do registro de dados mais antigo no stream de entrega, medida desde o momento em que o Kinesis Data Firehose ingeriu os dados até o momento atual. O Kinesis Data Firehose fornece métricas que você pode usar para monitorar a atualização dos dados. Para identificar a métrica de atualização de dados de um destino específico, consulte Monitorando o Kinesis Data Firehose usando métricas CloudWatch .

Se você habilitar o backup de todos os eventos ou todos os documentos, monitore duas métricas de atualização de dados separadas: uma para o destino principal e outra para o backup.

Se a métrica de atualização de dados não estiver sendo emitida, isso significa que não há entrega ativa para o fluxo de entrega. Isso acontece quando a entrega de dados está completamente bloqueada ou quando não há dados de entrada.

Se a métrica de atualização de dados estiver aumentando constantemente, isso significa que a entrega de dados está em atraso. Isso pode acontecer por um dos seguintes motivos.

• O destino não comporta a taxa de entrega. Se o Kinesis Data Firehose encontrar erros transitórios devido ao alto tráfego, a entrega poderá ficar para trás. Isso pode acontecer para destinos diferentes do Amazon S3 (pode acontecer para OpenSearch Service, Amazon Redshift ou Splunk). Certifique-se de que o destino tenha capacidade suficiente para comportar o tráfego de entrada.

• O destino é lento. A entrega de dados pode ficar para trás se o Kinesis Data Firehose encontrar alta latência. Monitore a métrica da latência do destino.

• A função Lambda é lenta. Isso pode levar a uma taxa de entrega de dados inferior à taxa de ingestão de dados para o fluxo de entrega. Se possível, melhore a eficiência da função Lambda. Por exemplo, se a função executa a E/S de rede, use vários threads ou a E/S assíncrona para aumentar o paralelismo. Além disso, considere aumentar o tamanho da memória da função Lambda para que a alocação da CPU possa aumentar de acordo. Isso pode levar a invocações Lambda mais rápidas. Para obter informações sobre como configurar funções Lambda, consulte Configurando AWS funções Lambda.

• Há falhas durante a entrega de dados. Para obter informações sobre como monitorar erros usando o Amazon CloudWatch Logs, consulteMonitorando o Kinesis Data Firehose usando registros CloudWatch .

• Se a fonte de dados do fluxo de entrega for um fluxo de dados do Kinesis, é possível que esteja ocorrendo uma limitação. Verifique as métricas ThrottledGetRecords, ThrottledGetShardIterator e ThrottledDescribeStream. Se houver vários consumidores conectados ao fluxo de dados do Kinesis, considere o seguinte:

  • Se as métricas ThrottledGetRecords e ThrottledGetShardIterator estiverem altas, recomendamos aumentar o número de estilhaços provisionados para o fluxo de dados.

  • Se ThrottledDescribeStream for alto, recomendamos que você adicione a kinesis:listshards permissão à função configurada em KinesisStreamSourceConfiguration.

• Dicas de baixa capacidade de buffer para o destino. Isso pode aumentar o número de viagens de ida e volta que o Kinesis Data Firehose precisa fazer até o destino, o que pode atrasar a entrega. Considere aumentar o valor das dicas de buffer. Para obter mais informações, consulte BufferingHints.

• Uma longa duração para repetições pode gerar atrasos na entrega quando os erros são frequentes. Considere reduzir a duração das repetições. Além disso, monitore os erros e tente reduzi-los. Para obter informações sobre como monitorar erros usando o Amazon CloudWatch Logs, consulteMonitorando o Kinesis Data Firehose usando registros CloudWatch .

• Se o destino for Splunk e DeliveryToSplunk.DataFreshness estiver alto, mas DeliveryToSplunk.Success parecer bom, o cluster do Splunk pode estar ocupado. Libere o cluster do Splunk se possível. Como alternativa, entre em contato com o AWS Support e solicite um aumento no número de canais que o Kinesis Data Firehose está usando para se comunicar com o cluster Splunk.