Definir configurações de destino - Amazon Data Firehose
Defina as configurações de destino para o Amazon S3Defina as configurações de destino para o Amazon RedshiftDefinir configurações de destino para o OpenSearch ServiçoDefinir configurações de destino para OpenSearch ServerlessDefinir as configurações de destino para o Endpoint HTTPDefinir configurações de destino para o DatadogDefina as configurações de destino para o HoneycombDefina as configurações de destino para o CoralogixDefinir as configurações de destino para o DynatraceDefina as configurações de destino para LogicMonitorDefina as configurações de destino para o Logz.ioDefina as configurações de destino para o MongoDB CloudDefina as configurações de destino para o New RelicDefina as configurações de destino para o SnowflakeDefina as configurações de destino para o SplunkDefina as configurações de destino para o Splunk Observability CloudDefina as configurações de destino para o Sumo LogicDefina as configurações de destino para a Elastic

O Amazon Data Firehose era conhecido anteriormente como Amazon Kinesis Data Firehose

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Definir configurações de destino

Este tópico descreve as configurações de destino do seu stream do Firehose com base no destino selecionado. Para obter mais informações sobre dicas de buffer, consulte. Entenda as dicas de buffer

Defina as configurações de destino para o Amazon S3

Você deve especificar as seguintes configurações para usar o Amazon S3 como destino para seu stream do Firehose.

  • Insira valores para os seguintes campos.

    S3 bucket

    Escolha um bucket do S3 do qual você seja proprietário; os dados em streaming serão entregues nesse bucket. É possível criar um novo bucket do S3 ou escolher um já existente.

    Novo delimitador de linha

    Você pode configurar seu stream do Firehose para adicionar um novo delimitador de linha entre registros em objetos que são entregues ao Amazon S3. Para fazer isso, escolha Habilitado. Para não adicionar um novo delimitador de linha entre registros nos objetos que são entregues ao Amazon S3, escolha Desabilitado. Se você planeja usar o Athena para consultar objetos do S3 com registros agregados, habilite essa opção.

    Particionamento dinâmico

    Escolha Habilitado para habilitar e configurar o particionamento dinâmico.

    Desagregação de vários registros

    Esse é o processo de analisar os registros no stream do Firehose e separá-los com base no JSON válido ou no novo delimitador de linha especificado.

    Se você agregar vários eventos, registros ou registros em uma única PutRecord chamada de PutRecordBatch API, ainda poderá ativar e configurar o particionamento dinâmico. Com dados agregados, quando você ativa o particionamento dinâmico, o Amazon Data Firehose analisa os registros e procura vários objetos JSON válidos em cada chamada de API. Quando o stream do Firehose é configurado com o Kinesis Data Stream como fonte, você também pode usar a agregação integrada na Kinesis Producer Library (KPL). A funcionalidade de partição de dados é executada após a desagregação dos dados. Portanto, cada registro em cada chamada de API pode ser entregue a diferentes prefixos do Amazon S3. Você também pode aproveitar a integração da função Lambda para realizar qualquer outra desagregação ou qualquer outra transformação antes da funcionalidade de particionamento de dados.

    Importante

    Se os dados estiverem agregados, o particionamento dinâmico só poderá ser aplicado após a desagregação de dados ser realizada. Portanto, se você habilitar o particionamento dinâmico para seus dados agregados, deverá escolher Habilitado para habilitar a desagregação de vários registros.

    O Firehose stream executa as seguintes etapas de processamento na seguinte ordem: desagregação KPL (protobuf), desagregação JSON ou delimitadora, processamento Lambda, particionamento de dados, conversão de formato de dados e entrega do Amazon S3.

    Tipo de desagregação de vários registros

    Se você ativou a desagregação de vários registros, deverá especificar o método para o Firehose desagregar seus dados. Use o menu suspenso para escolher JSON ou Delimitado.

    Análise em linha

    Esse é um dos mecanismos compatíveis com o particionamento dinâmico dos dados vinculados ao Amazon S3. Para usar a análise em linha para fazer o particionamento dinâmico de dados, você deve especificar os parâmetros de registro de dados a serem usados como chaves de particionamento e fornecer um valor para cada chave de particionamento especificada. Escolha Habilitado para habilitar e configurar o particionamento em linha.

    Importante

    Se você especificou uma função AWS Lambda nas etapas acima para transformar seus registros de origem, poderá usar essa função para particionar dinamicamente seus dados vinculados ao S3 e ainda poderá criar suas chaves de particionamento com análise embutida. Com o particionamento dinâmico, você pode usar a análise embutida ou a função AWS Lambda para criar suas chaves de particionamento. Ou você pode usar a análise embutida e a função AWS Lambda ao mesmo tempo para criar suas chaves de particionamento.

    Chaves de particionamento dinâmico

    Você pode usar os campos Chave e Valor para especificar os parâmetros de registro de dados a serem usados como chaves de particionamento dinâmico e consultas jq para gerar os valores das chaves de particionamento dinâmico. O Firehose suporta somente o jq 1.6. É possível especificar até 50 chaves de particionamento dinâmico. Você deve inserir expressões jq válidas para seus valores de chave de particionamento dinâmico para configurar com êxito o particionamento dinâmico para seu stream do Firehose.

    Prefixo de bucket do S3

    Ao habilitar e configurar o particionamento dinâmico, você deve especificar os prefixos de bucket do S3 para os quais o Amazon Data Firehose deve entregar dados particionados.

    Para que o particionamento dinâmico seja configurado corretamente, o número dos prefixos de bucket do S3 deve ser idêntico ao número de chaves de particionamento especificadas.

    Você pode particionar seus dados de origem com análise embutida ou com a função Lambda especificada AWS . Se você especificou uma função AWS Lambda para criar chaves de particionamento para seus dados de origem, deverá digitar manualmente o (s) valor (es) do prefixo do bucket do S3 usando o seguinte formato: "lambda:keyID”. partitionKeyFrom Se você estiver usando análise embutida para especificar as chaves de particionamento para seus dados de origem, você pode digitar manualmente os valores de visualização do bucket do S3 usando o seguinte formato: “partitionKeyFromquery:keyID” ou escolher o botão Aplicar chaves de particionamento dinâmico para usar seus pares de chave/valor de particionamento dinâmico para gerar automaticamente seus prefixos de bucket do S3. Ao particionar seus dados com análise embutida ou AWS Lambda, você também pode usar os seguintes formulários de expressão no prefixo do bucket do S3:! {namespace:value}, em que o namespace pode ser Query ou Lambda. partitionKeyFrom partitionKeyFrom

    Fuso horário do bucket S3 e do prefixo de saída de erro do S3

    Escolha um fuso horário que você deseja usar para data e hora em Prefixos personalizados para objetos do Amazon Simple Storage Service. Por padrão, o Firehose adiciona um prefixo de hora em UTC. Você pode alterar o fuso horário usado nos prefixos do S3 se quiser usar um fuso horário diferente.

    Dicas de armazenamento em buffer

    O Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho de buffer recomendado para o destino varia de acordo com o provedor de serviços.

    Compressão S3

    Escolha a compactação de dados GZIP, Snappy, Zip ou Snappy compatível com Hadoop ou nenhuma compactação de dados. A compactação Snappy compatível com Snappy, Zip e Hadoop não está disponível para streams do Firehose com o Amazon Redshift como destino.

    Formato de extensão de arquivo S3 (opcional)

    Especifique um formato de extensão de arquivo para objetos entregues ao bucket de destino do Amazon S3. Se você habilitar esse recurso, a extensão de arquivo especificada substituirá as extensões de arquivo padrão anexadas pelos recursos de conversão de formato de dados ou compactação do S3, como .parquet ou .gz. Verifique se você configurou a extensão de arquivo correta ao usar esse recurso com a conversão de formato de dados ou a compactação S3. A extensão do arquivo deve começar com um ponto (.) e pode conter caracteres permitidos: 0-9a-z! -_.*' (). A extensão do arquivo não pode exceder 128 caracteres.

    Criptografia S3

    O Firehose oferece suporte à criptografia do lado do servidor Amazon S3 AWS Key Management Service com (SSE-KMS) para criptografar dados entregues no Amazon S3. Você pode optar por usar o tipo de criptografia padrão especificado no bucket S3 de destino ou criptografar com uma chave da lista de AWS KMS chaves que você possui. Se você criptografar os dados com AWS KMS chaves, poderá usar a chave AWS gerenciada padrão (aws/s3) ou uma chave gerenciada pelo cliente. Para obter mais informações, consulte Proteção de dados usando criptografia do lado do servidor com chaves AWS gerenciadas pelo KMS (SSE-KMS).

Defina as configurações de destino para o Amazon Redshift

Esta seção descreve as configurações para usar o Amazon Redshift como seu destino de stream do Firehose.

Escolha um dos procedimentos a seguir dependendo de você ter um cluster provisionado pelo Amazon Redshift ou um grupo de trabalho do Amazon Redshift Sem Servidor.

Cluster provisionado do Amazon Redshift

Esta seção descreve as configurações para usar o cluster provisionado do Amazon Redshift como seu destino de stream do Firehose.

  • Insira valores para os seguintes campos:

    Cluster

    O cluster do Amazon Redshift no qual os dados do bucket do S3 são copiados. Configure o cluster do Amazon Redshift para ser acessível publicamente e desbloqueie os endereços IP do Amazon Data Firehose. Para ter mais informações, consulte Conceda ao Amazon Data Firehose acesso a um destino do Amazon Redshift .

    Autenticação

    Você pode optar por inserir o nome de usuário/senha diretamente ou recuperar o segredo AWS Secrets Manager para acessar o cluster do Amazon Redshift.

    • Nome do usuário

      Especifique um usuário do Amazon Redshift com permissões para acessar o cluster do Amazon Redshift. Esse usuário deve ter a permissão INSERT do Amazon Redshift para copiar dados do bucket do S3 no cluster do Amazon Redshift.

    • Senha

      Especifique a senha do usuário que tem permissões para acessar o cluster.

    • Secret

      Selecione um segredo AWS Secrets Manager que contenha as credenciais para o cluster do Amazon Redshift. Se você não vê seu segredo na lista suspensa, crie um AWS Secrets Manager para suas credenciais do Amazon Redshift. Para ter mais informações, consulte Autentique-se com o AWS Secrets Manager Amazon Data Firehose.

    Database

    O banco de dados do Amazon Redshift no qual os dados são copiados.

    Tabela

    A tabela do Amazon Redshift no qual os dados são copiados.

    Columns

    (Opcional) As colunas específicas da tabela na qual os dados serão copiados. Use essa opção se o número de colunas definidas nos objetos do Amazon S3 for menor que o número de colunas na tabela do Amazon Redshift.

    Destino intermediário do S3

    Primeiro, o Firehose entrega seus dados para o bucket do S3 e, em seguida, emite um COPY comando do Amazon Redshift para carregar os dados no seu cluster do Amazon Redshift. Especifique um bucket do S3 do qual você seja proprietário; os dados em streaming serão entregues nesse bucket. Crie um novo bucket do S3 ou escolha um bucket já existente do qual você seja proprietário.

    O Firehose não exclui os dados do seu bucket do S3 depois de carregá-los no cluster do Amazon Redshift. Você pode gerenciar os dados no bucket do S3 usando uma configuração de ciclo de vida. Para obter mais informações, consulte Gerenciamento do ciclo de vida de objetos no Guia do usuário do Amazon Simple Storage Service.

    Prefixo de bucket intermediário do S3

    (Opcional) Para usar o prefixo padrão para objetos do Amazon S3, deixe esta opção em branco. O Firehose usa automaticamente um prefixo no formato de hora UTC "YYYY/MM/dd/HH" para objetos Amazon S3 entregues. Você pode adicionar ao início deste prefixo. Para ter mais informações, consulte Configurar o formato de nome de objeto do Amazon S3.

    Opções do COPY

    Parâmetros que você pode especificar no comando COPY do Amazon Redshift. Eles podem ser necessários para a configuração. Por exemplo, "GZIP" é necessário se a compactação de dados do Amazon S3 estiver ativada. “REGION" é necessário se seu bucket do S3 não estiver na mesma AWS região do seu cluster do Amazon Redshift. Para obter mais informações, consulte COPY no Guia do desenvolvedor de banco de dados do Amazon Redshift.

    COPY command

    O comando COPY do Amazon Redshift. Para obter mais informações, consulte COPY no Guia do desenvolvedor de banco de dados do Amazon Redshift.

    Período de novas tentativas

    Tempo de duração (0—7200 segundos) para o Firehose tentar novamente se os dados do seu cluster do COPY Amazon Redshift falharem. O Firehose tenta novamente a cada 5 minutos até que a duração da nova tentativa termine. Se você definir a duração da nova tentativa para 0 (zero) segundos, o Firehose não tentará novamente em caso COPY de falha de comando.

    Dicas de armazenamento em buffer

    O Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho de buffer recomendado para o destino varia de acordo com o provedor de serviços.

    Compressão S3

    Escolha a compactação de dados GZIP, Snappy, Zip ou Snappy compatível com Hadoop ou nenhuma compactação de dados. A compactação Snappy compatível com Snappy, Zip e Hadoop não está disponível para streams do Firehose com o Amazon Redshift como destino.

    Formato de extensão de arquivo S3 (opcional)

    Formato de extensão de arquivo S3 (opcional) — Especifique um formato de extensão de arquivo para objetos entregues ao bucket de destino do Amazon S3. Se você habilitar esse recurso, a extensão de arquivo especificada substituirá as extensões de arquivo padrão anexadas pelos recursos de conversão de formato de dados ou compactação do S3, como .parquet ou .gz. Verifique se você configurou a extensão de arquivo correta ao usar esse recurso com a conversão de formato de dados ou a compactação S3. A extensão do arquivo deve começar com um ponto (.) e pode conter caracteres permitidos: 0-9a-z! -_.*' (). A extensão do arquivo não pode exceder 128 caracteres.

    Criptografia S3

    O Firehose oferece suporte à criptografia do lado do servidor Amazon S3 AWS Key Management Service com (SSE-KMS) para criptografar dados entregues no Amazon S3. Você pode optar por usar o tipo de criptografia padrão especificado no bucket S3 de destino ou criptografar com uma chave da lista de AWS KMS chaves que você possui. Se você criptografar os dados com AWS KMS chaves, poderá usar a chave AWS gerenciada padrão (aws/s3) ou uma chave gerenciada pelo cliente. Para obter mais informações, consulte Proteção de dados usando criptografia do lado do servidor com chaves AWS gerenciadas pelo KMS (SSE-KMS).

Defina as configurações de destino para o grupo de trabalho Amazon Redshift Serverless

Esta seção descreve as configurações para usar o grupo de trabalho Amazon Redshift Serverless como seu destino de stream do Firehose.

  • Insira valores para os seguintes campos:

    Workgroup name (Nome do grupo de trabalho)

    O grupo de trabalho do Amazon Redshift Sem Servidor ou um grupo de trabalho do Amazon Redshift no qual os dados do bucket do S3 são copiados. Configure o grupo de trabalho Amazon Redshift Serverless para ser acessível ao público e desbloqueie os endereços IP do Firehose. Para obter mais informações, consulte a seção Conectar-se a uma instância do Amazon Redshift Sem Servidor acessível publicamente em Conectar-se ao Amazon Redshift Sem Servidor e também Conceda ao Amazon Data Firehose acesso a um destino do Amazon Redshift .

    Autenticação

    Você pode optar por inserir o nome de usuário/senha diretamente ou recuperar o segredo AWS Secrets Manager para acessar o grupo de trabalho Amazon Redshift Serverless.

    • Nome do usuário

      Especifique um usuário do Amazon Redshift com permissões para acessar o grupo de trabalho do Amazon Redshift Serverless. Esse usuário deve ter a permissão INSERT do Amazon Redshift para copiar dados do bucket do S3 para o grupo de trabalho do Amazon Redshift Sem Servidor.

    • Senha

      Especifique a senha do usuário que tem permissões para acessar o grupo de trabalho Amazon Redshift Serverless.

    • Secret

      Selecione um segredo AWS Secrets Manager que contenha as credenciais do grupo de trabalho Amazon Redshift Serverless. Se você não vê seu segredo na lista suspensa, crie um AWS Secrets Manager para suas credenciais do Amazon Redshift. Para ter mais informações, consulte Autentique-se com o AWS Secrets Manager Amazon Data Firehose.

    Database

    O banco de dados do Amazon Redshift no qual os dados são copiados.

    Tabela

    A tabela do Amazon Redshift no qual os dados são copiados.

    Columns

    (Opcional) As colunas específicas da tabela na qual os dados serão copiados. Use essa opção se o número de colunas definidas nos objetos do Amazon S3 for menor que o número de colunas na tabela do Amazon Redshift.

    Destino intermediário do S3

    O Amazon Data Firehose entrega primeiro seus dados para o bucket do S3 e, em seguida, emite um COPY comando do Amazon Redshift para carregar os dados no seu grupo de trabalho sem servidor do Amazon Redshift. Especifique um bucket do S3 do qual você seja proprietário; os dados em streaming serão entregues nesse bucket. Crie um novo bucket do S3 ou escolha um bucket já existente do qual você seja proprietário.

    O Firehose não exclui os dados do seu bucket do S3 depois de carregá-los no seu grupo de trabalho Amazon Redshift Serverless. Você pode gerenciar os dados no bucket do S3 usando uma configuração de ciclo de vida. Para obter mais informações, consulte Gerenciamento do ciclo de vida de objetos no Guia do usuário do Amazon Simple Storage Service.

    Prefixo de bucket intermediário do S3

    (Opcional) Para usar o prefixo padrão para objetos do Amazon S3, deixe esta opção em branco. O Firehose usa automaticamente um prefixo no formato de hora UTC "YYYY/MM/dd/HH" para objetos Amazon S3 entregues. Você pode adicionar ao início deste prefixo. Para ter mais informações, consulte Configurar o formato de nome de objeto do Amazon S3.

    Opções do COPY

    Parâmetros que você pode especificar no comando COPY do Amazon Redshift. Eles podem ser necessários para a configuração. Por exemplo, "GZIP" é necessário se a compactação de dados do Amazon S3 estiver ativada. “REGION" é obrigatório se seu bucket do S3 não estiver na mesma AWS região do seu grupo de trabalho Amazon Redshift Serverless. Para obter mais informações, consulte COPY no Guia do desenvolvedor de banco de dados do Amazon Redshift.

    COPY command

    O comando COPY do Amazon Redshift. Para obter mais informações, consulte COPY no Guia do desenvolvedor de banco de dados do Amazon Redshift.

    Período de novas tentativas

    Tempo de duração (0—7200 segundos) para o Firehose tentar novamente se os dados do seu grupo de trabalho COPY Amazon Redshift Serverless falharem. O Firehose tenta novamente a cada 5 minutos até que a duração da nova tentativa termine. Se você definir a duração da nova tentativa para 0 (zero) segundos, o Firehose não tentará novamente em caso COPY de falha de comando.

    Dicas de armazenamento em buffer

    O Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho de buffer recomendado para o destino varia de acordo com o provedor de serviços.

    Compressão S3

    Escolha a compactação de dados GZIP, Snappy, Zip ou Snappy compatível com Hadoop ou nenhuma compactação de dados. A compactação Snappy compatível com Snappy, Zip e Hadoop não está disponível para streams do Firehose com o Amazon Redshift como destino.

    Formato de extensão de arquivo S3 (opcional)

    Formato de extensão de arquivo S3 (opcional) — Especifique um formato de extensão de arquivo para objetos entregues ao bucket de destino do Amazon S3. Se você habilitar esse recurso, a extensão de arquivo especificada substituirá as extensões de arquivo padrão anexadas pelos recursos de conversão de formato de dados ou compactação do S3, como .parquet ou .gz. Verifique se você configurou a extensão de arquivo correta ao usar esse recurso com a conversão de formato de dados ou a compactação S3. A extensão do arquivo deve começar com um ponto (.) e pode conter caracteres permitidos: 0-9a-z! -_.*' (). A extensão do arquivo não pode exceder 128 caracteres.

    Criptografia S3

    O Firehose oferece suporte à criptografia do lado do servidor Amazon S3 AWS Key Management Service com (SSE-KMS) para criptografar dados entregues no Amazon S3. Você pode optar por usar o tipo de criptografia padrão especificado no bucket S3 de destino ou criptografar com uma chave da lista de AWS KMS chaves que você possui. Se você criptografar os dados com AWS KMS chaves, poderá usar a chave AWS gerenciada padrão (aws/s3) ou uma chave gerenciada pelo cliente. Para obter mais informações, consulte Proteção de dados usando criptografia do lado do servidor com chaves AWS gerenciadas pelo KMS (SSE-KMS).

Definir configurações de destino para o OpenSearch Serviço

Esta seção descreve as opções para usar o OpenSearch Serviço em seu destino.

  • Insira valores para os seguintes campos:

    OpenSearch Domínio do serviço

    O domínio do OpenSearch serviço para o qual seus dados são entregues.

    Índice

    O nome do índice de OpenSearch serviço a ser usado ao indexar dados em seu cluster OpenSearch de serviços.

    Index rotation

    Escolha se e com que frequência o índice OpenSearch de serviços deve ser rotacionado. Se a rotação do índice estiver ativada, o Amazon Data Firehose anexará o timestamp correspondente ao nome do índice especificado e rotacionará. Para ter mais informações, consulte Configurar a rotação do índice para o OpenSearch Serviço.

    Tipo

    O nome do tipo de OpenSearch serviço a ser usado ao indexar dados em seu cluster OpenSearch de serviços. Para o Elasticsearch 7.x e OpenSearch 1.x, só pode haver um tipo por índice. Se você tentar especificar um novo tipo para um índice existente que já tem outro tipo, o Firehose retornará um erro durante o tempo de execução.

    Para o Elasticsearch 7.x, deixe esse campo vazio.

    Período de novas tentativas

    Duração do tempo para que o Firehose tente novamente se uma solicitação de indexação falhar. OpenSearch Nesse caso, o Firehose tenta novamente a cada 5 minutos até que a duração da nova tentativa expire. Para a duração da nova tentativa, você pode definir qualquer valor entre 0 e 7200 segundos.

    Depois que a duração da nova tentativa expirar, o Firehose entrega os dados para o Dead Letter Queue (DLQ), um bucket de erros S3 configurado. Para dados entregues ao DLQ, você precisa redirecionar os dados do bucket de erro S3 configurado para o destino. OpenSearch

    Se você quiser impedir que o stream do Firehose entregue dados ao DLQ devido ao tempo de inatividade ou à manutenção dos OpenSearch clusters, você pode configurar a duração da nova tentativa para um valor maior em segundos. Você pode aumentar o valor da duração da nova tentativa acima para 7200 segundos entrando em contato com o AWS suporte.

    Tipo DocumentID

    Indica o método para configurar o ID do documento. Os métodos compatíveis são ID do documento gerado pelo Firehose e ID do documento gerado pelo OpenSearch serviço. A ID do documento gerada pelo Firehose é a opção padrão quando o valor da ID do documento não está definido. OpenSearch O ID do documento gerado pelo serviço é a opção recomendada porque suporta operações de gravação pesada, incluindo análise de registros e observabilidade, consumindo menos recursos de CPU no domínio do OpenSearch Serviço e, portanto, resultando em melhor desempenho.

    Destination VPC connectivity (Conectividade da VPC de destino)

    Se seu domínio OpenSearch de serviço estiver em uma VPC privada, use esta seção para especificar essa VPC. Especifique também as sub-redes e os subgrupos que você deseja que o Amazon Data Firehose use ao enviar dados para o seu domínio de serviço. OpenSearch Você pode usar os mesmos grupos de segurança que o domínio do OpenSearch Serviço está usando. Se você especificar grupos de segurança diferentes, certifique-se de que eles permitam tráfego HTTPS de saída para o grupo de segurança do domínio do OpenSearch Serviço. Além disso, certifique-se de que o grupo de segurança do domínio OpenSearch Service permita tráfego HTTPS dos grupos de segurança que você especificou ao configurar seu stream do Firehose. Se você usar o mesmo grupo de segurança para o stream do Firehose e para o domínio OpenSearch Service, verifique se a regra de entrada do grupo de segurança permite tráfego HTTPS. Para obter mais informações sobre regras de grupo de segurança, consulte Regras de grupo de segurança na documentação da Amazon VPC.

    Importante

    Ao especificar sub-redes para entregar dados ao destino em uma VPC privada, verifique se você tem um número suficiente de endereços IP livres nas sub-redes escolhidas. Se não houver um endereço IP gratuito disponível em uma sub-rede especificada, o Firehose não poderá criar ou adicionar ENIs para a entrega de dados na VPC privada, e a entrega será degradada ou falhará.

    Sugestões de buffer

    O Amazon Data Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho de buffer recomendado para o destino varia de acordo com o provedor de serviços.

Definir configurações de destino para OpenSearch Serverless

Esta seção descreve as opções para usar o OpenSearch Serverless como seu destino.

  • Insira valores para os seguintes campos:

    OpenSearch Coleção sem servidor

    O endpoint de um grupo de índices OpenSearch sem servidor para os quais seus dados são entregues.

    Índice

    O nome do índice OpenSearch Serverless a ser usado ao indexar dados para sua OpenSearch coleção Serverless.

    Destination VPC connectivity (Conectividade da VPC de destino)

    Se sua coleção OpenSearch Serverless estiver em uma VPC privada, use esta seção para especificar essa VPC. Especifique também as sub-redes e os subgrupos que você deseja que o Amazon Data Firehose use ao enviar dados para sua coleção Serverless. OpenSearch

    Importante

    Ao especificar sub-redes para entregar dados ao destino em uma VPC privada, verifique se você tem um número suficiente de endereços IP livres nas sub-redes escolhidas. Se não houver um endereço IP gratuito disponível em uma sub-rede especificada, o Firehose não poderá criar ou adicionar ENIs para a entrega de dados na VPC privada, e a entrega será degradada ou falhará.

    Período de novas tentativas

    Duração do tempo para o Firehose tentar novamente se uma solicitação de indexação para Serverless falhar OpenSearch . Nesse caso, o Firehose tenta novamente a cada 5 minutos até que a duração da nova tentativa expire. Para a duração da nova tentativa, você pode definir qualquer valor entre 0 e 7200 segundos.

    Depois que a duração da nova tentativa expirar, o Firehose entrega os dados para o Dead Letter Queue (DLQ), um bucket de erros S3 configurado. Para dados entregues ao DLQ, você precisa redirecionar os dados do bucket de erro S3 configurado para OpenSearch o destino sem servidor.

    Se você quiser impedir que o stream do Firehose entregue dados ao DLQ devido ao tempo de inatividade ou à manutenção de clusters OpenSearch sem servidor, você pode configurar a duração da nova tentativa para um valor maior em segundos. Você pode aumentar o valor da duração da nova tentativa acima para 7200 segundos entrando em contato com o AWS suporte.

    Sugestões de buffer

    O Amazon Data Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho de buffer recomendado para o destino varia de acordo com o provedor de serviços.

Definir as configurações de destino para o Endpoint HTTP

Esta seção descreve as opções para usar o endpoint HTTP como destino.

Importante

Se você escolher um endpoint HTTP como destino, revise e siga as instruções em Apêndice - Especificações de solicitação e resposta de entrega de endpoint HTTP.

  • Forneça os valores para os seguintes campos:

    Nome do endpoint HTTP - opcional

    Especifique um nome de usuário amigável para o endpoint HTTP. Por exemplo, My HTTP Endpoint Destination.

    URL do endpoint HTTP

    Especifique a URL para o endpoint HTTP no seguinte formato: https://xyz.httpendpoint.com. A origem deve ser uma URL HTTPS.

    Autenticação

    Você pode optar por inserir a chave de acesso diretamente ou recuperar o segredo AWS Secrets Manager para acessar o endpoint HTTP.

    • (Opcional) Chave de acesso

      Entre em contato com o proprietário do endpoint se precisar obter a chave de acesso para permitir a entrega de dados do Firehose para o endpoint.

    • Secret

      Selecione um segredo AWS Secrets Manager que contenha a chave de acesso para o endpoint HTTP. Se você não encontrar seu segredo na lista suspensa, crie um AWS Secrets Manager para a chave de acesso. Para ter mais informações, consulte Autentique-se com o AWS Secrets Manager Amazon Data Firehose.

    Codificação de conteúdo

    O Amazon Data Firehose usa codificação de conteúdo para compactar o corpo de uma solicitação antes de enviá-la ao destino. Escolha GZIP ou Desabilitado para habilitar/desabilitar a codificação de conteúdo da solicitação.

    Período de novas tentativas

    Especifique por quanto tempo o Amazon Data Firehose tenta enviar dados novamente para o endpoint HTTP selecionado.

    Depois de enviar os dados, o Amazon Data Firehose primeiro espera por uma confirmação do endpoint HTTP. Se ocorrer um erro ou a confirmação não chegar dentro do período de tempo limite da confirmação, o Amazon Data Firehose iniciará o contador de duração de novas tentativas. Ele continuará tentando novamente até a duração da nova tentativa expirar. Depois disso, o Amazon Data Firehose considera isso uma falha na entrega de dados e faz o backup dos dados em seu bucket do Amazon S3.

    Toda vez que o Amazon Data Firehose envia dados para o endpoint HTTP (seja a tentativa inicial ou uma nova tentativa), ele reinicia o contador de tempo limite de confirmação e espera por uma confirmação do endpoint HTTP.

    Mesmo que a duração da nova tentativa expire, o Amazon Data Firehose ainda espera pela confirmação até recebê-la ou até que o período de tempo limite da confirmação seja atingido. Se o tempo limite de confirmação expirar, o Amazon Data Firehose determinará se ainda há tempo no contador de novas tentativas. Se houver tempo restante, ele tentará executar novamente e repetirá a lógica até receber um reconhecimento ou determinará que o tempo de tentar novamente expirou.

    Se você não quiser que o Amazon Data Firehose tente enviar dados novamente, defina esse valor como 0.

    Parâmetros: opcional

    O Amazon Data Firehose inclui esses pares de valores-chave em cada chamada HTTP. Esses parâmetros ajudam a identificar e organizar os destinos.

    Dicas de armazenamento em buffer

    O Amazon Data Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho de buffer recomendado para o destino varia de acordo com o provedor de serviços.

    Importante

    Para os destinos do endpoint HTTP, se você estiver vendo 413 códigos de resposta do endpoint de destino no CloudWatch Logs, diminua o tamanho da dica de buffer no stream do Firehose e tente novamente.

Definir configurações de destino para o Datadog

Esta seção descreve as opções para usar o Datadog como destino. Para obter mais informações sobre o Datadog, consulte https://docs.datadoghq.com/integrations/amazon_web_services/.

  • Forneça valores para os campos a seguir.

    URL do endpoint HTTP

    Escolha para onde você deseja enviar dados de uma das seguintes opções no menu suspenso.

    • Logs do Datadog - EUA1

    • Registros do Datadog - US3

    • Logs do Datadog - EUA5

    • Registros do Datadog - AP1

    • Logs do Datadog: EU

    • Logs do Datadog: GOV

    • Métricas do Datadog - EUA

    • Métricas do Datadog - US5

    • Métricas do Datadog - AP1

    • Métricas do Datadog: EU

    • Configurações do Datadog - US1

    • Configurações do Datadog - US3

    • Configurações do Datadog - US5

    • Configurações do Datadog - AP1

    • Configurações do Datadog - UE

    • Configurações do Datadog - US GOV

    Autenticação

    Você pode optar por inserir a chave da API diretamente ou recuperar o segredo AWS Secrets Manager para acessar o Datadog.

    • Chave de API

      Entre em contato com o Datadog para obter a chave de API necessária para permitir a entrega de dados do Firehose para esse endpoint.

    • Secret

      Selecione um segredo AWS Secrets Manager que contenha a chave de API do Datadog. Se você não encontrar seu segredo na lista suspensa, crie um em. AWS Secrets Manager Para ter mais informações, consulte Autentique-se com o AWS Secrets Manager Amazon Data Firehose.

    Codificação de conteúdo

    O Amazon Data Firehose usa codificação de conteúdo para compactar o corpo de uma solicitação antes de enviá-la ao destino. Escolha GZIP ou Desabilitado para habilitar/desabilitar a codificação de conteúdo da solicitação.

    Período de novas tentativas

    Especifique por quanto tempo o Amazon Data Firehose tenta enviar dados novamente para o endpoint HTTP selecionado.

    Depois de enviar os dados, o Amazon Data Firehose primeiro espera por uma confirmação do endpoint HTTP. Se ocorrer um erro ou a confirmação não chegar dentro do período de tempo limite da confirmação, o Amazon Data Firehose iniciará o contador de duração de novas tentativas. Ele continuará tentando novamente até a duração da nova tentativa expirar. Depois disso, o Amazon Data Firehose considera isso uma falha na entrega de dados e faz o backup dos dados em seu bucket do Amazon S3.

    Toda vez que o Amazon Data Firehose envia dados para o endpoint HTTP (seja a tentativa inicial ou uma nova tentativa), ele reinicia o contador de tempo limite de confirmação e espera por uma confirmação do endpoint HTTP.

    Mesmo que a duração da nova tentativa expire, o Amazon Data Firehose ainda espera pela confirmação até recebê-la ou até que o período de tempo limite da confirmação seja atingido. Se o tempo limite de confirmação expirar, o Amazon Data Firehose determinará se ainda há tempo no contador de novas tentativas. Se houver tempo restante, ele tentará executar novamente e repetirá a lógica até receber um reconhecimento ou determinará que o tempo de tentar novamente expirou.

    Se você não quiser que o Amazon Data Firehose tente enviar dados novamente, defina esse valor como 0.

    Parâmetros: opcional

    O Amazon Data Firehose inclui esses pares de valores-chave em cada chamada HTTP. Esses parâmetros ajudam a identificar e organizar os destinos.

    Dicas de armazenamento em buffer

    O Amazon Data Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho de buffer recomendado para o destino varia de acordo com o provedor de serviços.

Defina as configurações de destino para o Honeycomb

Esta seção descreve as opções para usar o Honeycomb como destino. Para obter mais informações sobre o Honeycomb, consulte https://docs.honeycomb.io/ getting-data-in /metrics//aws-cloudwatch-metrics.

  • Forneça os valores para os seguintes campos:

    Endpoint do Honeycomb Kinesis

    Especifique o URL do endpoint HTTP no seguinte formato: hhttps://api.honeycomb.io/1/kinesis_events/{{dataset}}

    Autenticação

    Você pode optar por inserir a chave da API diretamente ou recuperar o segredo AWS Secrets Manager para acessar o Honeycomb.

    • Chave de API

      Entre em contato com a Honeycomb para obter a chave de API necessária para permitir a entrega de dados a esse endpoint a partir do Firehose.

    • Secret

      Selecione um segredo AWS Secrets Manager que contenha a chave de API do Honeycomb. Se você não encontrar seu segredo na lista suspensa, crie um em. AWS Secrets Manager Para ter mais informações, consulte Autentique-se com o AWS Secrets Manager Amazon Data Firehose.

    Codificação de conteúdo

    O Amazon Data Firehose usa codificação de conteúdo para compactar o corpo de uma solicitação antes de enviá-la ao destino. Escolha GZIP para habilitar a codificação de conteúdo da solicitação. Essa é a opção recomendada quando o destino é o Honeycomb.

    Período de novas tentativas

    Especifique por quanto tempo o Amazon Data Firehose tenta enviar dados novamente para o endpoint HTTP selecionado.

    Depois de enviar os dados, o Amazon Data Firehose primeiro espera por uma confirmação do endpoint HTTP. Se ocorrer um erro ou a confirmação não chegar dentro do período de tempo limite da confirmação, o Amazon Data Firehose iniciará o contador de duração de novas tentativas. Ele continuará tentando novamente até a duração da nova tentativa expirar. Depois disso, o Amazon Data Firehose considera isso uma falha na entrega de dados e faz o backup dos dados em seu bucket do Amazon S3.

    Toda vez que o Amazon Data Firehose envia dados para o endpoint HTTP (seja a tentativa inicial ou uma nova tentativa), ele reinicia o contador de tempo limite de confirmação e espera por uma confirmação do endpoint HTTP.

    Mesmo que a duração da nova tentativa expire, o Amazon Data Firehose ainda espera pela confirmação até recebê-la ou até que o período de tempo limite da confirmação seja atingido. Se o tempo limite de confirmação expirar, o Amazon Data Firehose determinará se ainda há tempo no contador de novas tentativas. Se houver tempo restante, ele tentará executar novamente e repetirá a lógica até receber um reconhecimento ou determinará que o tempo de tentar novamente expirou.

    Se você não quiser que o Amazon Data Firehose tente enviar dados novamente, defina esse valor como 0.

    Parâmetros: opcional

    O Amazon Data Firehose inclui esses pares de valores-chave em cada chamada HTTP. Esses parâmetros ajudam a identificar e organizar os destinos.

    Dicas de armazenamento em buffer

    O Amazon Data Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho de buffer recomendado para o destino varia de acordo com o provedor de serviços.

Defina as configurações de destino para o Coralogix

Esta seção descreve as opções para usar o Coralogix como destino. Para obter mais informações sobre o Coralogix, consulte https://coralogix.com/integrations/aws-firehose.

  • Forneça os valores para os seguintes campos:

    URL do endpoint HTTP

    Escolha o URL do endpoint HTTP entre as seguintes opções no menu suspenso:

    • Coralogix - EUA

    • Coralogix - SINGAPURA

    • Coralogix - IRLANDA

    • Coralogix - ÍNDIA

    • Coralogix - ESTOCOLMO

    Autenticação

    Você pode optar por inserir a chave privada diretamente ou recuperar o segredo AWS Secrets Manager para acessar o Coralogix.

    • Chave privada

      Entre em contato com a Coralogix para obter a chave privada necessária para permitir a entrega de dados a esse endpoint a partir do Firehose.

    • Secret

      Selecione um segredo AWS Secrets Manager que contenha a chave privada do Coralogix. Se você não encontrar seu segredo na lista suspensa, crie um em. AWS Secrets Manager Para ter mais informações, consulte Autentique-se com o AWS Secrets Manager Amazon Data Firehose.

    Codificação de conteúdo

    O Amazon Data Firehose usa codificação de conteúdo para compactar o corpo de uma solicitação antes de enviá-la ao destino. Escolha GZIP para habilitar a codificação de conteúdo da solicitação. Essa é a opção recomendada quando o destino é o Coralogix.

    Período de novas tentativas

    Especifique por quanto tempo o Amazon Data Firehose tenta enviar dados novamente para o endpoint HTTP selecionado.

    Depois de enviar os dados, o Amazon Data Firehose primeiro espera por uma confirmação do endpoint HTTP. Se ocorrer um erro ou a confirmação não chegar dentro do período de tempo limite da confirmação, o Amazon Data Firehose iniciará o contador de duração de novas tentativas. Ele continuará tentando novamente até a duração da nova tentativa expirar. Depois disso, o Amazon Data Firehose considera isso uma falha na entrega de dados e faz o backup dos dados em seu bucket do Amazon S3.

    Toda vez que o Amazon Data Firehose envia dados para o endpoint HTTP (seja a tentativa inicial ou uma nova tentativa), ele reinicia o contador de tempo limite de confirmação e espera por uma confirmação do endpoint HTTP.

    Mesmo que a duração da nova tentativa expire, o Amazon Data Firehose ainda espera pela confirmação até recebê-la ou até que o período de tempo limite da confirmação seja atingido. Se o tempo limite de confirmação expirar, o Amazon Data Firehose determinará se ainda há tempo no contador de novas tentativas. Se houver tempo restante, ele tentará executar novamente e repetirá a lógica até receber um reconhecimento ou determinará que o tempo de tentar novamente expirou.

    Se você não quiser que o Amazon Data Firehose tente enviar dados novamente, defina esse valor como 0.

    Parâmetros: opcional

    O Amazon Data Firehose inclui esses pares de valores-chave em cada chamada HTTP. Esses parâmetros ajudam a identificar e organizar os destinos.

    • applicationName: o ambiente em que você está executando o Data Firehose

    • subsystemName: o nome da integração do Data Firehose

    • ComputerName: o nome do stream Firehose em uso

    Dicas de armazenamento em buffer

    O Amazon Data Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho do buffer recomendado para o destino varia de acordo com o provedor de serviços.

Definir as configurações de destino para o Dynatrace

Esta seção descreve as opções para usar o Dynatrace como destino. Para obter mais informações, consulte https://www.dynatrace.com/support/help/technology-support/cloud-platforms/ amazon-web-services cloudwatch-metric-streams /integrations//.

  • Escolha as opções para usar o Dynatrace como destino para seu stream do Firehose.

    Tipo de ingestão

    Escolha se você deseja fornecer métricas ou registros (padrão) no Dynatrace para análise e processamento adicionais.

    URL do endpoint HTTP

    Escolha a URL do endpoint HTTP (Dynatrace US, Dynatrace EU ou Dynatrace Global) no menu suspenso.

    Autenticação

    Você pode optar por inserir o token da API diretamente ou recuperar o segredo AWS Secrets Manager para acessar o Dynatrace.

    • Token de API

      Gere o token da API Dynatrace que você precisa para habilitar a entrega de dados para esse endpoint a partir do Firehose. Para obter mais informações, consulte API Dynatrace - Tokens e autenticação.

    • Secret

      Selecione um segredo AWS Secrets Manager que contenha o token da API para o Dynatrace. Se você não encontrar seu segredo na lista suspensa, crie um em. AWS Secrets Manager Para ter mais informações, consulte Autentique-se com o AWS Secrets Manager Amazon Data Firehose.

    URL da API

    Forneça o URL da API do ambiente do Dynatrace.

    Codificação de conteúdo

    Escolha se você deseja ativar a codificação de conteúdo para compactar o corpo da solicitação. O Amazon Data Firehose usa codificação de conteúdo para compactar o corpo de uma solicitação antes de enviá-la ao destino. Quando ativado, o conteúdo é compactado no formato GZIP.

    Período de novas tentativas

    Especifique por quanto tempo o Firehose tenta enviar dados novamente para o endpoint HTTP selecionado.

    Depois de enviar os dados, o Firehose primeiro espera por uma confirmação do endpoint HTTP. Se ocorrer um erro ou a confirmação não chegar dentro do período de tempo limite da confirmação, o Firehose iniciará o contador de duração da nova tentativa. Ele continuará tentando novamente até a duração da nova tentativa expirar. Depois disso, o Firehose considera isso uma falha na entrega de dados e faz o backup dos dados em seu bucket do Amazon S3.

    Toda vez que o Firehose envia dados para o endpoint HTTP, durante a tentativa inicial ou depois de tentar novamente, ele reinicia o contador de tempo limite de confirmação e espera por uma confirmação do endpoint HTTP.

    Mesmo que a duração da nova tentativa expire, o Firehose ainda espera pela confirmação até recebê-la ou até que o período de tempo limite da confirmação seja atingido. Se o tempo limite de confirmação expirar, o Firehose determinará se ainda há tempo no contador de novas tentativas. Se houver tempo restante, ele tentará executar novamente e repetirá a lógica até receber um reconhecimento ou determinará que o tempo de tentar novamente expirou.

    Se você não quiser que o Firehose tente enviar dados novamente, defina esse valor como 0.

    Parâmetros: opcional

    O Amazon Data Firehose inclui esses pares de valores-chave em cada chamada HTTP. Esses parâmetros ajudam a identificar e organizar os destinos.

    Dicas de armazenamento em buffer

    O Amazon Data Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. As dicas de buffer incluem o tamanho e o intervalo do buffer para seus streams. O tamanho do buffer recomendado para o destino varia de acordo com o provedor de serviços.

Defina as configurações de destino para LogicMonitor

Esta seção descreve as opções LogicMonitorpara uso em seu destino. Para obter mais informações, consulte https://www.logicmonitor.com.

  • Forneça os valores para os seguintes campos:

    URL do endpoint HTTP

    Especifique o URL do endpoint HTTP no formato a seguir.

    https://ACCOUNT.logicmonitor.com
    Autenticação

    Você pode optar por inserir a chave da API diretamente ou recuperar o segredo AWS Secrets Manager para acessar LogicMonitor.

    • Chave de API

      Entre em contato LogicMonitor para obter a chave de API necessária para habilitar a entrega de dados do Firehose para esse endpoint.

    • Secret

      Selecione um segredo AWS Secrets Manager que contenha a chave de API para LogicMonitor. Se você não encontrar seu segredo na lista suspensa, crie um em. AWS Secrets Manager Para ter mais informações, consulte Autentique-se com o AWS Secrets Manager Amazon Data Firehose.

    Codificação de conteúdo

    O Amazon Data Firehose usa codificação de conteúdo para compactar o corpo de uma solicitação antes de enviá-la ao destino. Escolha GZIP ou Desabilitado para habilitar/desabilitar a codificação de conteúdo da solicitação.

    Período de novas tentativas

    Especifique por quanto tempo o Amazon Data Firehose tenta enviar dados novamente para o endpoint HTTP selecionado.

    Depois de enviar os dados, o Amazon Data Firehose primeiro espera por uma confirmação do endpoint HTTP. Se ocorrer um erro ou a confirmação não chegar dentro do período de tempo limite da confirmação, o Amazon Data Firehose iniciará o contador de duração de novas tentativas. Ele continuará tentando novamente até a duração da nova tentativa expirar. Depois disso, o Amazon Data Firehose considera isso uma falha na entrega de dados e faz o backup dos dados em seu bucket do Amazon S3.

    Toda vez que o Amazon Data Firehose envia dados para o endpoint HTTP (seja a tentativa inicial ou uma nova tentativa), ele reinicia o contador de tempo limite de confirmação e espera por uma confirmação do endpoint HTTP.

    Mesmo que a duração da nova tentativa expire, o Amazon Data Firehose ainda espera pela confirmação até recebê-la ou até que o período de tempo limite da confirmação seja atingido. Se o tempo limite de confirmação expirar, o Amazon Data Firehose determinará se ainda há tempo no contador de novas tentativas. Se houver tempo restante, ele tentará executar novamente e repetirá a lógica até receber um reconhecimento ou determinará que o tempo de tentar novamente expirou.

    Se você não quiser que o Amazon Data Firehose tente enviar dados novamente, defina esse valor como 0.

    Parâmetros: opcional

    O Amazon Data Firehose inclui esses pares de valores-chave em cada chamada HTTP. Esses parâmetros ajudam a identificar e organizar os destinos.

    Dicas de armazenamento em buffer

    O Amazon Data Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho de buffer recomendado para o destino varia de acordo com o provedor de serviços.

Defina as configurações de destino para o Logz.io

Esta seção descreve as opções para usar o Logz.io como destino. Para obter mais informações, consulte https://logz.io/.

nota

Na região da Europa (Milão), o Logz.io não é suportado como destino do Amazon Data Firehose.

  • Forneça os valores para os seguintes campos:

    URL do endpoint HTTP

    Especifique o URL do endpoint HTTP no formato a seguir. O URL deve ser um HTTPS URL.

    https://listener-aws-metrics-stream-<region>.logz.io/

    Por exemplo

    https://listener-aws-metrics-stream-us.logz.io/
    Autenticação

    Você pode optar por inserir o token de envio diretamente ou recuperar o segredo AWS Secrets Manager para acessar o Logz.io.

    • Token de envio

      Entre em contato com a Logz.io para obter o token de envio necessário para habilitar a entrega de dados do Firehose para esse endpoint.

    • Secret

      Selecione um segredo AWS Secrets Manager que contenha o token de envio do Logz.io. Se você não encontrar seu segredo na lista suspensa, crie um em. AWS Secrets Manager Para ter mais informações, consulte Autentique-se com o AWS Secrets Manager Amazon Data Firehose.

    Período de novas tentativas

    Especifique por quanto tempo o Amazon Data Firehose tenta enviar dados novamente para o Logz.io.

    Depois de enviar os dados, o Amazon Data Firehose primeiro espera por uma confirmação do endpoint HTTP. Se ocorrer um erro ou a confirmação não chegar dentro do período de tempo limite da confirmação, o Amazon Data Firehose iniciará o contador de duração de novas tentativas. Ele continuará tentando novamente até a duração da nova tentativa expirar. Depois disso, o Amazon Data Firehose considera isso uma falha na entrega de dados e faz o backup dos dados em seu bucket do Amazon S3.

    Toda vez que o Amazon Data Firehose envia dados para o endpoint HTTP (seja a tentativa inicial ou uma nova tentativa), ele reinicia o contador de tempo limite de confirmação e espera por uma confirmação do endpoint HTTP.

    Mesmo que a duração da nova tentativa expire, o Amazon Data Firehose ainda espera pela confirmação até recebê-la ou até que o período de tempo limite da confirmação seja atingido. Se o tempo limite de confirmação expirar, o Amazon Data Firehose determinará se ainda há tempo no contador de novas tentativas. Se houver tempo restante, ele tentará executar novamente e repetirá a lógica até receber um reconhecimento ou determinará que o tempo de tentar novamente expirou.

    Se você não quiser que o Amazon Data Firehose tente enviar dados novamente, defina esse valor como 0.

    Parâmetros: opcional

    O Amazon Data Firehose inclui esses pares de valores-chave em cada chamada HTTP. Esses parâmetros ajudam a identificar e organizar os destinos.

    Dicas de armazenamento em buffer

    O Amazon Data Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho de buffer recomendado para o destino varia de acordo com o provedor de serviços.

Defina as configurações de destino para o MongoDB Cloud

Esta seção descreve as opções para usar a MongoDB Cloud como destino. Para obter mais informações, consulte https://www.mongodb.com.

  • Forneça os valores para os seguintes campos:

    URL do webhook Realm do MongoDB

    Especifique o URL do endpoint HTTP no formato a seguir.

     https://webhooks.mongodb-realm.com

    O URL deve ser um HTTPS URL.

    Autenticação

    Você pode optar por inserir a chave da API diretamente ou recuperar o segredo AWS Secrets Manager para acessar o MongoDB Cloud.

    • Chave de API

      Entre em contato com o MongoDB Cloud para obter a chave de API necessária para habilitar a entrega de dados a esse endpoint a partir do Firehose.

    • Secret

      Selecione um segredo AWS Secrets Manager que contenha a chave de API para o MongoDB Cloud. Se você não encontrar seu segredo na lista suspensa, crie um em. AWS Secrets Manager Para ter mais informações, consulte Autentique-se com o AWS Secrets Manager Amazon Data Firehose.

    Codificação de conteúdo

    O Amazon Data Firehose usa codificação de conteúdo para compactar o corpo de uma solicitação antes de enviá-la ao destino. Escolha GZIP ou Desabilitado para habilitar/desabilitar a codificação de conteúdo da solicitação.

    Período de novas tentativas

    Especifique por quanto tempo o Amazon Data Firehose tenta enviar dados novamente para o provedor terceirizado selecionado.

    Depois de enviar os dados, o Amazon Data Firehose primeiro espera por uma confirmação do endpoint HTTP. Se ocorrer um erro ou a confirmação não chegar dentro do período de tempo limite da confirmação, o Amazon Data Firehose iniciará o contador de duração de novas tentativas. Ele continuará tentando novamente até a duração da nova tentativa expirar. Depois disso, o Amazon Data Firehose considera isso uma falha na entrega de dados e faz o backup dos dados em seu bucket do Amazon S3.

    Toda vez que o Amazon Data Firehose envia dados para o endpoint HTTP (seja a tentativa inicial ou uma nova tentativa), ele reinicia o contador de tempo limite de confirmação e espera por uma confirmação do endpoint HTTP.

    Mesmo que a duração da nova tentativa expire, o Amazon Data Firehose ainda espera pela confirmação até recebê-la ou até que o período de tempo limite da confirmação seja atingido. Se o tempo limite de confirmação expirar, o Amazon Data Firehose determinará se ainda há tempo no contador de novas tentativas. Se houver tempo restante, ele tentará executar novamente e repetirá a lógica até receber um reconhecimento ou determinará que o tempo de tentar novamente expirou.

    Se você não quiser que o Amazon Data Firehose tente enviar dados novamente, defina esse valor como 0.

    Dicas de armazenamento em buffer

    O Amazon Data Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho de buffer recomendado para o destino varia de acordo com o provedor de serviços.

    Parâmetros: opcional

    O Amazon Data Firehose inclui esses pares de valores-chave em cada chamada HTTP. Esses parâmetros ajudam a identificar e organizar os destinos.

Defina as configurações de destino para o New Relic

Esta seção descreve as opções para usar o New Relic como destino. Para obter mais informações, consulte https://newrelic.com.

  • Forneça os valores para os seguintes campos:

    URL do endpoint HTTP

    Escolha o URL do endpoint HTTP entre as opções a seguir na lista suspensa.

    • Logs do New Relic - EUA

    • Métricas do New Relic - EUA

    • Métricas do New Relic - UE

    Autenticação

    Você pode optar por inserir a chave da API diretamente ou recuperar o segredo AWS Secrets Manager para acessar o New Relic.

    • Chave de API

      Insira sua chave de licença, que é uma sequência hexadecimal de 40 caracteres, nas configurações da sua conta New Relic One. Você precisa dessa chave de API para permitir a entrega de dados do Firehose para esse endpoint.

    • Secret

      Selecione um segredo AWS Secrets Manager que contenha a chave de API da New Relic. Se você não encontrar seu segredo na lista suspensa, crie um em. AWS Secrets Manager Para ter mais informações, consulte Autentique-se com o AWS Secrets Manager Amazon Data Firehose.

    Codificação de conteúdo

    O Amazon Data Firehose usa codificação de conteúdo para compactar o corpo de uma solicitação antes de enviá-la ao destino. Escolha GZIP ou Desabilitado para habilitar/desabilitar a codificação de conteúdo da solicitação.

    Período de novas tentativas

    Especifique por quanto tempo o Amazon Data Firehose tenta enviar dados novamente para o endpoint HTTP da New Relic.

    Depois de enviar os dados, o Amazon Data Firehose primeiro espera por uma confirmação do endpoint HTTP. Se ocorrer um erro ou a confirmação não chegar dentro do período de tempo limite da confirmação, o Amazon Data Firehose iniciará o contador de duração de novas tentativas. Ele continuará tentando novamente até a duração da nova tentativa expirar. Depois disso, o Amazon Data Firehose considera isso uma falha na entrega de dados e faz o backup dos dados em seu bucket do Amazon S3.

    Toda vez que o Amazon Data Firehose envia dados para o endpoint HTTP (seja a tentativa inicial ou uma nova tentativa), ele reinicia o contador de tempo limite de confirmação e espera por uma confirmação do endpoint HTTP.

    Mesmo que a duração da nova tentativa expire, o Amazon Data Firehose ainda espera pela confirmação até recebê-la ou até que o período de tempo limite da confirmação seja atingido. Se o tempo limite de confirmação expirar, o Amazon Data Firehose determinará se ainda há tempo no contador de novas tentativas. Se houver tempo restante, ele tentará executar novamente e repetirá a lógica até receber um reconhecimento ou determinará que o tempo de tentar novamente expirou.

    Se você não quiser que o Amazon Data Firehose tente enviar dados novamente, defina esse valor como 0.

    Parâmetros: opcional

    O Amazon Data Firehose inclui esses pares de valores-chave em cada chamada HTTP. Esses parâmetros ajudam a identificar e organizar os destinos.

    Dicas de armazenamento em buffer

    O Amazon Data Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho de buffer recomendado para o destino varia de acordo com o provedor de serviços.

Defina as configurações de destino para o Snowflake

Esta seção descreve as opções para usar o Snowflake como seu destino.

nota

A integração do Firehose com o Snowflake está disponível no Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Europa (Irlanda), Leste dos EUA (Ohio), Ásia-Pacífico (Tóquio), Europa (Frankfurt), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Seul) e Ásia-Pacífico (Sydney). Regiões da AWS

Configurações de conexão

  • Forneça os valores para os seguintes campos:

    URL da conta Snowflake

    Especifique o URL da conta do Snowflake. Por exemplo: xy12345.us-east-1.aws.snowflakecomputing.com. Consulte a documentação do Snowflake para saber como determinar o URL da sua conta. Observe que você não deve especificar o número da porta, enquanto o protocolo (https://) é opcional.

    Autenticação

    Você pode optar por inserir o login do usuário, a chave privada e a senha manualmente ou recuperar o segredo para acessar o Snowflake. AWS Secrets Manager

    • Login de usuário

      Especifique o usuário do Snowflake a ser usado para carregar dados. Certifique-se de que o usuário tenha acesso para inserir dados na tabela Snowflake.

    • Chave privada

      Especifique a chave privada do usuário usada para autenticação com o Snowflake. Verifique se a chave privada está no PKCS8 formato. Não inclua cabeçalho e rodapé do PEM como parte dessa chave. Se a chave estiver dividida em várias linhas, remova as quebras de linha.

    • Senha

      Especifique a senha para descriptografar a chave privada criptografada. Você pode deixar esse campo vazio se a chave privada não estiver criptografada. Para obter informações, consulte Usando a autenticação de pares de chaves e a rotação de chaves.

    • Secret

      Selecione um segredo AWS Secrets Manager que contenha as credenciais do Snowflake. Se você não encontrar seu segredo na lista suspensa, crie um em. AWS Secrets Manager Para ter mais informações, consulte Autentique-se com o AWS Secrets Manager Amazon Data Firehose.

    Configuração da função

    Usar a função padrão do Snowflake — Se essa opção for selecionada, o Firehose não passará nenhuma função para o Snowflake. A função padrão é assumida para carregar dados. Certifique-se de que a função padrão tenha permissão para inserir dados na tabela do Snowflake.

    Use a função personalizada do Snowflake — Insira uma função não padrão do Snowflake a ser assumida pelo Firehose ao carregar dados na tabela do Snowflake.

    Conectividade Snowflake

    As opções são privadas ou públicas.

    ID VPCE privada (opcional)

    O VPCE ID do Firehose para se conectar de forma privada com o Snowflake. O formato do ID é com.amazonaws.vpce. [região] .vpce-svc- [id]. Para obter mais informações, consulte AWS PrivateLink & Snowflake.

    nota

    Certifique-se de que sua rede Snowflake permita o acesso ao Firehose. Para obter uma lista das IDs de VPCE que você pode usar, consulte o. Acesso ao Snowflake em VPC

Configurar o banco de dados:

  • Você deve especificar as configurações a seguir para usar o Snowflake como destino para seu stream do Firehose.

    • Banco de dados Snowflake — Todos os dados no Snowflake são mantidos em bancos de dados.

    • Esquema Snowflake — Cada banco de dados consiste em um ou mais esquemas, que são agrupamentos lógicos de objetos de banco de dados, como tabelas e visualizações

    • Tabela Snowflake — Todos os dados no Snowflake são armazenados em tabelas de banco de dados, estruturadas logicamente como coleções de colunas e linhas.

Opções de carregamento de dados para sua tabela Snowflake

  • Use chaves JSON como nomes de colunas

  • Use colunas VARIANT

    • Nome da coluna de conteúdo — especifique um nome de coluna na tabela, onde os dados brutos devem ser carregados.

    • Nome da coluna de metadados (opcional) — Especifique um nome de coluna na tabela, onde as informações de metadados devem ser carregadas.

Período de novas tentativas

Tempo de duração (0—7200 segundos) para o Firehose tentar novamente se a abertura do canal ou a entrega ao Snowflake falharem devido a problemas de serviço do Snowflake. O Firehose tenta novamente com um recuo exponencial até que a duração da nova tentativa termine. Se você definir a duração da nova tentativa para 0 (zero) segundos, o Firehose não tentará novamente em caso de falhas do Snowflake e encaminhará os dados para o bucket de erros do Amazon S3.

Defina as configurações de destino para o Splunk

Esta seção descreve as opções para usar o Splunk como destino.

nota

O Firehose entrega dados para clusters Splunk configurados com Classic Load Balancer ou Application Load Balancer.

  • Forneça os valores para os seguintes campos:

    Splunk cluster endpoint

    Para determinar o endpoint, consulte Configurar o Amazon Data Firehose para enviar dados para a plataforma Splunk na documentação do Splunk.

    Splunk endpoint type

    Escolha Raw endpoint na maioria dos casos. Escolha Event endpoint se você pré-processou seus dados usando AWS Lambda para enviar dados para índices diferentes por tipo de evento. Para obter informações sobre qual endpoint usar, consulte Configurar o Amazon Data Firehose para enviar dados para a plataforma Splunk na documentação do Splunk.

    Autenticação

    Você pode optar por inserir o token de autenticação diretamente ou recuperar o segredo AWS Secrets Manager para acessar o Splunk.

    HEC acknowledgement timeout

    Especifique quanto tempo o Amazon Data Firehose espera pela confirmação do índice do Splunk. Se o Splunk não enviar a confirmação antes que o tempo limite seja atingido, o Amazon Data Firehose considerará isso uma falha na entrega de dados. Em seguida, o Amazon Data Firehose tenta novamente ou faz backup dos dados no seu bucket do Amazon S3, dependendo do valor da duração da nova tentativa que você definir.

    Período de novas tentativas

    Especifique por quanto tempo o Amazon Data Firehose tenta enviar dados novamente para o Splunk.

    Depois de enviar os dados, o Amazon Data Firehose primeiro espera por uma confirmação da Splunk. Se ocorrer um erro ou a confirmação não chegar dentro do período de tempo limite da confirmação, o Amazon Data Firehose iniciará o contador de duração de novas tentativas. Ele continuará tentando novamente até a duração da nova tentativa expirar. Depois disso, o Amazon Data Firehose considera isso uma falha na entrega de dados e faz o backup dos dados em seu bucket do Amazon S3.

    Toda vez que o Amazon Data Firehose envia dados para o Splunk (seja a tentativa inicial ou uma nova tentativa), ele reinicia o contador de tempo limite de confirmação e aguarda uma confirmação do Splunk.

    Mesmo que a duração da nova tentativa expire, o Amazon Data Firehose ainda espera pela confirmação até recebê-la ou até que o período de tempo limite da confirmação seja atingido. Se o tempo limite de confirmação expirar, o Amazon Data Firehose determinará se ainda há tempo no contador de novas tentativas. Se houver tempo restante, ele tentará executar novamente e repetirá a lógica até receber um reconhecimento ou determinará que o tempo de tentar novamente expirou.

    Se você não quiser que o Amazon Data Firehose tente enviar dados novamente, defina esse valor como 0.

    Dicas de armazenamento em buffer

    O Amazon Data Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho do buffer recomendado para o destino varia de acordo com o provedor de serviços.

Defina as configurações de destino para o Splunk Observability Cloud

Esta seção descreve as opções para usar a Splunk Observability Cloud como destino. Para obter mais informações, consulte https://docs.splunk.com/observability/en/gdi/ get-data-in /connect/aws/aws-apiconfig.html # connect-to-aws-using - the-splunk-observability-cloud -api.

  • Forneça os valores para os seguintes campos:

    URL do endpoint de ingestão na nuvem

    Você pode encontrar o URL de ingestão de dados em tempo real da Splunk Observability Cloud em Profile > Organizations > Real-time Data Ingest Endpoint no console do Splunk Observability.

    Autenticação

    Você pode optar por inserir o token de acesso diretamente ou recuperar o segredo AWS Secrets Manager para acessar o Splunk Observability Cloud.

    • Token de acesso

      Copie seu token de acesso ao Splunk Observability com o escopo de autorização INGEST dos Tokens de Acesso em Configurações no console do Splunk Observability.

    • Secret

      Selecione um segredo AWS Secrets Manager que contenha o token de acesso para o Splunk Observability Cloud. Se você não encontrar seu segredo na lista suspensa, crie um em. AWS Secrets Manager Para ter mais informações, consulte Autentique-se com o AWS Secrets Manager Amazon Data Firehose.

    Codificação de conteúdo

    O Amazon Data Firehose usa codificação de conteúdo para compactar o corpo de uma solicitação antes de enviá-la ao destino. Escolha GZIP ou Desabilitado para habilitar/desabilitar a codificação de conteúdo da solicitação.

    Período de novas tentativas

    Especifique por quanto tempo o Amazon Data Firehose tenta enviar dados novamente para o endpoint HTTP selecionado.

    Depois de enviar os dados, o Amazon Data Firehose primeiro espera por uma confirmação do endpoint HTTP. Se ocorrer um erro ou a confirmação não chegar dentro do período de tempo limite da confirmação, o Amazon Data Firehose iniciará o contador de duração de novas tentativas. Ele continuará tentando novamente até a duração da nova tentativa expirar. Depois disso, o Amazon Data Firehose considera isso uma falha na entrega de dados e faz o backup dos dados em seu bucket do Amazon S3.

    Toda vez que o Amazon Data Firehose envia dados para o endpoint HTTP (seja a tentativa inicial ou uma nova tentativa), ele reinicia o contador de tempo limite de confirmação e espera por uma confirmação do endpoint HTTP.

    Mesmo que a duração da nova tentativa expire, o Amazon Data Firehose ainda espera pela confirmação até recebê-la ou até que o período de tempo limite da confirmação seja atingido. Se o tempo limite de confirmação expirar, o Amazon Data Firehose determinará se ainda há tempo no contador de novas tentativas. Se houver tempo restante, ele tentará executar novamente e repetirá a lógica até receber um reconhecimento ou determinará que o tempo de tentar novamente expirou.

    Se você não quiser que o Amazon Data Firehose tente enviar dados novamente, defina esse valor como 0.

    Parâmetros: opcional

    O Amazon Data Firehose inclui esses pares de valores-chave em cada chamada HTTP. Esses parâmetros ajudam a identificar e organizar os destinos.

    Dicas de armazenamento em buffer

    O Amazon Data Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho de buffer recomendado para o destino varia de acordo com o provedor de serviços.

Defina as configurações de destino para o Sumo Logic

Esta seção descreve as opções para usar o Sumo Logic como destino. Para obter mais informações, consulte https://www.sumologic.com.

  • Forneça os valores para os seguintes campos:

    URL do endpoint HTTP

    Especifique a URL para o endpoint HTTP no seguinte formato: https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token. A origem deve ser uma URL HTTPS.

    Codificação de conteúdo

    O Amazon Data Firehose usa codificação de conteúdo para compactar o corpo de uma solicitação antes de enviá-la ao destino. Escolha GZIP ou Desabilitado para habilitar/desabilitar a codificação de conteúdo da solicitação.

    Período de novas tentativas

    Especifique por quanto tempo o Amazon Data Firehose tenta enviar dados novamente para o Sumo Logic.

    Depois de enviar os dados, o Amazon Data Firehose primeiro espera por uma confirmação do endpoint HTTP. Se ocorrer um erro ou a confirmação não chegar dentro do período de tempo limite da confirmação, o Amazon Data Firehose iniciará o contador de duração de novas tentativas. Ele continuará tentando novamente até a duração da nova tentativa expirar. Depois disso, o Amazon Data Firehose considera isso uma falha na entrega de dados e faz o backup dos dados em seu bucket do Amazon S3.

    Toda vez que o Amazon Data Firehose envia dados para o endpoint HTTP (seja a tentativa inicial ou uma nova tentativa), ele reinicia o contador de tempo limite de confirmação e espera por uma confirmação do endpoint HTTP.

    Mesmo que a duração da nova tentativa expire, o Amazon Data Firehose ainda espera pela confirmação até recebê-la ou até que o período de tempo limite da confirmação seja atingido. Se o tempo limite de confirmação expirar, o Amazon Data Firehose determinará se ainda há tempo no contador de novas tentativas. Se houver tempo restante, ele tentará executar novamente e repetirá a lógica até receber um reconhecimento ou determinará que o tempo de tentar novamente expirou.

    Se você não quiser que o Amazon Data Firehose tente enviar dados novamente, defina esse valor como 0.

    Parâmetros: opcional

    O Amazon Data Firehose inclui esses pares de valores-chave em cada chamada HTTP. Esses parâmetros ajudam a identificar e organizar os destinos.

    Dicas de armazenamento em buffer

    O Amazon Data Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho de buffer recomendado para o destino do Elastic varia de acordo com o provedor de serviços.

Defina as configurações de destino para a Elastic

Esta seção descreve as opções para usar o Elastic como destino.

  • Forneça os valores para os seguintes campos:

    URL do endpoint do Elastic

    Especifique a URL para o endpoint HTTP no seguinte formato: https://<cluster-id>.es.<region>.aws.elastic-cloud.com. A origem deve ser uma URL HTTPS.

    Autenticação

    Você pode optar por inserir a chave de API diretamente ou recuperar o segredo AWS Secrets Manager para acessar a Elastic.

    • Chave de API

      Entre em contato com a Elastic para obter a chave de API necessária para permitir a entrega de dados do Firehose para o serviço deles.

    • Secret

      Selecione um segredo AWS Secrets Manager que contenha a chave de API da Elastic. Se você não encontrar seu segredo na lista suspensa, crie um em. AWS Secrets Manager Para ter mais informações, consulte Autentique-se com o AWS Secrets Manager Amazon Data Firehose.

    Codificação de conteúdo

    O Amazon Data Firehose usa codificação de conteúdo para compactar o corpo de uma solicitação antes de enviá-la ao destino. Escolha GZIP (que é o selecionado por padrão) ou Desabilitado para habilitar/desabilitar a codificação de conteúdo da solicitação.

    Período de novas tentativas

    Especifique por quanto tempo o Amazon Data Firehose tenta enviar dados novamente para a Elastic.

    Depois de enviar os dados, o Amazon Data Firehose primeiro espera por uma confirmação do endpoint HTTP. Se ocorrer um erro ou a confirmação não chegar dentro do período de tempo limite da confirmação, o Amazon Data Firehose iniciará o contador de duração de novas tentativas. Ele continuará tentando novamente até a duração da nova tentativa expirar. Depois disso, o Amazon Data Firehose considera isso uma falha na entrega de dados e faz o backup dos dados em seu bucket do Amazon S3.

    Toda vez que o Amazon Data Firehose envia dados para o endpoint HTTP (seja a tentativa inicial ou uma nova tentativa), ele reinicia o contador de tempo limite de confirmação e espera por uma confirmação do endpoint HTTP.

    Mesmo que a duração da nova tentativa expire, o Amazon Data Firehose ainda espera pela confirmação até recebê-la ou até que o período de tempo limite da confirmação seja atingido. Se o tempo limite de confirmação expirar, o Amazon Data Firehose determinará se ainda há tempo no contador de novas tentativas. Se houver tempo restante, ele tentará executar novamente e repetirá a lógica até receber um reconhecimento ou determinará que o tempo de tentar novamente expirou.

    Se você não quiser que o Amazon Data Firehose tente enviar dados novamente, defina esse valor como 0.

    Parâmetros: opcional

    O Amazon Data Firehose inclui esses pares de valores-chave em cada chamada HTTP. Esses parâmetros ajudam a identificar e organizar os destinos.

    Dicas de armazenamento em buffer

    O Amazon Data Firehose armazena em buffer os dados recebidos antes de entregá-los ao destino especificado. O tamanho de buffer recomendado quando o destino é O Elastic é de 1 MiB.