Para recursos semelhantes aos do Amazon Timestream para, considere o Amazon Timestream LiveAnalytics para InfluxDB. Ele oferece ingestão de dados simplificada e tempos de resposta de consulta de um dígito em milissegundos para análises em tempo real. Saiba mais aqui.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon Timestream para InfluxDB 3
O que é Timestream para InfluxDB 3?
O Amazon Timestream for InfluxDB 3 é um serviço gerenciado de banco de dados de séries temporais que facilita que desenvolvedores DevOps e equipes de aplicativos executem bancos AWS de dados InfluxDB 3 em aplicativos de análise de séries temporais de grande escala usando código aberto. APIs Com o Amazon Timestream para InfluxDB 3, é possível facilmente configurar, operar e escalar workloads de séries temporais projetadas para lidar com dados de alta cardinalidade e consultas analíticas complexas.
O InfluxDB 3 representa uma reimaginação arquitetônica completa do mecanismo de banco de dados InfluxDB. Ao contrário das versões 1 e 2, que utilizavam um mecanismo de armazenamento Time-Structured Merge Tree (TSM), o InfluxDB 3 foi construído do zero em bases tecnológicas totalmente diferentes. Essa nova versão utiliza o Apache Arrow para processamento de dados na memória, o Apache Data Fusion para execução de consultas e um formato de armazenamento colunar (Parquet) para persistência de dados no armazenamento de objetos (Amazon S3). Essa mudança arquitetônica permite que o InfluxDB 3 ofereça desempenho aprimorado para dados de alta cardinalidade e escale com eficiência para grandes workloads analíticas. A arquitetura InfluxDB 3 fornece melhor desempenho de consulta e utilização de recursos para casos de uso intensivos de dados.
O Amazon Timestream para InfluxDB 3 oferece acesso aos recursos desse mecanismo de banco de dados de séries temporais de próxima geração. A transformação arquitetônica permite workloads de análise de séries temporais em grande escala e aproveita os recursos de compactação, particionamento e otimização de consultas inerentes ao formato de armazenamento colunar Parquet. Ao desacoplar a computação do armazenamento, o InfluxDB 3 pode ser escalado para lidar com volumes de dados praticamente ilimitados, mantendo a eficiência de custos.
O Amazon Timestream para InfluxDB 3 pode fazer backup automático do seu banco de dados e manter seu software de banco de dados atualizado com a versão mais recente. Como acontece com tudo Serviços da AWS, não são necessários investimentos iniciais e você paga apenas pelos recursos que usa.
Clusters de banco de dados
Um cluster de banco de dados é o alicerce fundamental do Timestream para InfluxDB 3. Ao contrário das instâncias de banco de dados tradicionais, o InfluxDB 3 usa uma arquitetura baseada em cluster que separa a computação do armazenamento, aproveitando o Amazon S3 para armazenamento de dados virtualmente ilimitado e econômico.
Você pode configurar suas implantações do InfluxDB 3 nas versões Core ou Enterprise:
Versão do Core
A versão do Core do InfluxDB 3 é limitada a implantações de cluster de nó único e não possui recursos de compactação, o que afeta sua adequação para determinadas workloads. Devido a essas limitações, a versão Core foi projetada principalmente para workloads quase em tempo real focadas em dados recentes (normalmente de alguns dias). Não é recomendado para casos de uso que envolvam armazenamento e análise de longo prazo, pois o desempenho diminuirá com o tempo sem processos de compactação para otimizar o armazenamento.
Versão empresarial
A versão Enterprise do InfluxDB 3 suporta configurações de cluster de vários nós e inclui recursos essenciais de compactação, permitindo a escalabilidade horizontal para operações de leitura e gravação. Essas implantações de vários nós fornecem maior disponibilidade, melhor desempenho para consultas simultâneas e maior resiliência geral do sistema. A funcionalidade de compactação na versão Enterprise a torna adequada para dados de alta cardinalidade e casos de uso de análises de longo prazo, pois otimiza continuamente o formato de armazenamento subjacente. Os clusters corporativos podem ser escalados com a adição de nós para acomodar workloads crescentes sem interromper as operações contínuas.
Cada cluster de banco de dados do tem um identificador de cluster de banco de dados. Este nome gerado automaticamente identifica de forma exclusiva o cluster de banco de dados ao interagir com a API Amazon Timestream para InfluxDB e comandos AWS CLI . O identificador de cluster de banco de dados é exclusivo para esse cliente em uma Região da AWS.
O Timestream para InfluxDB aloca um endpoint DNS para seu cluster. O identificador gerado por serviço é usado como parte do endpoint DNS do cluster. Por exemplo, se o identificador gerado pelo serviço do cluster for xghozx1v79, o endpoint DNS será xghozx1v79-3ksj4dla5nfjhi.timestream-influxdb3.us-east-1.on.aws.
O Amazon Timestream para InfluxDB 3 permite que você crie uma conta de usuário principal e uma senha para o seu cluster de banco de dados como parte do processo de criação. Este usuário principal tem permissões para criar bancos de dados, tabelas e realizar operações de leitura, gravação, exclusão e acréscimo em seus dados.
Para acessar uma interface de usuário visual baseada na web, você pode usar o InfluxDB Explore, que pode ser baixado InfluxData
Classes de cluster de banco de dados
A classe de cluster de banco de dados determina a capacidade de computação e de memória dos nós em seus clusters do Amazon Timestream para InfluxDB 3. A classe de cluster adequada depende da sua capacidade de processamento e dos requisitos de memória.
Classes de cluster do InfluxDB 3
Os clusters do InfluxDB 3 usam classes de instância especificamente otimizadas para a arquitetura de armazenamento baseada no Amazon S3. Essas classes, designadas comodb.influxIOIncluded, são projetadas para equilibrar os recursos computacionais com os I/O requisitos de trabalhar com armazenamento de objetos. O preço das instâncias de db.influxIOIncluded computação já inclui todas as I/O operações realizadas no Amazon S3, oferecendo aos clientes custos previsíveis, independentemente de seus padrões de E/S específicos.
A tabela a seguir mostra os detalhes de hardware das classes de nós do cluster InfluxDB 3:
| Classe de instância | vCPU | Memória (GiB) | Tipo de armazenamento | Largura de banda da rede (Gbps) |
|---|---|---|---|---|
| db.influx .medium IOIncluded | 1 | 8 | Armazenamento de objetos S3 | 12 |
| db.influx .large IOIncluded | 2 | 16 | Armazenamento de objetos S3 | 12 |
| db.influx .xlarge IOIncluded | 3 | 32 | Armazenamento de objetos S3 | 15 |
| db.influx .2xlarge IOIncluded | 8 | 64 | Armazenamento de objetos S3 | 20 |
| db.influx .4xlarge IOIncluded | 16 | 128 | Armazenamento de objetos S3 | 25 |
| db.influx .8xlarge IOIncluded | 32 | 256 | Armazenamento de objetos S3 | 30 |
| db.influx .12xlarge IOIncluded | 48 | 384 | Armazenamento de objetos S3 | 22,5 |
| db.influx .16xlarge IOIncluded | 64 | 512 | Armazenamento de objetos S3 | 30 |
| db.influx .24xlarge IOIncluded | 96 | 768 | Armazenamento de objetos S3 | 40 |
As classes de instância db.influxIOIncluded são projetadas especificamente para:
-
Gerencie com eficiência as I/O operações entre os nós de computação e o armazenamento de objetos do Amazon S3.
-
Forneça memory-to-CPU proporções ideais para o processamento de dados de séries temporais usando a estrutura Apache Arrow.
-
Suportar os requisitos computacionais do mecanismo de consulta Data Fusion.
Para implantações corporativas com clusters de vários nós, todos os nós usam a mesma classe de instância para garantir um desempenho equilibrado em todo o cluster. À medida que sua workload cresce, você pode aumentar a escala verticalmente selecionando uma classe de instância maior para todos os nós no cluster ou aumentar a escala horizontalmente adicionando mais nós da mesma classe ao seu cluster.
Especificações de hardware para classes de cluster de banco de dados
A terminologia a seguir descreve as especificações de hardware para classes de cluster de banco de dados:
-
vCPU — O número de unidades de processamento central virtual ()CPUs. Uma CPU virtual é uma unidade de capacidade que você pode usar para comparar classes de cluster de banco de dados.
-
Memória (GiB) – A RAM, em gibibytes, alocada ao nó do cluster do banco de dados. Geralmente, há uma proporção consistente entre a memória e a vCPU.
-
Tipo de armazenamento – O InfluxDB 3 usa o Armazenamento de Objetos S3, que é separado dos nós de computação.
-
Largura de banda da rede: a velocidade de rede relativa a outras classes de cluster de banco de dados.
Armazenamento de cluster de banco de dados
O Amazon Timestream para InfluxDB 3 apresenta uma arquitetura de armazenamento diferente que separa a computação do armazenamento, utilizando o Amazon S3 para armazenamento de objetos. Essa arquitetura fornece capacidade de armazenamento praticamente ilimitada, mantendo os custos sob controle em implantações em grande escala.
Armazenamento de objetos InfluxDB
Os clusters do InfluxDB 3 usam uma única classe de armazenamento chamada armazenamento de objetos do InfluxDB, que é criada no Amazon S3. Essa opção de armazenamento oferece:
-
Capacidade de armazenamento praticamente ilimitada
-
Armazenamento econômico para grandes volumes de dados (economia de até 75% para implantações superiores a 16 TB em comparação com o InfluxDB 2.x)
-
Durabilidade de 99,999999999999999 (11 nins)
-
Dados armazenados no formato colunar Parquet para compactação eficiente e desempenho de consultas
Ao contrário das arquiteturas de banco de dados tradicionais, nas quais o armazenamento é diretamente conectado aos nós de computação, o armazenamento de objetos do InfluxDB 3 é compartilhado entre todos os nós do cluster. Cada nó mantém caches locais na memória para dados acessados com frequência para otimizar o desempenho da consulta, enquanto os dados subjacentes permanecem no Amazon S3.
O preço do armazenamento de objetos do InfluxDB é baseado em:
-
Volume total de dados armazenados (GB/mês), com uma cobrança mensal mínima equivalente a 200 GB
I/O os custos operacionais são agrupados nos preços de computação das classes de IOIncluded instância db.influx, oferecendo aos clientes custos mais previsíveis, independentemente de seus padrões específicos. I/O
Benefícios da arquitetura de armazenamento
A arquitetura de armazenamento baseada no Amazon S3 no InfluxDB 3 é particularmente benéfica para:
-
Workloads de análise de séries temporais em grande escala
-
Requisitos de dados de alta cardinalidade
-
Cenários de retenção de dados a longo prazo
-
Armazenamento econômico de grandes conjuntos de dados de séries temporais
Esse modelo de armazenamento é comparável ao Timestream para LiveAnalytics 'Magnetic Storage Tier', que também é baseado em armazenamento de objetos e otimizado para casos de uso de análise e armazenamento de longo prazo. A economia de armazenamento do InfluxDB 3 foi projetada para ser competitiva com LiveAnalytics os preços das lojas magnéticas, um modelo que se mostrou adequado para clientes que desejam executar e armazenar cargas de trabalho e dados de séries temporais em grande escala por longos períodos de tempo.
Dimensionamento de um cluster do banco de dados
A configuração ideal de um cluster Timestream para InfluxDB 3 depende de vários fatores, incluindo taxa de ingestão, tamanhos de lote, cardinalidade de séries temporais, consultas simultâneas e tipos de consulta.
Ao dimensionar os clusters do InfluxDB 3, considere esses fatores adicionais devido à sua arquitetura diferente:
-
Eficiência de armazenamento: para implantações com mais de 16 TB de dados, o armazenamento de objetos do InfluxDB 3 pode fornecer até 75% de economia de custos em comparação com o Timestream para implantações do InfluxDB 2.
-
Características da workload: o InfluxDB 3 é otimizado para dados de alta cardinalidade e consultas analíticas em grandes conjuntos de dados, ao mesmo tempo em que oferece desempenho comparável às versões 1.x e 2.x para consultas de menor intervalo de tempo. Além disso, atributos como os caches de último valor
e valor distinto permitem latências de consulta sustentadas abaixo de 10 ms para casos de uso específicos, como recuperar os pontos de dados mais recentes ou valores de metadados exclusivos. -
Padrões de consulta: considere se sua workload é contínua (monitoramento 24 horas por dia, 7 dias por semana) ou intermitente (análise periódica)
-
Requisitos de compactação: a versão corporativa inclui recursos de compactação essenciais para armazenamento de dados de longo prazo e workloads de alta cardinalidade. Para implantações com clusters de 3 nós ou mais, um nó compactador dedicado é recomendado para maximizar o desempenho do gravador e do leitor nos outros nós individuais, garantindo que os processos de compactação não compitam por recursos com operações de consulta e ingestão.
Para fornecer recomendações de dimensionamento, vamos considerar uma workload exemplar com as seguintes características:
-
Os dados são coletados e gravados por uma frota de agentes do Telegraf que coletam sistema, CPU, memória, disco, E/S etc. de um data center.
-
Cada solicitação de gravação contém 5000 linhas.
-
As consultas executadas no sistema são categorizadas como consultas de “complexidade moderada”, exibindo as seguintes características:
-
Elas têm várias funções e uma ou duas expressões regulares.
-
Podem incluir cláusulas agrupadas por cláusulas ou amostrar um intervalo de tempo de várias semanas.
-
Normalmente levam de algumas centenas de milissegundos a alguns milhares de milissegundos para serem executados.
-
A CPU favorece principalmente o desempenho da consulta.
-
Todos os testes foram realizados com um conjunto de dados contendo uma cardinalidade de 30 milhões de séries temporais.
-
| Grava (linhas por segundo) | Leituras (consultas por segundo) | Instance class | Versão |
|---|---|---|---|
| ~150.000 | 25 | db.influx .large IOIncluded | Core |
| ~200.000 | ~25 | db.influx .xlarge IOIncluded | Core |
| ~250.000 | ~35 | db.influx .2xlarge IOIncluded | Enterprise |
| ~500.000 | ~50 | db.influx .4xlarge IOIncluded | Enterprise |
| <750.000 | <100 | db.influx .8xlarge IOIncluded | Enterprise |
| >750.000 | >100 | Cluster corporativo de vários nós | Enterprise |
Faturamento de cluster de banco de dados para o Amazon Timestream para InfluxDB 3
Os clusters do Amazon Timestream para InfluxDB 3 são faturados com base nos seguintes componentes:
-
Horas do nó do cluster de banco de dados (por hora) — Com base na classe do nó do cluster de banco de dados, por exemplo, IOIncluded db.influx .large. A definição de preço está listada em uma base por hora, mas é calculada em segundos e mostra o tempo no formato decimal. O uso é cobrado em incrementos de 1 segundo, com um mínimo de 10 minutos. Para implantações Core de nó único ou implantações Enterprise de vários nós, cada nó é cobrado separadamente com base em seu tempo de execução.
-
Armazenamento de objetos (por GB por mês) – Volume real de dados armazenado no armazenamento de objetos InfluxDB, em vez da capacidade provisionada. Esse modelo permite que você pague somente pelo armazenamento usado, sem a necessidade de pré-provisionar a capacidade de armazenamento. Observação: há uma cobrança mensal mínima de armazenamento equivalente a 200 GB, mesmo que seu uso real de armazenamento seja menor.
-
Transferência de dados para fora (por GB) – Transferência de dados do seu cluster de banco de dados para a internet ou outro Regiões da AWS. A transferência de dados ou o tráfego dentro da mesma VPC ou entre zonas de disponibilidade dentro da mesma Região da AWS é gratuita.
-
Licença corporativa do InfluxDB 3 (por vCPU por hora) — Para implantações do InfluxDB 3 Enterprise, há um InfluxData custo de licença adicional cobrado por vCPU por hora. Essa taxa de licença é cobrada diretamente AWS Marketplace e aparece como um item de linha separado em sua AWS fatura. A licença habilita atributos corporativos, como agrupamento de vários nós, atributos de compactação e atributos avançados de segurança.
Para clusters InfluxDB 3 Enterprise com vários nós, cada nó é cobrado separadamente com base em sua classe de instância e contagem de vCPU (para taxas de licença), enquanto os custos de armazenamento são consolidados, pois todos os nós compartilham o mesmo armazenamento de objetos subjacente.
Resumo dos componentes de faturamento
| Componente de cobrança | InfluxDB 3 Core | InfluxDB 3 Enterprise |
|---|---|---|
| Faturamento por computação | Hora por nó (classes db.influxIOIncluded ) | Hora por nó (classes db.influxIOIncluded ) |
| Faturamento de armazenamento | Por GB de dados armazenados (mínimo de 200 GB) | Por GB de dados armazenados (mínimo de 200 GB) |
| I/O Operações | Incluído nos preços dos nós de computação | Incluído nos preços dos nós de computação |
| Escalar armazenamento | Não é necessário, pague apenas pelo armazenamento usado | Não é necessário, pague apenas pelo armazenamento usado |
| Transferência de dados | Gratuito | Gratuito |
| Transferência de dados dentro VPC/AZ | Gratuito | Gratuito |
| Transferência de dados para fora (internet/entre regiões) | Cobrado por GB | Cobrado por GB |
| Faturamento mínimo | 10 minutos | 10 minutos |
| Granularidade de faturamento | Incrementos de 1 segundo | Incrementos de 1 segundo |
| Compatível com vários nós | Não (somente nó único) | Sim |
| Licença adicional | Nenhum | Por vCPU por hora via AWS Marketplace |
Estratégias de otimização de custos
-
Dimensionamento correto – selecione a classe de nó apropriada com base em seus requisitos de workload para evitar o excesso de provisionamento. Também recomendamos escolher uma instância que mantenha uma média de aproximadamente 65% de utilização de CPU e memória, garantindo resiliência a picos de uso e permitindo espaço para um planejamento de capacidade saudável.
-
Eficiência de armazenamento— Para implantações com mais de 16 TB de dados, o armazenamento de objetos do InfluxDB 3 pode fornecer até 75% de economia de custos em comparação com as soluções tradicionais baseadas em EBS.
-
Otimização do tráfego de rede – mantenha a transferência de dados dentro da mesma VPC ou região sempre que possível para evitar cobranças de transferência de dados.
-
Estratégia de escalonamento – Para o InfluxDB 3 Enterprise, considere se a expansão (classe de nós maior) ou a expansão horizontal (mais nós) é mais econômica para seus padrões específicos de workload.
-
Otimização de licenças – Para o InfluxDB 3 Enterprise, escolha classes de nós que forneçam o equilíbrio ideal entre a contagem de vCPUs (que afeta os custos da licença) e os requisitos de desempenho.
Para obter informações sobre preços do Amazon Timestream para InfluxDB 3, consulte a página de preços do Amazon Timestream
Regiões da AWS e zonas de disponibilidade
Os recursos de computação em nuvem da Amazon são hospedados em vários locais no mundo todo. Esses locais são compostos por zonas de Regiões da AWS disponibilidade. Cada uma Região da AWS é uma área geográfica separada. Cada um Região da AWS tem vários locais isolados, conhecidos como zonas de disponibilidade.
O Amazon Timestream para InfluxDB permite que você coloque recursos, como instâncias de banco de dados e dados em vários locais. Para implantações corporativas com clusters de vários nós, os nós são distribuídos em várias zonas de disponibilidade para aumentar a disponibilidade.
