Trabalhando com consultas diretas do Amazon OpenSearch Service

Você pode usar a consulta direta do Amazon OpenSearch Service para analisar dados no Amazon CloudWatch Logs, no Amazon S3 e no Amazon Security Lake. OpenSearch O serviço fornece uma ETL integração zero como forma de analisar seus dados de log usando OpenSearch SQL nossa linguagem de processamento OpenSearch canalizada (PPL) sem incorrer no atrito de criar canais de ingestão ou alternar entre ferramentas de análise. Essa abordagem elimina a necessidade de movimentação ou duplicação de dados, permitindo que você analise seus dados onde estão usando OpenSearch o Discover. Quando quiser mudar da consulta de dados em repouso para o monitoramento ativo com painéis ou alertas, você pode criar visualizações indexadas dos dados e inseri-los em um índice de serviços. OpenSearch

Para começar, você configura uma fonte de dados no console OpenSearch de serviço. Para o Amazon S3, você usa as conexões do domínio, enquanto para CloudWatch Logs e Security Lake, você usa fontes de dados conectadas em Gerenciamento Central no console. Tanto o Amazon S3 quanto o Security Lake usam tabelas AWS Glue Data Catalog para representar sua estrutura de dados, incluindo esquema, tipo de arquivo e particionamento. Para o Amazon S3, você cria essas tabelas no OpenSearch Query Workbench usando instruções. CREATE TABLE SQL Para o Amazon Security Lake, as tabelas já AWS Glue estão configuradas durante o processo de configuração do Security Lake. CloudWatch Da mesma forma, o Logs tem grupos de registros pré-configurados.

Depois de configurar sua fonte de dados, você faz login no Discover, onde pode selecionar sua fonte de dados e escolher as tabelas relevantes (para Amazon S3 e Security Lake) ou grupos de log (para CloudWatch Logs). A partir daí, você pode começar a consultar seus dados diretamente.

Para usar os recursos avançados de análise do OpenSearch Service para monitoramento de dados, como a criação de painéis e a pesquisa de texto completo, você ingere dados da sua fonte de dados de consulta direta criando uma visualização indexada dos dados. Você pode criar visualizações indexadas usando técnicas comuns de SQL indexação, como ignorar índices, visualizações materializadas e índices de cobertura (quando houver suporte). Para ajudar você a começar a criar painéis rapidamente, você pode usar modelos pré-criados para tipos de registros comuns, como registros de VPC fluxo, AWS CloudTrail registros e AWS WAF registros.

Cotas de consulta direta

Sua conta tem as seguintes cotas relacionadas às consultas diretas do OpenSearch Serviço.

Cotas para o Amazon S3

Cada vez que você inicia uma consulta em uma fonte de dados do Amazon S3 OpenSearch , o Service abre uma sessão e a mantém ativa por pelo menos três minutos. Isso reduz a latência da consulta ao remover o tempo de inicialização da sessão nas consultas subsequentes.

Descrição	Máximo	Pode substituir
Conexões por domínio	10	Sim
Fontes de dados por domínio	20	Sim
Índices por domínio	5	Sim
Sessões simultâneas por fonte de dados	10	Sim
Máximo OCU por consulta	60	Sim
Tempo máximo de execução da consulta (minutos)	30	Sim
Máximo OCUs por aceleração	20	Sim
Armazenamento temporário máximo	20	Sim

Cotas para registros CloudWatch

nota

Se você deseja realizar consultas diretas usando o CloudWatch Logs Insights, consulte. Informações adicionais para usuários do CloudWatch Logs Insights que usam OpenSearch SQL

Descrição	Valor	Limite flexível?	Observações
TPSLimite no nível da conta em todas as consultas diretas APIs	3 TPS	Sim
Número máximo de fontes de dados	20	Sim	O limite é por Conta da AWS.
Máximo de índices de atualização automática ou visualizações materializadas	30	Sim	O limite é por fonte de dados.
Máximo de consultas simultâneas	15	Sim	O limite se aplica a consultas em estado pendente ou em execução. Inclui consultas interativas (por exemplo, comandos de recuperação de dados comoSELECT) e consultas de índice (por exemplo, operações comoCREATE//ALTER). DROP
Máximo simultâneo OCU por consulta	512	Sim	OpenSearch Unidades de computação (OCU). Limite baseado em 15 executores e 1 driver, cada um com 16 v CPU e 32 GB de memória. Representa o poder de processamento simultâneo.
Tempo máximo de execução da consulta em minutos	60	Não	O limite se aplica às SQL consultas OpenSearch PPL//no CloudWatch Logs Insights.
Período para eliminar a consulta obsoleta IDs	90 dias	Sim	Esse é o período após o qual o OpenSearch Serviço limpa os metadados da consulta de entradas mais antigas. Por exemplo, ligar GetDirectQuery ou GetDirectQueryResult falhar em consultas com mais de 90 dias.

Cotas para Security Lake

Descrição	Valor	Limite flexível?	Observações
TPSLimite no nível da conta em todas as consultas diretas APIs	3 TPS	Sim
Número máximo de fontes de dados	20	Sim	O limite é por Conta da AWS.
Máximo de índices de atualização automática ou visualizações materializadas	30	Sim	O limite se aplica por fonte de dados. Inclui apenas índices e visualizações materializadas (MVs) com atualização automática definida como verdadeira.
Máximo de consultas simultâneas	30	Sim	O limite se aplica a consultas em estado pendente ou em execução. Inclui consultas interativas (por exemplo, comandos de recuperação de dados comoSELECT) e consultas de índice (por exemplo, operações comoCREATE//ALTER). DROP
Máximo simultâneo OCU por consulta	512	Sim	OpenSearch Unidades de computação (OCU). Limite baseado em 15 executores e 1 driver, cada um com 16 v CPU e 32 GB de memória. Representa o poder de processamento simultâneo.
Tempo máximo de execução da consulta em minutos	30	Não	Aplica-se somente a consultas interativas (por exemplo, comandos de recuperação de dados comoSELECT). Para REFRESH consultas, o limite é de 6 horas.
Período para eliminar a consulta obsoleta IDs	90 dias	Sim	Esse é o período após o qual o OpenSearch Serviço limpa os metadados da consulta de entradas mais antigas. Por exemplo, ligar GetDirectQuery ou GetDirectQueryResult falhar em consultas com mais de 90 dias.

Suportado Regiões da AWS

O seguinte Regiões da AWS é compatível com consultas diretas de OpenSearch serviço no Amazon S3 CloudWatch , Logs e Security Lake:

Disponível Regiões da AWS para Amazon S3

• Ásia-Pacífico (Hong Kong)

• Asia Pacific (Mumbai)

• Ásia-Pacífico (Seul)

• Ásia-Pacífico (Singapura)

• Ásia-Pacífico (Sydney)

• Ásia-Pacífico (Tóquio)

• Canadá (Central)

• Europa (Frankfurt)

• Europa (Irlanda)

• Europa (Estocolmo)

• Leste dos EUA (Norte da Virgínia)

• Leste dos EUA (Ohio)

• Oeste dos EUA (Oregon)

Disponível Regiões da AWS para CloudWatch registros

• Ásia-Pacífico (Mumbai)

• Ásia-Pacífico (Singapura)

• Ásia-Pacífico (Sydney)

• Ásia-Pacífico (Tóquio)

• Canadá (Central)

• Europa (Frankfurt)

• Europa (Irlanda)

• Leste dos EUA (N. da Virgínia)

• Leste dos EUA (Ohio)

• Oeste dos EUA (Oregon)

• Europa (Paris)

• Europa (Londres)

• América do Sul (São Paulo)

Disponível Regiões da AWS para Security Lake

• Ásia-Pacífico (Mumbai)

• Ásia-Pacífico (Singapura)

• Ásia-Pacífico (Sydney)

• Ásia-Pacífico (Tóquio)

• Canadá (Central)

• Europa (Frankfurt)

• Europa (Irlanda)

• Leste dos EUA (N. da Virgínia)

• Leste dos EUA (Ohio)

• Oeste dos EUA (Oregon)

• Europa (Paris)

• Europa (Londres)

• América do Sul (São Paulo)