Comportamento de armazenamento

O mecanismo otimizado armazena dados em duas estruturas, cada uma otimizada para sua finalidade.

Estrutura	Formato	Finalidade
Armazenamento analítico	Apache Parquet (colunar, comprimido nativamente)	Agregações, junções, varreduras de intervalos e análise de tendências
Índice de pesquisa	Índice invertido de Lucene	Correspondência de frases, difusões e curingas

O Parquet substitui três estruturas em disco do Lucene (valores de documentos, árvores BKD e campos armazenados) por um único formato colunar compactado. O índice invertido é mantido para pesquisa de texto completo. Essa arquitetura reduz significativamente os requisitos de armazenamento para cargas de trabalho típicas de observabilidade com a pesquisa ativada.

Níveis de armazenamento

O mecanismo otimizado usa a Armazenamento em vários níveis para Amazon Service OpenSearch arquitetura, que combina o Amazon S3 com o armazenamento de instâncias locais e é alimentado por instâncias OpenSearch otimizadas.

Tier	Finalidade	Instâncias
Quente	Ingestão ativa e consultas frequentes	OpenSearch Instâncias otimizadas (OR1, OR2 ou OM2)
Caloroso	Consultas pouco frequentes e retenção estendida (somente leitura)	Instâncias OI2 com armazenamento gerenciado

O Amazon S3 suporta arquivos Parquet e segmentos de índice invertido para maior durabilidade. Use as políticas do Index State Management (ISM) para fazer a transição de dados de quentes para quentes com base na idade, tamanho do fragmento ou outras condições.

Importante

No motor otimizado, o nível quente é somente para leitura. Embora a arquitetura geral de armazenamento multicamada ofereça suporte a gravações na camada quente, os domínios otimizados não oferecem suporte a operações de gravação na camada quente. Ingira dados para a camada quente e use as políticas de Index State Management (ISM) para fazer a transição para a camada quente.