OpenSearch storage ottimizzato per Amazon OpenSearch Service

La famiglia di istanze OpenSearch ottimizzata per Amazon OpenSearch Service è una soluzione conveniente per l'archiviazione di grandi volumi di dati. Un dominio con OR1 istanze utilizza Amazon Elastic Block Store (Amazon EBS) gp3 o io1 volumi per lo storage principale, con i dati copiati in modo sincrono su Amazon S3 non appena arrivano. Questa struttura di storage offre una maggiore velocità di indicizzazione con un'elevata durabilità. La famiglia di istanze OpenSearch ottimizzate supporta anche il ripristino automatico dei dati in caso di errore. Per informazioni sulle opzioni relative ai tipi di OR1 istanza, consultaTipi di istanza della generazione attuale.

Se esegui l'indicizzazione di pesanti carichi di lavoro di analisi operativa come l'analisi dei log, l'osservabilità o l'analisi della sicurezza, puoi trarre vantaggio dalle migliori prestazioni ed efficienza di calcolo delle istanze. OR1 Inoltre, il ripristino automatico dei dati offerto dalle OR1 istanze migliora l'affidabilità complessiva del dominio.

OpenSearch Il servizio invia ad Amazon i OR1 parametri relativi allo storage. CloudWatch Per un elenco di parametri disponibili, consulta OR1 metriche.

OR1 le istanze sono disponibili su richiesta o con prezzi per istanze riservate, con una tariffa oraria per le istanze e lo storage forniti in Amazon EBS e Amazon S3.

Limitazioni

Considera le seguenti limitazioni quando utilizzi OR1 le istanze per il tuo dominio.

• La versione 2.11 o versione successiva dei domini deve eseguire la OpenSearch Versione 2.11 o versione successiva.

• I domini esistenti devono eseguire OpenSearch la versione 2.15 o successiva.

• Il dominio deve avere la crittografia a riposo abilitata. Per ulteriori informazioni, consulta Crittografia dei dati a riposo per il OpenSearch servizio di Amazon.

• Se il tuo dominio utilizza nodi master dedicati, devono utilizzare istanze Graviton. Per ulteriori informazioni sui nodi master dedicati, consultareNodi principali dedicati in Amazon OpenSearch Service.

• L'intervallo di aggiornamento per gli indici sulle OR1 istanze deve essere pari o superiore a 10 secondi. L'intervallo di aggiornamento predefinito per le istanze è di 10 secondi. OR1

Ottimizzazione per una migliore velocità di ingestione

Per ottenere il miglior throughput di indicizzazione delle OR1 istanze, ti consigliamo di effettuare le seguenti operazioni:

• Utilizza grandi dimensioni in blocco per migliorare l'utilizzo del buffer. La dimensione consigliata è 10 MB.

• Utilizza più client per migliorare le prestazioni di elaborazione parallela.

• Imposta il numero di shard primari attivi in modo che corrisponda al numero di nodi di dati per massimizzare l'utilizzo delle risorse.

In che modo le istanze OpenSearch ottimizzate differiscono dalle altre istanze

OpenSearch le istanze ottimizzate si differenziano dalle istanze non ottimizzate nei seguenti modi:

• Per le istanze OpenSearch ottimizzate, l'indicizzazione viene eseguita solo sugli shard primari.

• Se le istanze OpenSearch ottimizzate sono configurate con repliche, la velocità di indicizzazione potrebbe apparire inferiore a quella effettiva. Ad esempio, se sono presenti uno shard primario e uno shard di replica, la velocità di indicizzazione potrebbe mostrare una frequenza di 1000 quando la velocità di indicizzazione effettiva è 2000.

• OpenSearch le istanze ottimizzate eseguono operazioni di buffer prima dell'invio a una fonte remota. Ciò si traduce in latenze di ingestione più elevate.

  Nota

  La IndexingLatency metrica non è influenzata, in quanto non include il tempo di sincronizzazione del translog.

• I frammenti di replica possono trovarsi alcuni secondi indietro rispetto ai frammenti primari. Puoi monitorare il ritardo utilizzando il parametro ReplicationLagMaxTime Amazon CloudWatch .

In che cosa si OR1 differenzia dallo storage UltraWarm

OpenSearch Il servizio offre UltraWarm istanze che rappresentano un modo conveniente per archiviare grandi quantità di dati di sola lettura. Entrambe OR1 le UltraWarm istanze archiviano i dati localmente in Amazon EBS e in remoto in Amazon S3. Tuttavia, le OR1 UltraWarm istanze differiscono in diversi modi importanti:

• OR1 le istanze conservano una copia dei dati nell'archivio locale e remoto. In alcuni UltraWarm casi, i dati vengono conservati principalmente in un archivio remoto per ridurre i costi di archiviazione. A seconda dei modelli di utilizzo, i dati possono essere spostati nell'archiviazione locale.

• OR1 le istanze sono attive e possono accettare operazioni di lettura e scrittura, mentre i dati sulle UltraWarm istanze sono di sola lettura finché non vengono spostati manualmente nella memoria a caldo.

• UltraWarm si affida alle istantanee degli indici per la durabilità dei dati. OR1 le istanze, al confronto, eseguono la replica e il ripristino dietro le quinte. In caso di indice rosso, OR1 le istanze ripristineranno automaticamente gli shard mancanti dallo storage remoto in Amazon S3. La durata del recupero varia in funzione del volume di dati da recuperare.

Per ulteriori informazioni sullo UltraWarm storage, vedereUltraWarm spazio di archiviazione per Amazon OpenSearch Service.

Fornitura di istanze a un OR1 dominio

Puoi selezionare OR1 le istanze per i tuoi nodi di dati quando crei un nuovo dominio con il AWS Management Console o il AWS Command Line Interface ().AWS CLI Puoi quindi indicizzare e interrogare i dati utilizzando gli strumenti esistenti.

Console

1. Accedi alla console di Amazon OpenSearch Service all'indirizzohttps://console.aws.amazon.com/aos/.

2. Nel riquadro di navigazione a sinistra, scegli Domains (Domini).

3. Scegli Crea dominio.

4. Nella sezione Numero di nodi dati, espandi il menu della famiglia di istanze e scegli OpenSearch ottimizzato.

5. Scegli il tipo di istanza e altre impostazioni di archiviazione.

6. Nella sezione Crittografia, assicurati che sia selezionata l'opzione Abilita la crittografia dei dati inattivi.

7. Configura il resto del dominio e scegli Crea.

AWS CLI

Per effettuare il provisioning di un dominio che utilizza OR1 lo storage utilizzando il AWS CLI, devi fornire il valore della dimensione del tipo di OR1 istanza specifico inInstanceType.

L'esempio seguente crea un dominio con OR1 istanze di dimensioni diverse 2xlarge e abilita la crittografia a riposo.

aws opensearch create-domain \
  --domain-name test-domain \
  --engine-version OpenSearch_2.11 \
  --cluster-config "InstanceType=or1.2xlarge.search,InstanceCount=3,DedicatedMasterEnabled=true,DedicatedMasterType=r6g.large.search,DedicatedMasterCount=3" \
  --ebs-options "EBSEnabled=true,VolumeType=gp3,VolumeSize=200" \
  --encryption-at-rest-options Enabled=true \
  --advanced-security-options "Enabled=true,InternalUserDatabaseEnabled=true,MasterUserOptions={MasterUserName=test-user,MasterUserPassword=test-password}" \
  --node-to-node-encryption-options Enabled=true \
  --domain-endpoint-options EnforceHTTPS=true \
  --access-policies '{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Principal":{"AWS":"*"},"Action":"es:*","Resource":"arn:aws:es:us-east-1:account-id:domain/test-domain/*"}]}'