Creazione e gestione di domini Amazon OpenSearch Service

Questo capitolo descrive come creare e gestire i domini Amazon OpenSearch Service. Un dominio è l'equivalente AWS fornito di un cluster open source. OpenSearch Quando si crea un dominio, si specificano le impostazioni, i tipi di istanza, il numero di istanze e l'allocazione dello storage. Per ulteriori informazioni sui cluster open source, consulta Creazione di un cluster nella OpenSearch documentazione.

A differenza delle istruzioni nel tutorial relativo alle nozioni di base, in questo capitolo sono descritte tutte le opzioni e sono fornite le informazioni di riferimento rilevanti. Puoi completare ogni procedura utilizzando le istruzioni per la console OpenSearch di servizio, AWS Command Line Interface (AWS CLI) o gli AWS SDK.

Creazione di domini OpenSearch di servizio

Questa sezione descrive come creare domini OpenSearch di servizio utilizzando la console di OpenSearch servizio o utilizzando il comando AWS CLI with thecreate-domain.

Creazione OpenSearch di domini di servizio (console)

Utilizzare la procedura seguente per creare un dominio OpenSearch di servizio utilizzando la console.

Per creare un dominio OpenSearch di servizio (console)

1. Passare all'indirizzo https://aws.amazon.com e scegliere Sign In to the Console (Accedi alla console).

2. In Analytics, scegli Amazon OpenSearch Service.

3. Scegli Crea dominio.

4. In Domain name (Nome di dominio), immettere un nome di dominio. Il nome deve soddisfare i seguenti criteri:

   • Unico per il tuo account e Regione AWS

   • Inizia con una lettera minuscola

   • Contiene da 3 a 28 caratteri

   • Contiene solo lettere minuscole a - z, i numeri da 0 a 9 e i trattini (-)

5. Per il metodo di creazione del dominio, scegli Creazione standard.

6. Per i modelli, scegli l'opzione più adatta allo scopo del tuo dominio:

   • Domini di produzione per carichi di lavoro che richiedono disponibilità e prestazioni elevate. Questi domini utilizzano Multi-AZ (con o senza standby) e nodi master dedicati per una maggiore disponibilità.

   • Sviluppo/test per lo sviluppo o il test. Questi domini possono utilizzare Multi-AZ (con o senza standby) o una singola zona di disponibilità.

     Importante

     I diversi tipi di distribuzione presentano diverse opzioni su pagine successive. Questi passaggi includono tutte le opzioni.

7. Per le opzioni di distribuzione, scegli Dominio con standby per configurare un dominio 3-AZ, con i nodi in una delle zone riservati come standby. Questa opzione applica una serie di best practice, come il numero di nodi di dati specificato, il conteggio dei nodi principali, il tipo di istanza, il numero di repliche e le impostazioni di aggiornamento software.

8. Per Versione, scegli la versione del OpenSearch sistema operativo Elasticsearch precedente da utilizzare. Ti consigliamo di scegliere la versione più recente di. OpenSearch Per ulteriori informazioni, consulta Versioni supportate di OpenSearch Elasticsearch.

   (Facoltativo) Se hai scelto una OpenSearch versione per il tuo dominio, seleziona Abilita la modalità di compatibilità per OpenSearch segnalare la versione 7.10, che consente a determinati client e plugin OSS di Elasticsearch che controllano la versione prima di connettersi di continuare a utilizzare il servizio.

9. Per Tipo di istanza, scegliere un tipo di istanza per i nodi di dati. Per ulteriori informazioni, consultare Tipi di istanze supportati in Amazon OpenSearch Service.

   Nota

   Non tutte le zone di disponibilità supportano tutti i tipi di istanze. Se scegli Multi-AZ con o senza Standby, ti consigliamo di scegliere i tipi di istanza della generazione attuale, come R5 o I3.

10. In Number of nodes (Numero di nodi), scegliere il numero di nodi di dati.

    Per i valori massimi, consulta Quote di dominio e istanza del servizio. OpenSearch I cluster a nodo singolo sono ideali per lo sviluppo e i test, ma non devono essere utilizzati per i carichi di lavoro di produzione. Per ulteriori linee guida, consulta Dimensionamento dei domini Amazon OpenSearch Service e Configurazione di un dominio Multi-AZ in Amazon Service OpenSearch .

11. Per Tipo di storage, seleziona Amazon EBS. I tipi di volume disponibili nell'elenco dipendono dal tipo di istanza scelta. Per istruzioni su come creare domini di grandi dimensioni, consultare Scalabilità in petabyte in Amazon Service OpenSearch .

12. Per lo storage EBS, configura le seguenti impostazioni aggiuntive. Alcune impostazioni potrebbero non essere visualizzate a seconda del tipo di volume scelto.

    Impostazione	Descrizione
    Tipi di volume EBS	Scegli tra Scopo generico (SSD) - gp3 e Scopo generico (SSD) - gp2 o la generazione precedente Capacità di IOPS allocata (SSD) e Magnetico (standard).
    Dimensioni dello storage EBS per ogni nodo	Inserisci le dimensioni del volume EBS da collegare a ogni nodo di dati. EBS volume size (Dimensione del volume EBS) è per nodo. È possibile calcolare la dimensione totale del cluster per il dominio del OpenSearch servizio moltiplicando il numero di nodi di dati per la dimensione del volume EBS. Le dimensioni minime e massime di un volume EBS dipendono sia dal tipo di volume EBS specificato sia dal tipo di istanza collegata. Per ulteriori informazioni, consulta Limiti delle dimensioni dei volumi EBS.
    IOPS con provisioning	Se hai selezionato un tipo di volume SSD con capacità di IOPS allocata, inserisci il numero di operazioni I/O al secondo (IOPS) supportate dal volume.

13. (Facoltativo) Se hai selezionato un tipo di gp3 volume, espandi le Impostazioni avanzate e specifica IOPS (fino a 16.000 per ogni dimensione di volume da 3 TiB fornita per nodo di dati) e velocità effettiva (fino a 1.000 MIB/s per ogni volume da 3 TiB fornito per nodo di dati) oltre a quanto incluso nel prezzo dello storage, a un costo aggiuntivo. Per ulteriori informazioni, consulta i prezzi OpenSearch di Amazon Service.

14. (Facoltativo) Per abilitare UltraWarm lo storage, scegli Abilita nodi di UltraWarm dati. Ogni tipo di istanza ha una quantità massima di spazio di archiviazione che può indirizzare. Moltiplicare tale importo per il numero di nodi di dati a caldo per l'archiviazione a caldo indirizzabile totale.

15. (Facoltativo) Per abilitare l'archiviazione a freddo, scegliere Abilita archiviazione a freddo. È necessario abilitare UltraWarm per abilitare la conservazione a freddo.

16. Se si utilizza Multi-AZ con Standby, tre nodi master dedicati sono già abilitati. Scegli il tipo di nodi master che desideri. Se hai scelto un dominio Multi-AZ senza Standby, seleziona Abilita nodi master dedicati e scegli il tipo e il numero di nodi master che desideri. I nodi master dedicati aumentano la stabilità del cluster e sono richiesti per domini con un conteggio istanze superiore a 10. Per i domini di produzione consigliamo tre nodi master dedicati.

    Nota

    È possibile scegliere tra tipi di istanze differenti per nodi master dedicati e nodi di dati. Ad esempio, è possibile selezionare istanze generiche o ottimizzate per l'archiviazione per i nodi di dati e scegliere istanze ottimizzate per l'elaborazione per i nodi principali dedicati.

17. (Facoltativo) Per i domini che eseguono OpenSearch Elasticsearch 5.3 e versioni successive, la configurazione Snapshot è irrilevante. Per ulteriori informazioni sugli snapshot automatici, consulta Creazione di istantanee dell'indice in Amazon Service OpenSearch .

18. Se si desidera utilizzare un endpoint personalizzato anziché quello standard di https://search-mydomain-1a2a3a4a5a6a7a8a9a0a9a8a7a.us-east-1.es.amazonaws.com, scegliere Abilita endpoint personalizzato e fornire un nome e un certificato. Per ulteriori informazioni, consulta Creazione di un endpoint personalizzato per Amazon Service OpenSearch .

19. In Rete, scegliere Accesso VPC o Accesso pubblico. Se si sceglie Public access (Accesso pubblico), andare al passaggio successivo. Se si sceglie Accesso VPC, è necessario accertarsi di soddisfare tutti i prerequisiti e configurare le seguenti impostazioni:

    Impostazione	Descrizione
    VPC	Scegli l'ID per il cloud privato virtuale (VPC) da utilizzare. Il VPC e il dominio devono essere uguali Regione AWS ed è necessario selezionare un VPC con tenancy impostata su Default. OpenSearch Il servizio non supporta ancora i VPC che utilizzano una locazione dedicata.
    Sottorete	Scegli una sottorete. Se hai abilitato Multi-AZ, devi scegliere due o tre sottoreti. OpenSearch Il servizio inserirà un endpoint VPC e interfacce di rete elastiche nelle sottoreti. È necessario riservare un numero sufficiente di indirizzi IP per le interfacce di rete nelle sottoreti. Per ulteriori informazioni, consultare Prenotazione di indirizzi IP in una sottorete VPC.
    Gruppi di sicurezza	Scegli uno o più gruppi di sicurezza VPC che consentano all'applicazione richiesta di raggiungere il dominio del OpenSearch servizio sulle porte (80 o 443) e sui protocolli (HTTP o HTTPS) esposti dal dominio. Per ulteriori informazioni, consulta Avvio dei domini Amazon OpenSearch Service all'interno di un VPC.
    Ruolo IAM	Mantieni il ruolo predefinito. OpenSearch Il servizio utilizza questo ruolo predefinito (noto anche come ruolo collegato al servizio) per accedere al VPC e posizionare un endpoint VPC e interfacce di rete nella sottorete del VPC. Per ulteriori informazioni, consultare Ruolo collegato ai servizi per l'accesso VPC.
    Tipo di indirizzo IP	Scegli dual stack o IPv4 come tipo di indirizzo IP. Il dual stack consente di condividere le risorse del dominio tra i tipi di indirizzi IPv4 e IPv6 ed è l'opzione consigliata. Se imposti il tipo di indirizzo IP su dual stack, non puoi modificare il tipo di indirizzo in un secondo momento.

20. Abilitare o disabilitare il controllo granulare degli accessi:

    • Se si desidera utilizzare IAM per la gestione degli utenti, scegliere Imposta ARN IAM come utente principale e specificare l'ARN per un ruolo IAM.

    • Se desideri utilizzare il database utenti interno, scegli Crea utente principale e specifica un nome utente e una password.

    Indipendentemente dall'opzione scelta, l'utente master può accedere a tutti gli indici del cluster e a tutte le API. OpenSearch Per informazioni su quale opzione scegliere, vedere Concetti chiave.

    Se si disattiva il controllo granulare degli accessi, è comunque possibile controllare l'accesso al dominio inserendolo in un VPC, applicando una policy di accesso restrittivo o entrambi. È necessario abilitare la node-to-node crittografia e la crittografia a riposo per utilizzare un controllo granulare degli accessi.

    Nota

    Si consiglia fortemente di abilitare il controllo granulare degli accessi per proteggere i dati sul dominio. Il controllo granulare degli accessi fornisce protezione a livello di cluster, indice, documento e campo.

21. (Facoltativo) Se desideri utilizzare l'autenticazione SAML per le OpenSearch dashboard, scegli Abilita l'autenticazione SAML e configura le opzioni SAML per il dominio. Per istruzioni, consulta SAMLautenticazione per i OpenSearch pannelli di controllo.

22. (Facoltativo) Se desideri utilizzare l'autenticazione Amazon Cognito per OpenSearch dashboard, scegli Abilita l'autenticazione Amazon Cognito. Quindi scegli il pool di utenti e il pool di identità di Amazon Cognito che desideri utilizzare per l'autenticazione di OpenSearch Dashboards. Per ulteriori informazioni sulla creazione di queste risorse, consultare Configurazione dell'autenticazione Amazon Cognito per dashboard OpenSearch.

23. Per la policy di accesso, scegli una policy di accesso o configurane una personalizzata. Se si sceglie di creare una policy personalizzata, è possibile configurarla manualmente o importarne una da un altro dominio. Per ulteriori informazioni, consultare Identity and Access Management in Amazon OpenSearch Service.

    Nota

    Se è stato abilitato l'accesso VPC, non è possibile utilizzare policy basate su IP. Invece è possibile utilizzare i gruppi di sicurezza per controllare gli indirizzi IP che possono accedere al dominio. Per ulteriori informazioni, consultare Informazioni sulle policy d'accesso nei domini VPC.

24. (Facoltativo) Per richiedere che tutte le richieste al dominio arrivino tramite HTTPS, selezionare Richiedi HTTPS per tutto il traffico verso il dominio. Per abilitare node-to-node la crittografia, seleziona ode-to-nodeCrittografia N. Per ulteriori informazioni, consulta ode-to-node Crittografia N per Amazon OpenSearch Service. Per abilitare la crittografia dei dati inattivi, seleziona Abilita la crittografia dei dati inattivi. Queste opzioni sono preselezionate se hai scelto l'opzione di implementazione Multi-AZ with Standby.

25. (Facoltativo) Seleziona Usa chiave AWS proprietaria per fare in modo che OpenSearch Service crei una chiave di AWS KMS crittografia per tuo conto (o utilizzi quella che ha già creato). In caso contrario, scegliere la propria chiave KMS. Per ulteriori informazioni, consulta Crittografia dei dati inattivi per Amazon OpenSearch Service.

26. Per la finestra non di punta, seleziona un orario di inizio per pianificare gli aggiornamenti del software di servizio e le ottimizzazioni Auto-Tune che richiedono un'implementazione blu/verde. Gli aggiornamenti non di punta aiutano a ridurre al minimo il carico sui nodi master dedicati di un cluster durante i periodi di traffico elevato.

27. Per Auto-Tune, scegli se consentire al OpenSearch Servizio di suggerire modifiche alla configurazione relative alla memoria del tuo dominio per migliorare la velocità e la stabilità. Per ulteriori informazioni, consulta Auto-Tune per Amazon Service OpenSearch .

    (Facoltativo) Seleziona Finestra Off-peak per pianificare una finestra ricorrente durante la quale Auto-Tune aggiorna il dominio.

28. (Facoltativo) Seleziona Aggiornamento software automatico per abilitare gli aggiornamenti software automatici.

29. (Facoltativo) Aggiungere i tag per descrivere il dominio in modo da poter categorizzare e filtrare in base a tali informazioni. Per ulteriori informazioni, consultare Taggare i domini Amazon OpenSearch Service.

30. (Facoltativo) Espandi e configura Impostazioni avanzate del cluster. Per un riepilogo di queste opzioni, vedere Impostazioni avanzate del cluster.

31. Scegli Crea.

Creazione OpenSearch di domini di servizio ()AWS CLI

Invece di creare un dominio di OpenSearch servizio utilizzando la console, è possibile utilizzare il AWS CLI. Per la sintassi, consulta Amazon OpenSearch Service nel riferimento ai comandi AWS CLI a.

Comandi di esempio

Questo primo esempio dimostra la seguente configurazione del dominio di OpenSearch servizio:

• Crea un dominio OpenSearch di servizio denominato mylogs con la versione 1.2 OpenSearch

• Popola il dominio con due istanze del tipo r6g.large.search

• Utilizza un volume EBS a scopo generico (SSD) gp3 da 100 GiB per lo storage di ogni nodo di dati

• Consente l'accesso anonimo, ma solo da un solo indirizzo IP: 192.0.2.0/32

aws opensearch create-domain \
    --domain-name mylogs \
    --engine-version OpenSearch_1.2 \
    --cluster-config  InstanceType=r6g.large.search,InstanceCount=2 \
    --ebs-options EBSEnabled=true,VolumeType=gp3,VolumeSize=100,Iops=3500,Throughput=125 \
    --access-policies '{"Version": "2012-10-17", "Statement": [{"Action": "es:*", "Principal":"*","Effect": "Allow", "Condition": {"IpAddress":{"aws:SourceIp":["192.0.2.0/32"]}}}]}'

L'esempio successivo mostra la seguente configurazione del dominio di OpenSearch servizio:

• Crea un dominio di OpenSearch servizio denominato mylogs con Elasticsearch versione 7.10

• Popola il dominio con sei istanze del tipo r6g.large.search

• Utilizza un volume EBS a scopo generico (SSD) gp2 da 100 GiB per lo storage di ogni nodo di dati

• Limita l'accesso al servizio a un singolo utente, identificato dall'ID dell'utente: 5555 Account AWS

• Distribuisce istanze in tre zone di disponibilità

aws opensearch create-domain \
    --domain-name mylogs \
    --engine-version Elasticsearch_7.10 \
    --cluster-config  InstanceType=r6g.large.search,InstanceCount=6,ZoneAwarenessEnabled=true,ZoneAwarenessConfig={AvailabilityZoneCount=3} \
    --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=100 \
    --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": {"AWS": "arn:aws:iam::555555555555:root" }, "Action":"es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/*" } ] }'

L'esempio successivo mostra la seguente configurazione del dominio di OpenSearch servizio:

• Crea un dominio OpenSearch di servizio denominato mylogs con la versione 1.0 OpenSearch

• Popola il dominio con dieci istanze del tipo r6g.xlarge.search

• Popola il dominio con tre istanze del tipo r6g.large.search per fungere come nodi master dedicati

• Utilizza un volume EBS con capacità di IOPS allocata di 100 GiB per lo storage, configurato con prestazioni di base di 1.000 IOPS per ogni nodo di dati

• Limita l'accesso a un singolo utente e a una sola subresource, l'API _search

aws opensearch create-domain \
    --domain-name mylogs \
    --engine-version OpenSearch_1.0 \
    --cluster-config  InstanceType=r6g.xlarge.search,InstanceCount=10,DedicatedMasterEnabled=true,DedicatedMasterType=r6g.large.search,DedicatedMasterCount=3 \
    --ebs-options EBSEnabled=true,VolumeType=io1,VolumeSize=100,Iops=1000 \
    --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::555555555555:root" }, "Action": "es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/_search" } ] }'

Nota

Se si tenta di creare un dominio di OpenSearch servizio ed esiste già un dominio con lo stesso nome, la CLI non riporta alcun errore. Restituisce invece i dettagli per il dominio esistente.

Creazione OpenSearch di domini di servizio (SDK)AWS

Gli AWS SDK (eccetto gli SDK per Android e iOS) supportano tutte le azioni definite nell'Amazon OpenSearch Service API Reference, tra cui. CreateDomain Per il codice di esempio, consulta Usando ilAWSSDK per interagire con AmazonOpenSearchServizio. Per ulteriori informazioni sull'installazione e l'utilizzo degli AWS SDK, consulta AWS Software Development Kits.

Creazione di domini OpenSearch di servizio ()AWS CloudFormation

OpenSearch Il servizio è integrato con AWS CloudFormation, un servizio che consente di modellare e configurare le AWS risorse in modo da dedicare meno tempo alla creazione e alla gestione delle risorse e dell'infrastruttura. Crei un modello che descrive il OpenSearch dominio che desideri creare e CloudFormation predispone e configura il dominio per te. Per ulteriori informazioni, inclusi esempi di modelli JSON e YAML per OpenSearch domini, consulta il riferimento ai tipi di risorse di Amazon OpenSearch Service nella Guida per l'utente.AWS CloudFormation

Configurazione delle policy di accesso

Amazon OpenSearch Service offre diversi modi per configurare l'accesso ai tuoi domini OpenSearch di servizio. Per ulteriori informazioni, consultare Identity and Access Management in Amazon OpenSearch Service e Controllo granulare degli accessi in Amazon Service OpenSearch .

La console offre le policy d'accesso preconfigurate che è possibile personalizzare per le esigenze specifiche del dominio. Puoi anche importare politiche di accesso da altri domini OpenSearch di servizio. Per informazioni su come queste policy d'accesso interagiscono con l'accesso VPC, consulta Informazioni sulle policy d'accesso nei domini VPC.

Per configurare le policy d'accesso (console)

1. Andare all'indirizzo https://aws.amazon.com e quindi scegliere Sign In to the Console (Accedi alla console).

2. In Analytics, scegli Amazon OpenSearch Service.

3. Nel pannello di navigazione, in Domini, scegli il dominio che desideri aggiornare.

4. Scegli Operazioni, quindi Modifica configurazione di sicurezza.

5. Modifica il JSON della policy di accesso o importa un'opzione preconfigurata.

6. Seleziona Salvataggio delle modifiche.

Impostazioni avanzate del cluster

Utilizzare le opzioni avanzate per configurare:

Indici nei corpi delle richieste

Specifica se i riferimenti espliciti agli indici sono permessi all'interno del corpo delle richieste HTTP. L'impostazione di questa proprietà su false impedisce agli utenti di aggirare il controllo degli accessi per le risorse secondarie. Per impostazione predefinita, il valore è true. Per ulteriori informazioni, consultare Opzioni e considerazioni avanzate API.

Allocazione della cache dei dati di campo

Specifica la percentuale di spazio heap Java allocata ai dati del campo. Per impostazione predefinita, questa impostazione è il 20% dell'heap JVM.

Nota

Molte query dei clienti effettuano la rotazione degli indici giornalieri. È consigliabile iniziare i test di benchmark con indices.fielddata.cache.size configurato al 40% dell'heap JVM per la maggior parte dei casi d'uso. Tuttavia, se si dispone di indici di grandi dimensioni, potrebbe essere necessaria una cache dei dati del campo di grandi dimensioni.

Numero massimo di clausole

Specifica il numero massimo di clausole permesse in una query booleana Lucene. Il valore di default è 1.024. Le query con un numero di clausole superiore a quello permesso generano un errore TooManyClauses. Per ulteriori informazioni, consultare la documentazione di Lucene.