Création et gestion de domaines Amazon OpenSearch Service

Ce chapitre explique comment créer et gérer des domaines Amazon OpenSearch Service. Un domaine est AWS-équivalent provisionné d'un cluster open source OpenSearch . Lorsque vous créez un domaine, vous spécifiez ses paramètres, ses types d'instances, son nombre d'instances et son allocation de stockage. Pour plus d'informations sur les clusters open source, consultez la section Création d'un cluster dans la OpenSearch documentation.

Contrairement aux instructions rapidement exposées dans le didacticiel Mise en route, ce chapitre décrit toutes les options et fournit des informations de référence pertinentes. Vous pouvez effectuer chaque procédure en utilisant les instructions de la console de OpenSearch service, AWS Command Line Interface (AWS CLI), ou le AWS SDKs.

Création de domaines OpenSearch de service

Cette section décrit comment créer des domaines de OpenSearch service à l'aide de la console OpenSearch de service ou à l'aide du AWS CLI avec la create-domain commande.

Création OpenSearch de domaines de service (console)

Utilisez la procédure suivante pour créer un domaine OpenSearch de service à l'aide de la console.

Pour créer un domaine OpenSearch de service (console)

1. Accédez à la console https://aws.amazon.comet choisissez Se connecter à la console.

2. Sous Analytics, sélectionnez Amazon OpenSearch Service.

3. Choisissez Create domain (Créer un domaine).

4. Pour Nom de domaine, entrez un nom de domaine. Le nom doit répondre aux critères suivants :

   • Unique à votre compte et Région AWS

   • Commence par une lettre minuscule

   • Contient entre 3 et 28 caractères

   • Contient uniquement les lettres minuscules a-z, les chiffres 0-9 et le trait d'union (-)

5. Pour la méthode de création de domaine, choisissez Standard create.

6. Pour les modèles, choisissez l'option qui correspond le mieux à l'objectif de votre domaine :

   • Domaines de production pour les charges de travail nécessitant une disponibilité et des performances élevées. Ces domaines utilisent des nœuds multi-AZ (avec ou sans veille) et des nœuds maîtres dédiés pour une meilleure disponibilité.

   • Développement/test à des fins de développement ou de test. Ces domaines peuvent utiliser le mode multi-AZ (avec ou sans veille) ou une seule zone de disponibilité.

     Important

     Les différents types de déploiement offrent différentes options sur les pages suivantes. Ces étapes incluent toutes les options.

7. Pour les options de déploiement, choisissez Domaine avec veille pour configurer un domaine 3-AZ, les nœuds de l'une des zones étant réservés en mode veille. Cette option applique un certain nombre de bonnes pratiques, telles que le nombre de nœuds de données spécifié, le nombre de nœuds maîtres, le type d'instance, le nombre de répliques et les paramètres de mise à jour logicielle.

8. Dans Version, choisissez la version OpenSearch ou l'ancienne version d'Elasticsearch OSS à utiliser. Nous vous recommandons de choisir la dernière version de OpenSearch. Pour de plus amples informations, veuillez consulter Versions prises en charge de OpenSearch et d'Elasticsearch.

   (Facultatif) Si vous avez choisi une OpenSearch version pour votre domaine, sélectionnez Activer le mode de compatibilité pour OpenSearch signaler sa version 7.10, ce qui permet à certains OSS clients et plugins Elasticsearch qui vérifient la version avant de se connecter de continuer à utiliser le service.

9. Pour Instance type (Type d'instance), choisissez un type d'instance pour vos nœuds de données. Pour en savoir plus, consultez Types d'instances pris en charge dans Amazon OpenSearch Service.

   Note

   Certaines zones de disponibilité ne prennent pas en charge certains types d'instance. Si vous choisissez le mode Multi-AZ avec ou sans veille, nous vous recommandons de choisir les types d'instances de génération actuelle, tels que R5 ou I3.

10. Pour Nombre d'instances, tapez le nombre de nœuds de données.

    Pour les valeurs maximales, consultez la section Quotas de domaine et d'instance du OpenSearch service. Les clusters à nœud unique conviennent aux phases de développement et de test, mais pas pour des charges de travail en production. Pour de plus amples informations, veuillez consulter Dimensionnement des domaines Amazon OpenSearch Service et Configuration d'un domaine multi-AZ dans Amazon Service OpenSearch .

11. Pour le type de stockage, sélectionnez AmazonEBS. Les types de volumes disponibles dans la liste dépendent du type d’instance que vous avez sélectionné. Pour obtenir des conseils sur la création de domaines particulièrement volumineux, consultez Échelle en pétaoctets dans Amazon Service OpenSearch .

12. Pour le EBSstockage, configurez les paramètres supplémentaires suivants. Certains paramètres peuvent ne pas apparaître en fonction du type de volume choisi.

    Paramètre	Description
    EBStype de volume	Choisissez entre General Purpose (SSD) - gp3 et General Purpose (SSD) - gp2, ou la génération précédente Provisioned IOPS (SSD) et Magnetic (standard).
    EBStaille de stockage par nœud	Entrez la taille du EBS volume que vous souhaitez associer à chaque nœud de données. EBSla taille du volume est par nœud. Vous pouvez calculer la taille totale du cluster pour le domaine de OpenSearch service en multipliant le nombre de nœuds de données par la taille du EBS volume. La taille minimale et maximale d'un EBS volume dépend à la fois du type de EBS volume spécifié et du type d'instance auquel il est attaché. Pour en savoir plus, consultez la section Limites de EBS volume.
    Provisionné IOPS	Si vous avez sélectionné un type de IOPS SSD volume provisionné, entrez le nombre d'opérations d'E/S par seconde (IOPS) que le volume peut prendre en charge.

13. (Facultatif) Si vous avez sélectionné un type de gp3 volume, étendez les paramètres avancés et spécifiez des débits supplémentaires IOPS (jusqu'à 16 000 pour chaque volume de 3 TiB fourni par nœud de données) et un débit (jusqu'à 1 000 Mbits/s pour chaque volume de 3 TiB fourni par nœud de données) au-delà de ce qui est inclus dans le prix du stockage, moyennant un coût supplémentaire. Pour plus d'informations, consultez les tarifs d'Amazon OpenSearch Service.

14. (Facultatif) Pour activer le UltraWarm stockage, choisissez Activer UltraWarm les nœuds de données. Chaque type d'instance dispose d'une quantité maximale de stockage qu'il peut traiter. Multipliez cette quantité par le nombre de nœuds de données à chaud pour le stockage à chaud adressable total.

15. (Facultatif) Pour activer le stockage à froid, choisissez Enable cold storage (Activer le stockage à froid). Vous devez activer le stockage UltraWarm à froid pour activer le stockage à froid.

16. Si vous utilisez le mode Multi-AZ en mode veille, trois nœuds maîtres dédiés sont déjà activés. Choisissez le type de nœuds maîtres que vous souhaitez. Si vous avez choisi un domaine Multi-AZ sans veille, sélectionnez Activer les nœuds maîtres dédiés et choisissez le type et le nombre de nœuds principaux souhaités. Les nœuds principaux dédiés augmentent la stabilité du cluster et sont obligatoires pour les domaines dont le nombre d'instances est supérieur à 10. Pour les domaines de production, nous vous recommandons trois nœuds principaux dédiés.

    Note

    Vous pouvez choisir différents types d'instance pour les nœuds principaux dédiés et les nœuds de données. Par exemple, vous pouvez sélectionner des instances à visée générale ou optimisées pour le stockage pour vos nœuds de données, mais des instances optimisées pour le calcul pour vos nœuds principaux dédiés.

17. (Facultatif) Pour les domaines exécutant OpenSearch Elasticsearch 5.3 et versions ultérieures, la configuration Snapshot n'est pas pertinente. Pour plus d'informations sur les instantanés automatiques, consultez Création d'instantanés d'index dans Amazon Service OpenSearch .

18. Si vous souhaitez utiliser un point de terminaison personnalisé plutôt que le point de terminaison standard de https://search-mydomain-1a2a3a4a5a6a7a8a9a0a9a8a7a.us-east-1.es.amazonaws.com, choisissez Enable custom endpoint (Activer un point de terminaison personnalisé), puis fournissez un nom et un certificat. Pour de plus amples informations, veuillez consulter Création d'un point de terminaison personnalisé pour Amazon OpenSearch Service.

19. Sous Réseau, choisissez VPCAccès ou Accès public. Si vous choisissez Public access (Accès public), passez à l'étape suivante. Si vous choisissez VPCl'accès, assurez-vous de remplir les conditions requises, puis configurez les paramètres suivants :

    Paramètre	Description
    VPC	Choisissez l'ID du cloud privé virtuel (VPC) que vous souhaitez utiliser. Le domaine VPC et doit se trouver dans le même Région AWS, et vous devez en sélectionner une VPC avec une location définie sur Par défaut. OpenSearch Le service ne prend pas encore en charge VPCs l'utilisation de la location dédiée.
    Sous-réseau	Choisissez un sous-réseau. Si vous avez activé le mode multi-AZ, vous devez choisir deux ou trois sous-réseaux. OpenSearch Le service placera un VPC point de terminaison et des interfaces réseau élastiques dans les sous-réseaux. Vous devez réserver suffisamment d'adresses IP pour les interfaces réseau dans le/les sous-réseau(x). Pour plus d'informations, consultez la section Réservation d'adresses IP dans un VPC sous-réseau.
    Groupes de sécurité	Choisissez un ou plusieurs groupes VPC de sécurité qui permettent à l'application requise d'atteindre le domaine de OpenSearch service sur les ports (80 ou 443) et les protocoles (HTTPouHTTPS) exposés par le domaine. Pour de plus amples informations, veuillez consulter Lancer vos domaines Amazon OpenSearch Service au sein d'un VPC.
    IAMRôle	Conservez le rôle par défaut. OpenSearch Le service utilise ce rôle prédéfini (également appelé rôle lié à un service) pour accéder à votre VPC et pour placer un VPC point de terminaison et des interfaces réseau dans le sous-réseau du. VPC Pour plus d'informations, voir Rôle lié à un service pour VPC l'accès.
    Type d'adresse IP	Choisissez le type d'adresse IP à double pile ou IPv4 le type d'adresse IP. La double pile vous permet de partager les ressources du domaine entre IPv4 différents types d'IPv6adresses. C'est l'option recommandée. Si vous définissez le type d'adresse IP sur Dual Stack, vous ne pourrez pas le modifier ultérieurement.

20. Activer ou désactiver le contrôle précis des accès :

    • Si vous souhaitez l'utiliser IAM pour la gestion des utilisateurs, choisissez Définir IAM ARN en tant qu'utilisateur principal et spécifiez le ARN IAM rôle.

    • Si vous souhaitez utiliser la base de données utilisateur interne, choisissez Create master user et spécifiez un nom d'utilisateur et un mot de passe.

    Quelle que soit l'option choisie, l'utilisateur principal peut accéder à tous les index du cluster et à tout OpenSearch APIs. Pour de plus amples informations sur l'option à choisir, veuillez consulter Concepts clés.

    Si vous désactivez le contrôle d'accès détaillé, vous pouvez toujours contrôler l'accès à votre domaine en le plaçant dans unVPC, en appliquant une politique d'accès restrictive, ou les deux. Vous devez activer node-to-node le chiffrement et le chiffrement au repos pour bénéficier d'un contrôle d'accès précis.

    Note

    Nous vous recommandons vivement d'activer le contrôle précis des accès pour protéger les données de votre domaine. Le contrôle précis des accès assure la sécurité au niveau du cluster, de l'index, du document et du champ.

21. (Facultatif) Si vous souhaitez utiliser l'SAMLauthentification pour les OpenSearch tableaux de bord, choisissez Activer SAML l'authentification et configurez SAML les options pour le domaine. Pour obtenir des instructions, consultez SAMLauthentification pour les OpenSearch tableaux de bord.

22. (Facultatif) Si vous souhaitez utiliser l'authentification Amazon Cognito pour les OpenSearch tableaux de bord, choisissez Activer l'authentification Amazon Cognito. Choisissez ensuite le groupe d'utilisateurs et le groupe d'identités Amazon Cognito que vous souhaitez utiliser pour l'authentification dans les OpenSearch tableaux de bord. Pour obtenir de l'aide pour créer ces ressources, consultez Configuration de l'authentification Amazon Cognito pour les tableaux de bord OpenSearch.

23. Pour la politique d'accès, choisissez une politique d'accès ou configurez l'une des vôtres. Si vous choisissez de créer une politique personnalisée, vous pouvez la configurer vous-même ou en importer une à partir d'un autre domaine. Pour de plus amples informations, veuillez consulter Identity and Access Management dans Amazon OpenSearch Service.

    Note

    Si vous avez activé VPC l'accès, vous ne pouvez pas utiliser les politiques basées sur l'adresse IP. Vous devez plutôt utiliser des groupes de sécurité pour contrôler les adresses IP qui peuvent accéder au domaine. Pour de plus amples informations, veuillez consulter À propos des politiques d'accès aux VPC domaines.

24. (Facultatif) Pour exiger que toutes les demandes adressées au domaine arriventHTTPS, sélectionnez Exiger HTTPS pour tout le trafic vers le domaine. Pour activer node-to-node le chiffrement, sélectionnez le ode-to-node chiffrement N. Pour de plus amples informations, veuillez consulter ode-to-node Chiffrement N pour Amazon OpenSearch Service. Pour activer le chiffrement des données au repos, sélectionnez Activer le chiffrement des données au repos. Ces options sont présélectionnées si vous avez choisi l'option de déploiement Multi-AZ avec mode veille.

25. (Facultatif) Sélectionnez Utiliser AWS clé possédée pour que OpenSearch le Service crée un AWS KMS clé de chiffrement en votre nom (ou utilisez celle qu'elle a déjà créée). Sinon, choisissez votre propre KMS clé. Pour de plus amples informations, veuillez consulter Chiffrement des données au repos pour Amazon OpenSearch Service.

26. Pour les périodes creuses, sélectionnez une heure de début pour planifier les mises à jour du logiciel de service et les optimisations Auto-Tune nécessitant un déploiement bleu/vert. Les mises à jour hors pointe permettent de minimiser la pression sur les nœuds principaux dédiés d'un cluster pendant les périodes de trafic élevé.

27. Pour Auto-Tune, choisissez d'autoriser le OpenSearch service à suggérer des modifications de configuration liées à la mémoire pour votre domaine afin d'améliorer la vitesse et la stabilité. Pour de plus amples informations, veuillez consulter Auto-Tune pour Amazon Service OpenSearch .

    (Facultatif) Sélectionnez Fenêtre creuse pour planifier une fenêtre récurrente au cours de laquelle Auto-Tune met à jour le domaine.

28. (Facultatif) Sélectionnez Mise à jour logicielle automatique pour activer les mises à jour logicielles automatiques.

29. (Facultatif) Ajoutez des étiquettes pour décrire votre domaine afin de pouvoir classer et filtrer ces informations. Pour plus d'informations, consultez Marquage des domaines Amazon OpenSearch Service.

30. (Facultatif) Développez et configurez Paramètres avancés de cluster. Pour un résumé de ces options, consultez la section Paramètres avancés du cluster.

31. Sélectionnez Create (Créer).

Création de domaines OpenSearch de service (AWS CLI)

Au lieu de créer un domaine de OpenSearch service à l'aide de la console, vous pouvez utiliser AWS CLI. Pour la syntaxe, consultez Amazon OpenSearch Service dans le AWS CLIréférence de commande a.

Exemples de commandes

Ce premier exemple illustre la configuration du domaine OpenSearch de service suivante :

• Crée un domaine OpenSearch de service nommé mylogs avec OpenSearch la version 1.2

• Remplit le domaine avec deux instances du type r6g.large.search

• Utilise un gp3 EBS volume à usage général (SSD) de 100 GiB pour le stockage de chaque nœud de données

• Autorise l'accès anonyme, mais uniquement à partir d'une seule adresse IP : 192.0.2.0/32

aws opensearch create-domain \
    --domain-name mylogs \
    --engine-version OpenSearch_1.2 \
    --cluster-config  InstanceType=r6g.large.search,InstanceCount=2 \
    --ebs-options EBSEnabled=true,VolumeType=gp3,VolumeSize=100,Iops=3500,Throughput=125 \
    --access-policies '{"Version": "2012-10-17", "Statement": [{"Action": "es:*", "Principal":"*","Effect": "Allow", "Condition": {"IpAddress":{"aws:SourceIp":["192.0.2.0/32"]}}}]}'

L'exemple suivant illustre la configuration du domaine OpenSearch de service suivante :

• Crée un domaine OpenSearch de service nommé mylogs avec Elasticsearch version 7.10

• Remplit le domaine avec six instances du type r6g.large.search

• Utilise un gp2 EBS volume à usage général (SSD) de 100 GiB pour le stockage de chaque nœud de données

• Restreint l'accès au service à un seul utilisateur, identifié par Compte AWS IDENTIFIANT : 555555555555

• Répartit des instances dans trois zones de disponibilité

aws opensearch create-domain \
    --domain-name mylogs \
    --engine-version Elasticsearch_7.10 \
    --cluster-config  InstanceType=r6g.large.search,InstanceCount=6,ZoneAwarenessEnabled=true,ZoneAwarenessConfig={AvailabilityZoneCount=3} \
    --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=100 \
    --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": {"AWS": "arn:aws:iam::555555555555:root" }, "Action":"es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/*" } ] }'

L'exemple suivant illustre la configuration du domaine OpenSearch de service suivante :

• Crée un domaine OpenSearch de service nommé mylogs avec OpenSearch la version 1.0

• Remplit le domaine avec dix instances du type r6g.xlarge.search

• Remplit le domaine avec trois instances du type r6g.large.search comme nœuds principaux dédiés

• Utilise un IOPS EBS volume provisionné de 100 GiB pour le stockage, configuré avec une performance de référence de 1 000 IOPS pour chaque nœud de données

• Restreint l'accès à un seul utilisateur et à une seule sous-ressource, le _search API

aws opensearch create-domain \
    --domain-name mylogs \
    --engine-version OpenSearch_1.0 \
    --cluster-config  InstanceType=r6g.xlarge.search,InstanceCount=10,DedicatedMasterEnabled=true,DedicatedMasterType=r6g.large.search,DedicatedMasterCount=3 \
    --ebs-options EBSEnabled=true,VolumeType=io1,VolumeSize=100,Iops=1000 \
    --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::555555555555:root" }, "Action": "es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/_search" } ] }'

Note

Si vous tentez de créer un domaine de OpenSearch service alors qu'un domaine portant le même nom existe déjà, aucune erreur CLI ne sera signalée. Au lieu de cela, elle renvoie les détails pour le domaine existant.

Création de domaines OpenSearch de service (AWS SDKs)

Le AWS SDKs(sauf Android et iOSSDKs) prennent en charge toutes les actions définies dans le Amazon OpenSearch Service API Reference, y comprisCreateDomain. Pour un exemple de code, consultez À l'aide duAWSSDK pour interagir avec AmazonOpenSearchService. Pour plus d'informations sur l'installation et l'utilisation du AWS SDKs, voir AWS Kits de développement logiciel.

Création de domaines OpenSearch de service (AWS CloudFormation)

OpenSearch Le service est intégré à AWS CloudFormation, un service qui vous aide à modéliser et à configurer votre AWS ressources afin que vous puissiez passer moins de temps à créer et à gérer vos ressources et votre infrastructure. Vous créez un modèle qui décrit le OpenSearch domaine que vous souhaitez créer, et qui CloudFormation approvisionne et configure le domaine pour vous. Pour plus d'informations, notamment des exemples JSON et des YAML modèles de OpenSearch domaines, consultez la référence relative au type de ressource Amazon OpenSearch Service dans le AWS CloudFormation Guide de l'utilisateur.

Configuration des politiques d'accès

Amazon OpenSearch Service propose plusieurs méthodes pour configurer l'accès à vos domaines OpenSearch de service. Pour plus d’informations, consultez Identity and Access Management dans Amazon OpenSearch Service et Contrôle d'accès précis dans Amazon Service OpenSearch .

La console fournit des stratégies d'accès préconfigurées que vous pouvez personnaliser en fonction des besoins spécifiques de votre domaine. Vous pouvez également importer des politiques d'accès depuis d'autres domaines OpenSearch de service. Pour plus d'informations sur la manière dont ces politiques d'accès interagissent avec VPC l'accès, consultezÀ propos des politiques d'accès aux VPC domaines.

Pour configurer les stratégies d'accès (console)

1. Accédez à https://aws.amazon.com, puis choisissez Se connecter à la console.

2. Sous Analytics, sélectionnez Amazon OpenSearch Service.

3. Dans le panneau de navigation, sous Domains (Domaines), choisissez le domaine que vous souhaitez mettre à jour.

4. Choisissez Actions et Edit security configuration (Modifier la configuration de sécurité).

5. Modifiez la politique JSON d'accès ou importez une option préconfigurée.

6. Sélectionnez Enregistrer les modifications.

Paramètres avancés du cluster

Utilisez les options avancées pour configurer les éléments suivants :

Index dans les corps de requête

Spécifie si les références explicites aux index sont autorisées dans le corps des HTTP demandes. Si vous affectez la valeur false à cette propriété, les utilisateurs ne peuvent pas outrepasser le contrôle d'accès aux sous-ressources. Par défaut, la valeur est true. Pour en savoir plus, consultez Options avancées et API considérations.

Allocation de cache de données de champ

Spécifie le pourcentage d'espace du tas Java alloué aux données de champ. Par défaut, ce paramètre est de 20 % du JVM tas.

Note

De nombreux clients interrogent les index quotidiens en rotation. Nous vous recommandons de commencer les tests de référence avec une indices.fielddata.cache.size configuration à 40 % du JVM tas pour la plupart de ces cas d'utilisation. Pour les index très volumineux, vous aurez peut-être besoin d'un grand cache de données de champ.

Nombre max. de clauses

Spécifie le nombre maximal de clauses autorisées dans une requête booléenne Lucene. La valeur par défaut est 1 024. Les requêtes comportant davantage de clauses que le nombre autorisé génèrent une erreur TooManyClauses. Pour plus d'informations, consultez la documentation Lucene.