Almacenamiento OR1 para Amazon OpenSearch Service

OR1 es una familia de instancias para Amazon OpenSearch Service que proporciona una forma rentable de almacenar grandes cantidades de datos. Un dominio con instancias OR1 utiliza los volúmenes gp3 o io1 de Amazon Elastic Block Store (Amazon EBS) como almacenamiento principal, y los datos se copian de forma sincrónica a Amazon S3 a medida que llegan. Esta estructura de almacenamiento proporciona un mayor rendimiento de indexación con una alta durabilidad. La familia de instancias OR1 también admite la recuperación automática de datos en caso de error. Para obtener más información acerca de las opciones del tipo de instancia OR1, consulte Tipos de instancias de generación actual.

Si está indexando cargas de trabajo de análisis operativo pesadas, como análisis de registros, observabilidad o análisis de seguridad, puede beneficiarse de la mejora del rendimiento y la eficiencia de computación de las instancias OR1. Además, la recuperación automática de datos que ofrecen las instancias OR1 mejora la fiabilidad general del dominio.

OpenSearch Service envía métricas de OR1 relacionadas con el almacenamiento a Amazon CloudWatch. Para ver una lista de las métricas disponibles, consulte OR1métricas.

Las instancias OR1 están disponibles bajo demanda o con precios de instancias reservadas, con una tarifa por hora para las instancias y el almacenamiento aprovisionado en Amazon EBS y Amazon S3.

Limitaciones

Tenga en cuenta las siguientes limitaciones cuando utilice instancias OR1 para su dominio.

• Los dominios recién creados deben ejecutarse en la versión 2.11 o una posterior de OpenSearch.

• Los dominios existentes deben ejecutarse en la versión 2.15 o una posterior de OpenSearch.

• Su dominio debe tener activado el cifrado en reposo. Para obtener más información, consulte Cifrado de datos en reposo para Amazon OpenSearch Service.

• Si el dominio usa nodos maestros dedicados, deben usar instancias de Graviton. Para obtener más información sobre nodos maestros dedicados, consulte Nodos maestros dedicados en Amazon OpenSearch Service.

• El intervalo de actualización de los índices de las instancias OR1 debe ser de 10 segundos o más. El intervalo de actualización predeterminado para las instancias OR1 es de 10 segundos.

Ajustes para mejorar el rendimiento de la ingesta

Para obtener el mejor rendimiento de indexación de las instancias OR1, se recomienda hacer lo siguiente:

• Utilice tamaños en lotes grandes para mejorar el uso del búfer. El tamaño recomendado es 10 MB.

• Utilice varios clientes para mejorar el rendimiento del procesamiento paralelo.

• Establezca la cantidad de particiones principales activas para que coincida con la cantidad de nodos de datos para maximizar el uso de los recursos.

Diferencias entre las instancias optimizadas para OpenSearch de las instancias no optimizadas para OpenSearch

Las instancias optimizadas para OpenSearch se diferencian de las instancias no optimizadas para OpenSearch en los siguientes aspectos:

• En el caso de las instancias optimizadas para OpenSearch, la indexación solo se lleva a cabo en las particiones principales.

• Si las instancias optimizadas de OpenSearch están configuradas con réplicas, la tasa de indexación puede parecer inferior a la real. Por ejemplo, si hay una partición principal y una partición de réplica, la tasa de indexación puede mostrar una tasa de 1000; sin embargo, la tasa de indexación real es de 2000.

• Las instancias optimizadas de OpenSearch llevan a cabo operaciones de búfer antes de enviarlas a un origen remoto. Esto se traduce en una latencia de ingesta superior.

  nota

  La métrica IndexingLatency no se ve afectada, ya que no incluye el tiempo de sincronización de translog.

• Las particiones de réplica pueden estar unos segundos por detrás de las particiones principales. El intervalo de tiempo se puede ver en la métrica ReplicationLagMaxTime

En qué se diferencia OR1 del almacenamiento UltraWarm

OpenSearch Service proporciona instancias de UltraWarm que son una forma rentable de almacenar grandes cantidades de datos de solo lectura. Las instancias OR1 y UltraWarm almacenan datos de forma local en Amazon EBS y de forma remota en Amazon S3. Sin embargo, las instancias OR1 y UltraWarm difieren en varios aspectos importantes:

• Las instancias OR1 guardan una copia de los datos tanto en el almacén local como en el remoto. En instancias de UltraWarm, los datos se guardan principalmente en un almacén remoto para reducir los costos de almacenamiento. Según sus patrones de uso, los datos se pueden mover al almacenamiento local.

• Las instancias OR1 están activas y pueden aceptar operaciones de lectura y escritura, mientras que los datos de las instancias UltraWarm son de solo lectura hasta que se devuelvan manualmente al almacenamiento activo.

• UltraWarm se basa en las instantáneas de índice para la durabilidad de los datos. Las instancias OR1, en comparación, lleva a cabo la replicación y la recuperación entre bastidores. En caso de que aparezca un índice rojo, las instancias OR1 restaurarán automáticamente las particiones que falten en el almacenamiento remoto en Amazon S3. El tiempo de recuperación depende del volumen de datos que deban recuperarse.

Para obtener más información acerca del almacenamiento de UltraWarm, consulte Almacenamiento UltraWarm para Amazon OpenSearch Service.

Uso de instancias OR1

Puede seleccionar instancias OR1 para sus nodos de datos al crear un nuevo dominio con la AWS Management Console, la AWS Command Line Interface (AWS CLI) o el AWS SDK. A continuación, puede indexar y consultar los datos mediante las operaciones y herramientas existentes.

Consola

1. Vaya a la consola de Amazon OpenSearch Service en https://console.aws.amazon.com/aos/.

2. En el panel de navegación izquierdo, seleccione Domains (Dominios).

3. Seleccione Create domain (Crear un dominio).

4. Ingrese un nombre para el dominio junto con el resto de opciones preferidas. En Familia de instancias, elija OR1. Seleccione Crear para comenzar el proceso de creación del dominio.

AWS CLI

1. Navegue hasta la terminal de su AWS CLI. Si necesita instalar la AWS CLI, consulte Instalación o actualización de la versión más reciente de la AWS CLI.

2. Para usar el almacenamiento de OR1, debe proporcionar el valor del tamaño del tipo de instancia OR1 específico en el campo InstanceType al crear un dominio. También debe habilitar el cifrado en reposo.

   En el siguiente ejemplo, se crea un dominio con instancias OR1 de tamaño 2xlarge.

   aws opensearch create-domain \
     --domain-name test-domain \
     --engine-version OpenSearch_2.11 \
     --cluster-config "InstanceType=or1.2xlarge.search,InstanceCount=3,DedicatedMasterEnabled=true,DedicatedMasterType=r6g.large.search,DedicatedMasterCount=3" \
     --ebs-options "EBSEnabled=true,VolumeType=gp3,VolumeSize=200" \
     --encryption-at-rest-options Enabled=true \
     --advanced-security-options "Enabled=true,InternalUserDatabaseEnabled=true,MasterUserOptions={MasterUserName=test-user,MasterUserPassword=test-password}" \
     --node-to-node-encryption-options Enabled=true \
     --domain-endpoint-options EnforceHTTPS=true \
     --access-policies '{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Principal":{"AWS":"*"},"Action":"es:*","Resource":"arn:aws:es:us-east-1:account-id:domain/test-domain/*"}]}'