Migração de dados entre domínios e coleções usando o Amazon Ingestion OpenSearch

Você pode usar pipelines OpenSearch de ingestão para migrar dados entre domínios do Amazon OpenSearch Service ou coleções de VPC sem servidor OpenSearch . Para fazer isso, você configura um pipeline no qual configura um domínio ou coleção como origem e outro domínio ou coleção como coletor. Isso migra efetivamente seus dados de um domínio ou coleção para outro.

Para migrar dados, você deve ter os seguintes recursos:

• Um domínio de OpenSearch serviço de origem ou uma coleção de OpenSearch VPC sem servidor. Esse domínio ou coleção contém os dados que você deseja migrar. Se você estiver usando um domínio, ele deverá estar executando a OpenSearch versão 1.0 ou posterior, ou a versão 7.4 ou posterior do Elasticsearch. O domínio também deve ter uma política de acesso que conceda as permissões apropriadas à sua função no pipeline.

• Um domínio separado ou coleção de VPC para o qual você deseja migrar seus dados. Esse domínio ou coleção funcionará como o coletor do pipeline.

• Uma função de pipeline que o OpenSearch Ingestion usará para ler e gravar em sua coleção ou domínio. Você inclui o Amazon Resource Name (ARN) dessa função na configuração do seu pipeline. Para obter mais informações, consulte os seguintes recursos do :

  • Concedendo acesso aos pipelines OpenSearch do Amazon Ingestion aos domínios

  • Concedendo aos pipelines do Amazon OpenSearch Ingestion acesso às coleções

Limitações

As seguintes limitações se aplicam quando você designa domínios OpenSearch de serviço ou coleções OpenSearch sem servidor como coletores:

• Um pipeline não pode gravar em mais de um domínio VPC.

• Você só pode migrar dados de ou para coleções OpenSearch sem servidor que usam acesso VPC. Não há suporte para coleções públicas.

• Você não pode especificar uma combinação de VPC e domínios públicos em uma única configuração de pipeline.

• Você pode ter no máximo 20 coletores sem tubulação em uma única configuração de tubulação.

• Você pode especificar coletores de no máximo três diferentes Regiões da AWS em uma única configuração de pipeline.

• Um pipeline com vários coletores pode sofrer uma redução na velocidade de processamento ao longo do tempo se algum dos coletores ficar inativo por muito tempo ou não for provisionado com capacidade suficiente para receber dados de entrada.

OpenSearch Serviço como fonte

O domínio ou coleção que você especifica como fonte é de onde os dados são migrados.

Criar um perfil de pipeline no IAM

Para criar seu pipeline de OpenSearch ingestão, primeiro você deve criar uma função de pipeline para conceder acesso de leitura e gravação entre domínios ou coleções. Para fazer isso, execute as seguintes etapas:

1. Crie uma nova política de permissões no IAM para anexar à função do pipeline. Certifique-se de conceder permissões para ler a partir da fonte e gravar no coletor. Para obter mais informações sobre como definir permissões de pipeline do IAM para domínios de OpenSearch serviço, consulte Concedendo acesso aos pipelines OpenSearch do Amazon Ingestion aos domínios e. Concedendo aos pipelines do Amazon OpenSearch Ingestion acesso às coleções

2. Especifique as seguintes permissões na função do pipeline para ler a partir da fonte:

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Action":"es:ESHttpGet",
            "Resource":[
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/",
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/_cat/indices",
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/_search",
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/_search/scroll",
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/*/_search"
            ]
         },
         {
            "Effect":"Allow",
            "Action":"es:ESHttpPost",
            "Resource":[
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/*/_search/point_in_time",
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/*/_search/scroll"
            ]
         },
         {
            "Effect":"Allow",
            "Action":"es:ESHttpDelete",
            "Resource":[
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/_search/point_in_time",
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/_search/scroll"
            ]
         }
      ]
   }

Criando um pipeline

Depois de anexar a política à função do pipeline, use o blueprint de AWSOpenSearchDataMigrationPipelinemigração para criar o pipeline. Esse esquema inclui uma configuração padrão para migrar dados entre domínios ou coleções OpenSearch de serviços. Para ter mais informações, consulte Usar esquemas para criar um pipeline.

nota

OpenSearch A ingestão usa a versão e a distribuição do domínio de origem para determinar qual mecanismo usar para a migração. Algumas versões oferecem suporte à point_in_time opção. OpenSearch O Serverless usa a search_after opção porque ela não suporta point_in_time ou. scroll

Novos índices podem estar sendo criados durante o processo de migração, ou documentos podem estar sendo atualizados enquanto a migração está em andamento. Por isso, talvez seja necessário fazer uma única ou várias verificações dos dados de índice do domínio para obter dados novos ou atualizados.

Especifique o número de verificações a serem executadas, definindo index_read_count e interval na configuração do pipeline. O exemplo a seguir mostra como fazer várias verificações:

scheduling:
    interval: "PT2H"
    index_read_count: 3
    start_time: "2023-06-02T22:01:30.00Z"

OpenSearch A ingestão usa a seguinte configuração para garantir que seus dados sejam gravados no mesmo índice e mantenham a mesma ID do documento:

index: "${getMetadata(\"opensearch-index\")}"
document_id: "${getMetadata(\"opensearch-document_id\")}"

Especificação de vários coletores OpenSearch de domínio de serviço

Você pode especificar vários domínios OpenSearch de serviço público como destinos para seus dados. Você pode usar esse recurso para realizar roteamento condicional ou replicar dados de entrada em vários domínios de serviço. OpenSearch Você pode especificar até 10 domínios de OpenSearch serviço público diferentes como coletores.

No exemplo a seguir, os dados recebidos são roteados condicionalmente para diferentes OpenSearch domínios de serviço:

...
  route:
    - 2xx_status: "/response >= 200 and /response < 300"
    - 5xx_status: "/response >= 500 and /response < 600"
  sink:
    - opensearch:
        hosts: [ "https://search-response-2xx.us-east-1.es.amazonaws.com" ]
        aws:
          sts_role_arn: "arn:aws:iam::123456789012:role/Example-Role"
          region: "us-east-1"
        index: "response-2xx"
        routes:
          - 2xx_status
    - opensearch:
        hosts: [ "https://search-response-5xx.us-east-1.es.amazonaws.com" ]
        aws:
          sts_role_arn: "arn:aws:iam::123456789012:role/Example-Role"
          region: "us-east-1"
        index: "response-5xx"
        routes:
          - 5xx_status

Migração de dados para uma coleção de OpenSearch VPC sem servidor

Você pode usar o OpenSearch Inestion para migrar dados de um domínio de OpenSearch serviço de origem ou de uma coleção OpenSearch sem servidor para um coletor de coleta de VPC. Você deve fornecer uma política de acesso à rede na configuração do pipeline. Para obter mais informações sobre a ingestão de dados em coleções de VPC OpenSearch sem servidor, consulte. Tutorial: Ingestão de dados em uma coleção usando o Amazon OpenSearch Ingestion

Para migrar dados para uma coleção de VPC

1. Crie uma coleção OpenSearch sem servidor. Para obter instruções, consulte Tutorial: Ingestão de dados em uma coleção usando o Amazon OpenSearch Ingestion.

2. Crie uma política de rede para a coleção que especifique o acesso via VPC ao endpoint da coleção e ao endpoint do Dashboards. Para obter instruções, consulte Acesso à rede para Amazon OpenSearch Serverless.

3. Crie o perfil de pipeline se ainda não tiver um. Para obter instruções, consulte Perfis do pipeline.

4. Criar o pipeline. Para obter instruções, consulte Usar esquemas para criar um pipeline.