Usando o AWS CLI para configurar o Neptune ML em um cluster de banco de dados

Além do modelo de AWS CloudFormation início rápido e do AWS Management Console, você também pode configurar o Neptune ML usando o. AWS CLI

Criar um grupo de parâmetros de cluster de banco de dados para o novo cluster do Neptune ML

Os AWS CLI comandos a seguir criam um novo grupo de parâmetros do cluster de banco de dados e o configuram para funcionar com o Neptune ML:

Como criar e configurar um grupo de parâmetros de cluster de banco de dados para o Neptune ML

1. Crie um grupo de parâmetros de cluster de banco de dados:

   aws neptune create-db-cluster-parameter-group \
     --db-cluster-parameter-group-name (name of the new DB cluster parameter group) \
     --db-parameter-group-family neptune1
     --description "(description of your machine learning project)" \
     --region (AWS region, such as us-east-1)

2. Crie um parâmetro de neptune_ml_iam_role cluster de banco de dados definido como o ARN do SageMakerExcecutionIAMRole para seu cluster de banco de dados usar ao chamar a SageMaker IA para criar trabalhos e obter previsões de modelos de ML hospedados:

   aws neptune modify-db-cluster-parameter-group \
     --db-cluster-parameter-group-name (name of the new DB cluster parameter group) \
     --parameters "ParameterName=neptune_ml_iam_role, \
                   ParameterValue=ARN of the SageMakerExcecutionIAMRole, \
                   Description=NeptuneMLRole, \
                   ApplyMethod=pending-reboot" \
     --region (AWS region, such as us-east-1)

   Definir esse parâmetro permite que o Neptune SageMaker acesse a IA sem que você precise passar a função a cada chamada.

   Para obter informações sobre como criar o SageMakerExcecutionIAMRole, consulte Criar um perfil NeptuneSageMakerIAMRole personalizado.

3. Por fim, use describe-db-cluster-parameters para conferir se todos os parâmetros no novo grupo de parâmetros do cluster de banco de dados estão definidos da forma desejada:

   aws neptune describe-db-cluster-parameters \
     --db-cluster-parameter-group-name (name of the new DB cluster parameter group) \
     --region (AWS region, such as us-east-1)

Anexar o novo grupo de parâmetros de cluster de banco de dados ao cluster de banco de dados a ser usado com o Neptune ML

Agora é possível anexar o novo grupo de parâmetros do cluster de banco de dados que você acabou de criar a um cluster de banco de dados existente usando o seguinte comando:

aws neptune modify-db-cluster \
  --db-cluster-identifier (the name of your existing DB cluster) \
  --apply-immediately
  --db-cluster-parameter-group-name (name of your new DB cluster parameter group) \
  --region (AWS region, such as us-east-1)

Para tornar todos os parâmetros efetivos, você pode então reinicializar o cluster de banco de dados:

aws neptune reboot-db-instance
  --db-instance-identifier (name of the primary instance of your DB cluster) \
  --profile (name of your AWS profile to use) \
  --region (AWS region, such as us-east-1)

Ou, se estiver criando um cluster de banco de dados para usar com o Neptune ML, você poderá usar o seguinte comando para criar o cluster com o novo grupo de parâmetros anexado e, depois, criar uma instância principal (de gravador):

cluster-name=(the name of the new DB cluster)
aws neptune create-db-cluster
  --db-cluster-identifier ${cluster-name}
  --engine graphdb \
  --engine-version 1.0.4.1 \
  --db-cluster-parameter-group-name (name of your new DB cluster parameter group) \
  --db-subnet-group-name (name of the subnet to use) \
  --region (AWS region, such as us-east-1)

aws neptune create-db-instance
  --db-cluster-identifier ${cluster-name}
  --db-instance-identifier ${cluster-name}-i \
  --db-instance-class (the instance class to use, such as db.r5.xlarge)
  --engine graphdb \
  --region (AWS region, such as us-east-1)

Anexe o NeptuneSageMakerIAMRole ao seu cluster de banco de dados para que ele possa acessar os recursos de SageMaker IA e Amazon S3

Por fim, siga as instruções Criar um perfil NeptuneSageMakerIAMRole personalizado para criar uma IAM função que permitirá que seu cluster de banco de dados se comunique com a SageMaker IA e o Amazon S3. Depois, use o seguinte comando para anexar o perfil NeptuneSageMakerIAMRole que você criou ao cluster de banco de dados:

aws neptune add-role-to-db-cluster
  --db-cluster-identifier ${cluster-name}
  --role-arn arn:aws:iam::(the ARN number of the role's ARN):role/NeptuneMLRole \
  --region (AWS region, such as us-east-1)

Crie dois endpoints para SageMaker IA em seu Neptune VPC

O Neptune ML precisa de SageMaker dois endpoints de IA no seu cluster de banco de dados Neptune: VPC

• com.amazonaws.(AWS region, like us-east-1).sagemaker.runtime

• com.amazonaws.(AWS region, like us-east-1).sagemaker.api

Se você não usou o AWS CloudFormation modelo de início rápido, que os cria automaticamente para você, você pode usar os seguintes AWS CLI comandos para criá-los:

Este cria o endpoint sagemaker.runtime:

aws ec2 create-vpc-endpoint
  --vpc-id (the ID of your Neptune DB cluster's VPC)
  --vpc-endpoint-type Interface
  --service-name com.amazonaws.(AWS region, like us-east-1).sagemaker.runtime
  --subnet-ids (the subnet ID or IDs that you want to use)
  --security-group-ids (the security group for the endpoint network interface, or omit to use the default)
  --private-dns-enabled

E este cria o endpoint sagemaker.api:

aws ec2 create-vpc-endpoint
  --vpc-id (the ID of your Neptune DB cluster's VPC)
  --vpc-endpoint-type Interface
  --service-name com.amazonaws.(AWS region, like us-east-1).sagemaker.api
  --subnet-ids (the subnet ID or IDs that you want to use)
  --security-group-ids (the security group for the endpoint network interface, or omit to use the default)
  --private-dns-enabled

Você também pode usar o VPCconsole para criar esses endpoints. Consulte Chamadas de previsão seguras na Amazon SageMaker com AWS PrivateLink e Protegendo todas as SageMaker API chamadas da Amazon com AWS PrivateLink.

Crie um parâmetro de endpoint de inferência de SageMaker IA em seu grupo de parâmetros do cluster de banco de dados

Para evitar a necessidade de especificar o endpoint de inferência de SageMaker IA do modelo que você está usando em cada consulta que você faz a ele, crie um parâmetro de cluster de banco de dados chamado neptune_ml_endpoint no grupo de parâmetros do cluster de banco de dados para o Neptune ML. Defina o parâmetro como o id do endpoint da instância em questão.

Você pode usar o seguinte AWS CLI comando para fazer isso:

aws neptune modify-db-cluster-parameter-group \
  --db-cluster-parameter-group-name neptune-ml-demo \
  --parameters "ParameterName=neptune_ml_endpoint, \
                ParameterValue=(the name of the SageMaker AI inference endpoint you want to query), \
                Description=NeptuneMLEndpoint, \
                ApplyMethod=pending-reboot" \
  --region (AWS region, such as us-east-1)