Reforço, aperfeiçoando o acesso e a segurança

Antes de começar o ajuste fino do reforço, certifique-se de entender que tipo de acesso o Amazon Bedrock precisa para operações específicas de RFT. O RFT requer permissões adicionais além do ajuste fino padrão devido aos seus recursos de execução da função de recompensa.

Para a configuração básica de segurança da personalização do modelo, incluindo relações de confiança, permissões do Amazon S3 e criptografia KMS, consulte. Criar um perfil de serviço do IAM para a personalização de modelo

Pré-requisitos

Antes de adicionar permissões do IAM específicas do RFT, você deve adicionar as seguintes funções de serviço do IAM:

• Relação de confiança

• Permissões para acessar arquivos de treinamento e validação e para gravar arquivos de saída no Amazon S3

Permissões do IAM específicas do RFT

Adicione essas permissões à sua função de serviço de personalização de modelo existente para a funcionalidade RFT.

Permissões do Lambda para funções de recompensa

Você deve adicionar permissões de invocação do Lambda. Veja a seguir um exemplo de política que você pode usar:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:*:function:reward-function-name"
            ]
        }
    ]
}

Acesso ao registro de invocação

Para usar os registros de invocação do modelo Amazon Bedrock existentes como dados de treinamento, adicione permissões para acessar seu bucket do Amazon S3 onde os registros de invocação são armazenados.

Você precisa fornecer permissões de acesso ao bucket do Amazon S3 para o bucket de entrada. Veja a seguir um exemplo de política que você pode usar:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::s3-invocation-logs-bucket",
                "arn:aws:s3:::s3-invocation-logs-bucket/*"
            ]
        }
    ]
}

Para configuração de segurança, incluindo funções básicas do IAM, permissões do Amazon S3 e criptografia, consulte. Criar um perfil de serviço do IAM para a personalização de modelo

Permissões da função Grader Lambda para RLAIF

Se você criar sua própria função Lambda para Aprendizado por Reforço a partir de funções de recompensa de Feedback de IA (RLAIF), precisará adicionar permissões específicas à função de execução do Lambda.

Permissões fundamentais para juízes de LLM

Para funções de LLM-as-Judge recompensa (RLAIF), adicione permissões para invocar modelos básicos. Veja a seguir um exemplo de política que você pode usar para sua função de execução do Lambda.

nota

Adicione essas permissões à sua função de execução do Lambda somente se você criar sua própria função do Lambda. O console lida com isso automaticamente ao criar funções Lambda por meio do console.

A seguir está um exemplo de um LLM básico como invocação de juiz usando o modelo básico:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:*:*:foundation-model/*"
            ]
        }
    ]
}

A seguir está um exemplo de LLM básico como invocação de juiz usando perfil de inferência:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-east-2::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-west-2::foundation-model/amazon.nova-premier-v1:0"
            ],
            "Condition": {
                "StringLike": {
                    "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
            ]
        }
    ]
}

Para obter informações sobre os pré-requisitos do perfil de inferência, consulte Pré-requisitos para perfis de inferência.