Erstellen Sie Ihre erste Modellevaluierung, bei der menschliche Mitarbeiter verwendet werden

Ein Modellevaluierungsjob, bei dem menschliche Mitarbeiter eingesetzt werden, erfordert Zugriff auf die folgenden Service-Level-Ressourcen. In den verlinkten Themen erfahren Sie mehr über die Einrichtung.

Erforderliche Service-Level-Ressourcen, um einen Modellevaluierungsauftrag zu starten, bei dem menschliche Mitarbeiter eingesetzt werden

1. Bei Modellevaluierungsjobs, bei denen menschliche Mitarbeiter zum Einsatz kommen, können Sie die Antworten für bis zu zwei verschiedene Basismodelle bewerten/vergleichen. Um einen Job zu beginnen, ist mindestens ein Amazon Bedrock Foundation-Modell erforderlich. Weitere Informationen zum Zugriff auf Amazon Bedrock Foundation-Modelle finden Sie unterGreifen Sie auf Amazon Bedrock Foundation-Modelle zu.

2. Um einen Job zur Modellevaluierung mit menschlichen Mitarbeitern zu erstellen, benötigen Sie Zugriff auf die https://console.aws.amazon.com/bedrock/ AWS Command Line Interface, oder eine unterstützte AWS SDK Version. Weitere Informationen zu den erforderlichen IAM Aktionen und Ressourcen finden Sie unterErforderliche Konsolenberechtigungen, um einen Evaluierungsauftrag für ein menschliches Modell zu erstellen.

3. Wenn die Modellevaluierung gestartet wird, wird eine Servicerolle verwendet, um Aktionen in Ihrem Namen auszuführen. Weitere Informationen zu den erforderlichen IAM Aktionen und den Anforderungen an die Vertrauensrichtlinie finden Sie unterAnforderungen an die Servicerolle für automatische Aufträge zur Modellbewertung.

4. Um den Modellevaluierungsjob zu starten, ist ein Prompt-Datensatz erforderlich. Er muss in einem Amazon S3 S3-Bucket gespeichert werden. Weitere Informationen zu den Anforderungen an den Prompt-Datensatz finden Sie unter Anforderungen an benutzerdefinierte Eingabeaufforderungsdatensätze in Modellevaluierungsjobs, bei denen menschliche Arbeitskräfte eingesetzt werden

5. Die menschlichen Gutachter werden als Arbeitsteam geführt. Sie können mithilfe der Amazon Bedrock-Konsole ein neues von Amazon Cognito verwaltetes Arbeitsteam erstellen. Weitere Informationen zur Verwaltung Ihrer Belegschaft finden Sie unter. Managen Sie ein Arbeitsteam für menschliche Bewertungen von Modellen in Amazon Bedrock

Erforderliche Konsolenberechtigungen, um einen Evaluierungsauftrag für ein menschliches Modell zu erstellen

Fügen Sie Ihrem Benutzer, Ihrer Gruppe oder Rolle zusätzliche Berechtigungen hinzu, um einen Auftrag zur Modellbewertung unter Einsatz von Mitarbeitern über die Amazon-Bedrock-Konsole zu erstellen.

Die folgende Richtlinie enthält die Mindestanzahl an IAM Aktionen und Ressourcen in Amazon Bedrock, Amazon SageMaker AI, Amazon Cognito und Amazon S3, die erforderlich sind, um mithilfe der Amazon Bedrock-Konsole einen Auftrag zur Evaluierung eines menschlichen Modells zu erstellen.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowPassingConsoleCreatedServiceRoles",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-*"
      ],
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "bedrock.amazonaws.com"
        }
      }
    },
    {
      "Sid": "BedrockConsole",
      "Effect": "Allow",
      "Action": [
        "bedrock:CreateEvaluationJob",
        "bedrock:GetEvaluationJob",
        "bedrock:ListEvaluationJobs",
        "bedrock:StopEvaluationJob",
        "bedrock:GetCustomModel",
        "bedrock:ListCustomModels",
        "bedrock:CreateProvisionedModelThroughput",
        "bedrock:UpdateProvisionedModelThroughput",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:ListProvisionedModelThroughputs",
        "bedrock:GetImportedModel",
        "bedrock:ListImportedModels",
        "bedrock:ListTagsForResource",
        "bedrock:UntagResource",
        "bedrock:TagResource"
      ],
      "Resource": [
        "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
        "arn:aws:bedrock:us-west-2:111122223333:inference-profile/*",
        "arn:aws:bedrock:us-west-2:111122223333:provisioned-model/*",
        "arn:aws:bedrock:us-west-2:111122223333:imported-model/*"
      ]
    },
    {
      "Sid": "AllowCognitionActionsForWorkTeamCreations",
      "Effect": "Allow",
      "Action": [
        "cognito-idp:CreateUserPool",
        "cognito-idp:CreateUserPoolClient",
        "cognito-idp:CreateGroup",
        "cognito-idp:AdminCreateUser",
        "cognito-idp:AdminAddUserToGroup",
        "cognito-idp:CreateUserPoolDomain",
        "cognito-idp:UpdateUserPool",
        "cognito-idp:ListUsersInGroup",
        "cognito-idp:ListUsers",
        "cognito-idp:AdminRemoveUserFromGroup"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowModelEvaluationResourceCreation",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateFlowDefinition",
        "sagemaker:CreateWorkforce",
        "sagemaker:CreateWorkteam",
        "sagemaker:DescribeFlowDefinition",
        "sagemaker:DescribeHumanLoop",
        "sagemaker:ListFlowDefinitions",
        "sagemaker:ListHumanLoops",
        "sagemaker:DescribeWorkforce",
        "sagemaker:DescribeWorkteam",
        "sagemaker:ListWorkteams",
        "sagemaker:ListWorkforces",
        "sagemaker:DeleteFlowDefinition",
        "sagemaker:DeleteHumanLoop",
        "sagemaker:RenderUiTemplate",
        "sagemaker:StartHumanLoop",
        "sagemaker:StopHumanLoop"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowConsoleS3AccessForModelEvaluation",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:GetBucketCORS",
        "s3:ListBucket",
        "s3:ListBucketVersions",
        "s3:GetBucketLocation"
      ],
      "Resource": [
        "arn:aws:s3:::my_output_bucket",
        "arn:aws:s3:::input_datasets/prompts.jsonl"
      ]
    }
  ]
}