Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Pour créer une tâche d'évaluation pour les bases de connaissances Amazon Bedrock ou d'autres sources RAG, vous devez accéder à des ressources de niveau de service spécifiques et à des modèles de base Amazon Bedrock. Utilisez les rubriques liées pour en savoir plus sur la configuration.
Avant de commencer la tâche d'évaluation du modèle, assurez-vous d'avoir ingéré et synchronisé toutes les données de votre base de connaissances.
Ressources de niveau de service requises pour démarrer une tâche d'évaluation de modèle utilisant une base de connaissances Amazon Bedrock
-
Vous devez avoir accès à au moins l'un des modèles de fondation Amazon Bedrock suivants. Pour en savoir plus sur l'accès aux modèles, consultezAccédez aux modèles de fondations Amazon Bedrock.
-
Mistral Large –
mistral.mistral-large-2402-v1:0 -
Anthropic Claude 3.5 Sonnet –
anthropic.claude-3-5-sonnet-20240620-v1:0 -
Anthropic Claude 3 Haiku –
anthropic.claude-3-haiku-20240307-v1:0 -
Meta Llama 3.1 70B Instruct –
meta.llama3-1-70b-instruct-v1:0
Les profils d'inférence entre régions sont pris en charge pour les modèles répertoriés. Pour en savoir plus, consultez la section Profils d'inférence interrégionaux pris en charge.
-
-
Créez un jeu de données rapide. Votre jeu de données d'invite représente les requêtes des utilisateurs que vous souhaitez utiliser pour voir dans quelle mesure la base de connaissances récupère les informations et génère des réponses. Pour de plus amples informations, veuillez consulter Créez un jeu de données rapide pour une évaluation RAG dans Amazon Bedrock.
-
Pour créer une tâche d'évaluation de modèle qui utilise une base de connaissances Amazon Bedrock https://console.aws.amazon.com/bedrock/
AWS Command Line Interface, vous devez accéder au ou à un AWS SDK compatible. Pour plus d'informations sur les actions et les ressources IAM requises, consultez la section Permissions requises pour créer une tâche d'évaluation des bases de connaissances Amazon Bedrock ci-dessous. -
Lorsque la tâche d'évaluation du modèle démarre, un rôle de service est utilisé pour effectuer des actions en votre nom. Pour en savoir plus sur les actions IAM requises et les exigences en matière de politique de confiance, voirExigences relatives aux rôles de service pour les tâches d'évaluation de la base de connaissances.
-
Amazon Simple Storage Service : toutes les données utilisées dans le cadre de la tâche d'évaluation du modèle doivent être placées dans un compartiment Amazon S3. Les tâches d'évaluation de modèles créées à l'aide de la console Amazon Bedrock nécessitent que vous spécifiiez les autorisations CORS correctes sur le bucket.
-
Au cours d'une tâche d'évaluation de la base de connaissances, Amazon Bedrock crée une copie temporaire de vos données, qu'Amazon Bedrock chiffre à l'aide d'un. AWS KMS key Vous pouvez demander à Amazon Bedrock de chiffrer ces données avec une clé détenue par Amazon Bedrock, ou vous pouvez fournir une clé que vous possédez. Si vous souhaitez utiliser votre propre clé, vous devez ajouter les autorisations requises à la politique des clés KMS. Pour de plus amples informations, veuillez consulter Chiffrement des données pour les tâches d'évaluation de la base de connaissances.
Autorisations requises pour créer une tâche d'évaluation des bases de connaissances Amazon Bedrock
Cette section couvre les exigences de politique IAM requises pour l'utilisateur, le groupe ou le rôle qui souhaite créer une tâche d'évaluation des bases de connaissances Amazon Bedrock. Si vous recherchez des informations sur le rôle de service et les exigences en matière de politique de confiance, consultezExigences relatives aux rôles de service pour les tâches d'évaluation de la base de connaissances.
La politique suivante contient l'ensemble minimal d'actions et de ressources IAM dans Amazon Bedrock et Amazon S3 qui sont nécessaires pour créer une tâche d'évaluation des bases de connaissances Amazon Bedrock à l'aide de la console Amazon Bedrock.
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "BedrockConsole",
"Effect": "Allow",
"Action": [
"bedrock:CreateEvaluationJob",
"bedrock:GetEvaluationJob",
"bedrock:ListEvaluationJobs",
"bedrock:StopEvaluationJob",
"bedrock:GetCustomModel",
"bedrock:ListCustomModels",
"bedrock:CreateProvisionedModelThroughput",
"bedrock:UpdateProvisionedModelThroughput",
"bedrock:GetProvisionedModelThroughput",
"bedrock:ListProvisionedModelThroughputs",
"bedrock:GetImportedModel",
"bedrock:ListImportedModels",
"bedrock:ListTagsForResource",
"bedrock:UntagResource",
"bedrock:TagResource"
],
"Resource": [
"arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
"arn:aws:bedrock:us-west-2:account-id:inference-profile/*",
"arn:aws:bedrock:us-west-2:account-id:provisioned-model/*",
"arn:aws:bedrock:us-west-2:account-id:imported-model/*"
]
},
{
"Sid": "BedrockKnowledgeBaseConsole",
"Effect": "Allow",
"Action": [
"bedrock:GetKnowledgeBase",
"bedrock:ListKnowledgeBases"
],
"Resource": [
"arn:aws:bedrock:us-west-2:account-id:knowledge-base/*"
]
},
{
"Sid": "AllowConsoleS3AccessForModelEvaluation",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetBucketCORS",
"s3:ListBucket",
"s3:ListBucketVersions",
"s3:GetBucketLocation"
],
"Resource": [
"arn:aws:s3:::my_output_bucket",
"arn:aws:s3:::input_datasets/prompts.jsonl"
]
}
]
}