Points de terminaison pris en charge par Amazon Bedrock

Un point de terminaison est l'URL que votre application utilise pour envoyer des demandes d'inférence à Amazon Bedrock. Amazon Bedrock fournit deux points de terminaison d'inférence. Le point de terminaison que vous choisissez détermine les API et les fonctionnalités disponibles.

Pour la plupart des nouvelles applications, utilisez le bedrock-runtime point de terminaison. À utiliser bedrock-mantle lorsque vous avez spécifiquement besoin de fonctionnalités qui ne sont actuellement disponibles que sur place, telles que des outils côté serveur et préconfigurés (y compris la recherche sur le Web), l'inférence en arrière-plan, des projets ou des espaces de travail. Espaces de travail () Anthropic-compatible Pour savoir quel point de terminaison est compatible avec chaque modèle, consultezDisponibilité des terminaux. Le tableau suivant compare les deux paramètres.

Point de terminaison	API prises en charge	Description
bedrock-runtime.{region}.amazonaws.com (recommandé)	InvokeModel/Converse/Compléments de chat/API de réponses /API de messages	Region-specific points de terminaison pour effectuer des demandes d'inférence pour les modèles hébergés dans Amazon Bedrock à l'aide des API. InvokeModel/Converse/Chat Completions/Responses/Messages Pour plus d'informations sur les Bedrock-native opérations, consultez la section Opérations de l'API Amazon Bedrock Runtime. Les OpenAI-compatible API sont appelées sur les /openai/v1 chemins de ce terminal plutôt que par le biais AWS des SDK.
bedrock-mantle.{region}.api.aws	API de réponses/API de complétion des discussions/API de messages	Region-specific points de terminaison pour effectuer des demandes d'inférence pour les modèles hébergés dans Amazon Bedrock à l'aide des OpenAI-compatible points de terminaison et de l'API Anthropic Messages.

Note

Les deux terminaux utilisent le même moteur d'inférence Mantle sous-jacent et bénéficient de la conception Zero-Operator Access (ZOA) de Mantle. Le bedrock-mantle nom identifie une surface de point de terminaison, et non un autre moteur d'inférence.

Les applications existantes qui utilisent bedrock-mantle continuent d'être entièrement prises en charge et n'ont pas besoin d'être modifiées. Les deux points de terminaison vous permettent d'intégrer une base de code du SDK OpenAI existante à Amazon Bedrock en modifiant uniquement l'URL de base et la clé d'API, et les deux prennent en charge les API Responses et Chat Completions ainsi que l' OpenAI-compatible API Anthropic Messages.

Prise en charge de l'API

API	bedrock-runtime	bedrock-mantle
InvokeModel
Conversation/ ConverseStream
Complétions du graphique () OpenAI-compatible
API de réponses (OpenAI-compatible)
API de messagerie (Anthropic-native)

Note

L'API Messages est disponible sur les deux terminaux, mais les deux surfaces ne prennent pas en charge les mêmes fonctionnalités. En particulier, les sorties structurées (le output_config.format paramètre) ne sont pas prises en charge sur bedrock-mantle : les demandes qui incluent output_config.format sont rejetées avec une erreur 400. Pour utiliser des sorties structurées avec des modèles Anthropic Claude, appelez Converse ou les InvokeModel API sur. bedrock-runtime

Note

L'API Responses est également disponible sur les deux terminaux sans prise en charge identique des fonctionnalités. Sous bedrock-runtime :

• Les demandes sont toujours synchrones. background=trueest rejeté avec une erreur 400. Le store paramètre n'est pas affecté et conserve sa valeur par défauttrue, de sorte que les conversations multi-tours stockées fonctionnent normalement.

• Server-side l'utilisation des outils et les outils préconfigurés ne sont pas disponibles, y compris la recherche Recherche sur le Web sur le Web. Client-side l'utilisation de l'outil fonctionne sur les deux terminaux.

• Seul le projet par défaut est pris en charge. Consultez Projets (OpenAI-compatible).

• Une réponse stockée appartient à Région AWS celui qui l'a servie. Le récupérer, l'annuler ou le supprimer, ainsi que la poursuite de la conversation avecprevious_response_id, sont tous gérés par cette région.

Capacités d'inférence

Capacité	bedrock-runtime	bedrock-mantle
Cross-region inférence (profils géographiques et mondiaux)
Gestion dynamique des conversations
Inférence asynchrone (longue durée)
Client-side utilisation de l'outil
Server-side utilisation de l'outil
Pre-configured outils prêts à l'emploi
Projets	Projet par défaut uniquement
Espaces de travail

L'authentification n'autorise pas l'accès en elle-même. Que vous utilisiez Sigv4 ou une clé d'API Bedrock, le principal IAM associé doit être autorisé à effectuer l'action requise. Pour obtenir des exigences de politique complètes et des exemples, consultezConditions préalables à l’exécution de l’inférence de modèle.

Fonctionnement

Élément	bedrock-runtime	bedrock-mantle
Authentification AWS Sigv4
Clé d'API Bedrock (fonctionne également avec le SDK OpenAI)
Autorisation IAM pour l'inférence	bedrock:InvokeModelsur la cible d'inférence et, pour l'API Responses, sur le projet par défaut ; bedrock:InvokeModelWithResponseStream pour le streaming	bedrock-mantle:CreateInference
Attribution d'utilisation	IAM principal, balisage des métadonnées par demande, profils d'inférence des applications Profils d’inférence d’applications	Projets, espaces de travail

Note

Activébedrock-runtime, l'utilisation des attributs de l'API Responses par le principal IAM est uniquement. Per-request le balisage des métadonnées et les profils d'inférence d'applications n'y sont pas disponibles : une demande qui désigne un profil d'inférence d'application comme cible d'inférence est rejetée avec une erreur 400. Cela n'affecte pas l'inférence interrégionale : les profils d'inférence géographiques et globaux définis par le système fonctionnent normalement.

Disponibilité des fonctionnalités de Bedrock

Fonctionnalité	bedrock-runtime	bedrock-mantle
Rambardes
Mise en cache rapide
Routage rapide intelligent

Note

La prise en charge rapide de la mise en cache bedrock-mantle dépend du modèle spécifique. Consultez chaque fiche modèle ci-dessous Les modèles en un coup d'œil pour plus de détails.

Approche du débit et des quotas

Chaque terminal utilise une approche différente pour gérer le débit.

• bedrock-runtime— Dans de nombreux services multi-locataires traditionnels, l'architecture est conçue autour de quotas par compte afin de gérer un accès équitable aux ressources partagées. C'est l'approche utilisée avecbedrock-runtime. Chaque modèle possède des quotas de débit fixes (RPM et TPM) pour lesquels vous pouvez demander des augmentations. Pour en savoir plus, consultez Quotas pour le paramètre d'exécution fondamental.

• bedrock-mantle— Ce terminal est conçu avec des mécanismes avancés de planification et de mise en file d'attente qui assurent une distribution équitable tout en prenant en charge des limites de débit initiales plus élevées. Cette conception permet également bedrock-mantle d'héberger un large éventail de modèles et de fournir l'ensemble des fonctionnalités disponibles dans le catalogue de modèles. Dans la plupart des cas, les demandes sont traitées immédiatement. Dans certains cas, une demande peut être brièvement mise en file d'attente pendant que les charges de travail en vol sont terminées et que le débit est disponible. Pour plus d’informations, consultez Quotas pour la limite entre le substrat rocheux et le manteau et Meilleures pratiques en matière d'évolutivité et de débit.

Tarification

Per-token le prix d'un même modèle est identique sur bedrock-runtime etbedrock-mantle. Choisissez un point de terminaison en fonction des API et des fonctionnalités dont vous avez besoin, et non des coûts. Pour connaître les tarifs actuels, consultez la rubrique Tarification d'Amazon Bedrock.

Quand choisir chaque point de terminaison

Commencez par le bedrock-runtime moment où vous voulez :

• Appelez les API OpenAI-compatible Responses ou Chat Completions, ou l'API Anthropic Messages.

• Utilisez les API Bedrock-native InvokeModel ou Converse.

• Utilisez les fonctionnalités d'Amazon Bedrock qui ne sont disponibles que sur ce terminal, telles que les Guardrails et le routage rapide intelligent.

• Utilisez l'inférence interrégionale pour acheminer les demandes à travers une zone géographique ou à l'échelle mondiale.

À utiliser bedrock-mantle lorsque vous souhaitez :

• Créez des flux de travail agentiques à l'aide d'outils côté serveur ou d'outils préconfigurés, y compris la recherche sur le Web. Recherche sur le Web

• Exécutez des charges de travail d'inférence asynchrones ou de longue durée, y compris des demandes de réponses avec. background=true

• Créez Projets (OpenAI-compatible) ou Espaces de travail () Anthropic-compatible isolez les charges de travail et suivez les coûts et l'utilisation au niveau de l'application.

• Utilisez un modèle disponible uniquement surbedrock-mantle. Consultez Disponibilité des terminaux.

Les deux terminaux peuvent être utilisés ensemble à partir de la même application, à choisir selon le cas d'utilisation.

Réduisez les coûts de sortie des données grâce aux points de terminaison de l'interface VPC

Si vous appelez Amazon Bedrock depuis un VPC, pensez à utiliser des points de terminaison d'interface VPC (AWS PrivateLink) pour maintenir le trafic au sein du réseau AWS et éviter les frais de sortie de données associés aux passerelles NAT ou Internet.