Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
envoi de données vers des compartiments à usage général Amazon S3
Avec Amazon MSK Data Delivery, vous pouvez transmettre des données Apache Kafka au format source vers des compartiments à usage général Amazon S3 pour un traitement en aval, avec une fiabilité de bout en bout pour les charges de travail critiques. Utilisez-le pour transférer les données Kafka dans Amazon S3 pour des cas d'utilisation tels que l'archivage des journaux, la conservation de la conformité, la relecture de Kafka et les modèles de formation. AI/ML Cette approche élimine le besoin de créer des pipelines de connecteurs autogérés qui deviennent coûteux et complexes sur le plan opérationnel à mesure que les charges de travail évoluent.
Rubriques
Intégrations
Les courtiers Amazon MSK Express : la source de données.
Amazon S3 : destination d'objets à usage général.
Amazon CloudWatch : statistiques et journaux opérationnels.
AWS CloudTrail— Journalisation des audits d'API.
AWS KMS— chiffrement optionnel géré par le client au repos.
Cas d’utilisation courants
Archivez les données thématiques de Kafka dans S3 à des fins de stockage, de relecture ou de traitement par lots en aval.
Diffusez un même sujet vers plusieurs destinations sans augmenter la charge de courtage.
Pour la spécification de l'API, consultez CreateChannelDescribeChannel, UpdateChannelDeleteChannel, et ListChannels dans le manuel Amazon MSK API Reference.
Flux de données
Le schéma suivant montre comment les enregistrements circulent depuis une rubrique Amazon MSK Express Broker via un canal de diffusion de données jusqu'à votre destination, les enregistrements non traitables étant acheminés vers une file d'attente de lettres mortes.
Avantages
Aucune infrastructure à gérer : pas de connecteurs ni de clusters de calcul. Vous configurez un canal et le service gère la distribution, la mise à l'échelle et la tolérance aux pannes.
Aucun impact sur les courtiers : une chaîne lit un extrait du sujet sans consommer le débit des courtiers ni affecter la charge de travail des producteurs et des consommateurs.
S'adapte à vos données : prend en charge un débit de transmission de données allant jusqu'à 10 Gbit/s sans qu'aucune mise à l'échelle manuelle ne soit requise.
Actualisation des données en quelques minutes : les données fournies peuvent être interrogées ou traitées dans les 5 à 15 minutes suivant leur création pour le sujet.
Built-in gestion des erreurs — Les enregistrements non traitables sont acheminés vers une file d'attente de lettres mortes avec un contexte d'erreur, de sorte que la livraison se poursuit sans interruption.
Comment ça marche
Pour transmettre des données à un compartiment S3 à usage général, vous devez créer un canal. Vous créez une chaîne sur un cluster Amazon MSK Provisioned qui utilise Express Brokers. La chaîne lit les enregistrements d'un sujet Kafka et les transmet à la destination configurée.
Pour les compartiments à usage général Amazon S3, le canal écrit des enregistrements (JSON ou String) en tant qu'objets dans un compartiment S3 à usage général, à l'aide d'un modèle de clé de sortie configurable. ByteArray
Les enregistrements qui ne peuvent pas être traités sont acheminés vers un compartiment S3 de file d'attente de lettres mortes (DLQ) requis.
Note
Une chaîne ne remplace pas les données produites précédemment, seules les données produites après l'activation sont fournies.
Exigences et configurations prises en charge
Un cluster Amazon MSK Provisioned avec Express Brokers. Les courtiers standard et Amazon MSK Serverless ne sont pas pris en charge.
Au moins un sujet de Kafka.
Un compartiment Amazon S3 pour la file d'attente de lettres mortes (DLQ). Cela est obligatoire.
Rôle de service IAM que le Channel assume pour fournir des données.
Actualisation des données configurée entre 5 et 15 minutes.
Données de rubrique au format JSON ou String. ByteArray
Un compartiment Amazon S3 à usage général destiné à la livraison.
