Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
consegna di dati a bucket Amazon S3 per uso generico
Con Amazon MSK Data Delivery, puoi distribuire dati Apache Kafka nel formato sorgente a bucket generici di Amazon S3 per l'elaborazione a valle, con affidabilità end-to-end per carichi di lavoro mission-critical. Usalo per trasferire dati Kafka in Amazon S3 per casi d'uso come archiviazione dei log, conservazione della conformità, replay di Kafka e modelli di formazione. AI/ML Questo approccio elimina la necessità di creare pipeline di connettori autogestite che diventano costose e complesse dal punto di vista operativo con la scalabilità dei carichi di lavoro.
Argomenti
Integrazioni
Broker Amazon MSK Express: la fonte dei dati.
Amazon S3: destinazione di oggetti per uso generico.
Amazon CloudWatch: metriche e log operativi.
AWS CloudTrail— Registrazione degli audit delle API.
AWS KMS— crittografia opzionale gestita dal cliente a riposo.
Casi di utilizzo comune
Archivia i dati degli argomenti di Kafka su S3 per l'archiviazione, la riproduzione o l'elaborazione in batch a valle.
Distribuisci un singolo argomento su più destinazioni senza aumentare il carico del broker.
Per le specifiche dell'API, consulta CreateChannelDescribeChannel,UpdateChannel,DeleteChannel, e ListChannels nell'Amazon MSK API Reference.
Flusso di dati
Il diagramma seguente mostra il flusso di record da un argomento relativo a un broker Amazon MSK Express attraverso un canale di distribuzione dei dati verso la tua destinazione, con i record non elaborabili indirizzati a una coda di lettere morte.
Vantaggi
Nessuna infrastruttura da gestire: nessun connettore o cluster di calcolo. Si configura un canale e il servizio gestisce la distribuzione, la scalabilità e la tolleranza ai guasti.
Nessun impatto sui broker: un canale legge l'argomento senza consumare il throughput del broker o influire sui carichi di lavoro di produttori e consumatori.
Scalabilità in base ai dati: supporta una velocità di trasmissione dei dati fino a 10 GBps senza necessità di scalabilità manuale.
Aggiornamento dei dati in pochi minuti: i dati forniti sono disponibili per l'interrogazione o l'elaborazione entro 5-15 minuti dalla presentazione dell'argomento.
Built-in gestione degli errori: i record non elaborabili vengono indirizzati a una coda di lettere morte con un contesto di errore, in modo che la consegna prosegua senza interruzioni.
Come funziona
Per inviare dati a un bucket S3 generico, crei un canale. Crei un canale su un cluster Amazon MSK Provisioned che utilizza broker Express. Il canale legge i record da un argomento di Kafka e li consegna alla destinazione configurata.
Per i bucket generici Amazon S3, il canale scrive i record (JSON o String) come oggetti in un bucket S3 generico ByteArray, utilizzando un modello di chiave di output configurabile.
I record che non possono essere elaborati vengono indirizzati a un bucket S3 obbligatorio con coda di lettere morte (DLQ).
Nota
Un canale non riempie i dati prodotti in precedenza, ma solo i dati prodotti dopo l'attivazione.
Requisiti e configurazioni supportate
Un cluster Amazon MSK Provisioned con broker Express. I broker standard e Amazon MSK Serverless non sono supportati.
Almeno un argomento di Kafka.
Un bucket Amazon S3 per la coda delle lettere morte (DLQ). Questo è obbligatorio.
Un ruolo di servizio IAM che il Canale assume per fornire i dati.
Aggiornamento dei dati configurato tra 5 e 15 minuti.
Dati dell'argomento in formato JSON o String. ByteArray
Un bucket Amazon S3 generico per la consegna.
