Benvenuto nella Guida per gli sviluppatori di Amazon MSK

Ti diamo il benvenuto nella Guida per gli sviluppatori di Amazon MSK. I seguenti argomenti possono aiutarti a iniziare a usare questa guida, in base a ciò che stai cercando di fare.

• Crea un cluster Amazon MSK seguendo il tutorial Guida introduttiva all'utilizzo di Amazon MSK.

• Per approfondire le funzionalità di Amazon MSK, consulta la sezione Amazon MSK: come funziona.

• Esegui Apache Kafka senza dover gestire e dimensionare la capacità del cluster con MSK Serverless.

• Utilizza MSK Connect per lo streaming di dati da e verso il cluster Apache Kafka.

Per i dettagli, le funzionalità principali e i prezzi del prodotto, consulta la pagina del servizio Amazon MSK.

Che cos'è Amazon MSK?

Amazon Managed Streaming for Apache Kafka (Amazon MSK) è un servizio completamente gestito che consente di costruire ed eseguire applicazioni che utilizzano Apache Kafka per elaborare i dati in streaming. Amazon MSK fornisce le operazioni del piano di controllo, ad esempio quelle per la creazione, l'aggiornamento e l'eliminazione di cluster. Consente di utilizzare operazioni del piano dati Apache Kafka, come quelle per la produzione e il consumo di dati. Esegue versioni open-source di Apache Kafka. Ciò significa che le applicazioni, gli strumenti e i plugin esistenti dei partner e della comunità Apache Kafka sono supportati senza richiedere modifiche al codice dell'applicazione. Puoi utilizzare Amazon MSK per creare cluster che utilizzano le versioni di Apache Kafka elencate nella sezione Versioni di Apache Kafka supportate.

Il diagramma seguente fornisce una panoramica sul funzionamento di Amazon MSK.

Il diagramma illustra l'interazione tra i componenti seguenti:

• Nodi dei broker: quando crei un cluster Amazon MSK, specifichi quanti nodi dei broker desideri che Amazon MSK crei in ciascuna zona di disponibilità. Nel cluster di esempio mostrato in questo diagramma, è presente un broker per zona di disponibilità. Ogni zona di disponibilità dispone di una propria sottorete VPC.

• Nodi ZooKeeper: Amazon MSK crea anche i nodi Apache ZooKeeper per tuo conto. Apache ZooKeeper è un server open-source che consente un coordinamento distribuito altamente affidabile.

• Produttori, consumatori e creatori di argomenti: Amazon MSK ti consente di utilizzare le operazioni sul piano dati di Apache Kafka per creare argomenti e produrre e utilizzare dati.

• Operazioni del cluster: è possibile utilizzare la AWS Management Console, l'AWS Command Line Interface (AWS CLI) o le API nell'SDK per eseguire operazioni sul piano di controllo. Ad esempio, puoi creare o eliminare un cluster Amazon MSK, elencare tutti i cluster di un account, visualizzare le proprietà di un cluster e aggiornare il numero e il tipo di broker in un cluster.

Amazon MSK riconosce gli scenari di errore più comuni e avvia automaticamente il ripristino per cluster per permettere alle applicazioni produttore e consumatore di continuare le operazioni di scrittura e lettura con impatto minimo. Quando Amazon MSK rileva un errore del broker, attenua l'errore o sostituisce il broker non integro o non raggiungibile con uno nuovo. Inoltre, ove possibile, riutilizza lo storage del broker precedente per ridurre i dati che devono essere replicati da Apache Kafka. L'impatto sulla disponibilità è limitato al tempo richiesto da Amazon MSK per completare il rilevamento e il ripristino. Dopo un ripristino, le applicazioni produttore e consumatore possono continuare a comunicare con gli stessi indirizzi IP del broker utilizzati prima dell'errore.