Benvenuto nella Guida per gli sviluppatori di Amazon MSK

Benvenuto nellaGuida per gli sviluppatori di Amazon MSK. I seguenti argomenti possono aiutarti a iniziare a utilizzare questa guida, in base a ciò che stai cercando di fare.

• Crea un cluster Amazon MSK seguendo laGuida introduttiva a usare Amazon MSKTutorial della.

• Approfondisci le funzionalità di Amazon MSK inAmazon MSK: come funziona.

• Esegui Apache Kafka senza dover gestire e scalare la capacità del cluster conMSK senza server.

• UtilizzaMSKper lo streaming di dati da e verso il cluster Apache Kafka.

Per i punti salienti di, i dettagli del prodotto e i prezzi, consulta la pagina del servizio perAmazon MSK.

Che cos'è Amazon MSK?

Amazon Managed Streaming for Apache Kafka (Amazon MSK) è un servizio completamente gestito che consente di costruire ed eseguire applicazioni che utilizzano Apache Kafka per elaborare i dati in streaming. Amazon MSK fornisce le operazioni del piano di controllo, ad esempio quelle per la creazione, l'aggiornamento e l'eliminazione di cluster. Consente di utilizzare operazioni del piano dati Apache Kafka, come quelle per la produzione e il consumo di dati. Esegue versioni open-source di Apache Kafka. Ciò significa che le applicazioni, gli strumenti e i plugin esistenti dei partner e della comunità Apache Kafka sono supportati senza richiedere modifiche al codice dell'applicazione. Puoi utilizzare Amazon MSK per creare cluster che utilizzano una qualsiasi delle versioni Apache Kafka elencate inVersioni di Apache Kafka supportate.

Il diagramma seguente fornisce una panoramica sul funzionamento di Amazon MSK.

Il diagramma illustra l'interazione tra i componenti seguenti:

• Nodi broker di— Quando si crea un cluster Amazon MSK, è necessario specificare il numero di nodi broker che Amazon MSK deve creare in ciascuna zona di disponibilità. Nel cluster di esempio mostrato in questo diagramma, è presente un broker per zona di disponibilità. Ogni zona di disponibilità dispone di una propria sottorete VPC.

• ZooKeeper nodi— Amazon MSK crea anche Apache ZooKeeper nodi per te. Apache ZooKeeper è un server open-source che consente un coordinamento distribuito altamente affidabile.

• Produttori, consumatori e creatori di argomenti: Amazon MSK consente di utilizzare operazioni del piano dati Apache Kafka per creare argomenti e produrre e utilizzare dati.

• Operazioni clusterPuoi utilizzare il pluginAWS Management Console, ilAWS Command Line Interface(AWS CLI) o le API nell'SDK per eseguire operazioni sul piano di controllo. Ad esempio, puoi creare o eliminare un cluster Amazon MSK, elencare tutti i cluster in un account, visualizzare le proprietà di un cluster e aggiornare il numero e il tipo di broker in un cluster.

Amazon MSK riconosce gli scenari di errore più comuni e avvia automaticamente il ripristino per cluster per permettere alle applicazioni produttore e consumatore di continuare le operazioni di scrittura e lettura con impatto minimo. Quando Amazon MSK rileva un errore del broker, attenua l'errore o sostituisce il broker non o o raggiungile con uno nuovo. Inoltre, ove possibile, riutilizza lo storage del broker precedente per ridurre i dati che devono essere replicati da Apache Kafka. L'impatto sulla disponibilità è limitato al tempo richiesto da Amazon MSK per completare il rilevamento e il ripristino. Dopo un ripristino, le applicazioni produttore e consumatore possono continuare a comunicare con gli stessi indirizzi IP del broker utilizzati prima dell'errore.