Benvenuto nella Guida per gli sviluppatori di Amazon MSK

Ti diamo il benvenuto nella Guida per gli sviluppatori di Amazon MSK. I seguenti argomenti possono aiutarti a iniziare a usare questa guida, in base a ciò che stai cercando di fare.

• Crea un cluster MSK Provisioned seguendo il Inizia a usare Amazon MSK tutorial.

• Approfondisci le funzionalità di MSK Provisioned in. MSK fornito

• Esegui Apache Kafka senza dover gestire e dimensionare la capacità del cluster con Cos'è MSK Serverless?.

• Utilizza Comprendere MSK Connect per lo streaming di dati da e verso il cluster Apache Kafka.

• Utilizzalo Cos'è il replicatore Amazon MSK? per replicare in modo affidabile i dati tra cluster MSK Provisioned in aree diverse o uguali. AWS

Per i dettagli, le funzionalità principali e i prezzi del prodotto, consulta la pagina del servizio Amazon MSK.

Che cos'è Amazon MSK?

Amazon Managed Streaming for Apache Kafka (Amazon MSK) è un servizio completamente gestito che consente di costruire ed eseguire applicazioni che utilizzano Apache Kafka per elaborare i dati in streaming. Amazon MSK fornisce le operazioni del piano di controllo, ad esempio quelle per la creazione, l'aggiornamento e l'eliminazione di cluster. Consente di utilizzare operazioni del piano dati Apache Kafka, come quelle per la produzione e il consumo di dati. Esegue versioni open-source di Apache Kafka. Ciò significa che le applicazioni, gli strumenti e i plugin esistenti dei partner e della comunità Apache Kafka sono supportati senza richiedere modifiche al codice dell'applicazione. Puoi utilizzare Amazon MSK per creare cluster che utilizzano le versioni di Apache Kafka elencate nella sezione Versioni di Apache Kafka supportate.

Questi componenti descrivono l'architettura di Amazon MSK:

• Nodi dei broker: quando crei un cluster Amazon MSK, specifichi quanti nodi dei broker desideri che Amazon MSK crei in ciascuna zona di disponibilità. Il minimo è un broker per zona di disponibilità. Ogni zona di disponibilità dispone di una propria sottorete VPC. Amazon MSK Provisioned offre due tipi di broker: Broker Amazon MSK Standard e. Broker Amazon MSK Express In MSK Serverless, MSK gestisce i nodi broker utilizzati per gestire il traffico e fornisce le risorse del server Kafka solo a livello di cluster.

• ZooKeeper nodi: Amazon MSK crea anche i ZooKeeper nodi Apache per te. Apache ZooKeeper è un server open source che consente un coordinamento distribuito altamente affidabile.

• KRaft controller: la community Apache Kafka è stata sviluppata KRaft per sostituire Apache per la gestione dei metadati nei cluster Apache ZooKeeper Kafka. In KRaft modalità, i metadati del cluster vengono propagati all'interno di un gruppo di controller Kafka, che fanno parte del cluster Kafka, anziché tra i nodi. ZooKeeper KRafti controller sono inclusi senza costi aggiuntivi per l'utente e non richiedono alcuna configurazione o gestione aggiuntiva da parte dell'utente.

  Nota

  A partire dalla versione 3.7.x di Apache Kafka su MSK, è possibile creare cluster che utilizzano la modalità anziché la modalità. KRaft ZooKeeper

• Produttori, consumatori e creatori di argomenti: Amazon MSK ti consente di utilizzare le operazioni sul piano dati di Apache Kafka per creare argomenti e produrre e utilizzare dati.

• Operazioni del cluster È possibile utilizzare il AWS Management Console, the AWS Command Line Interface (AWS CLI) o il nell'SDK per eseguire operazioni sul APIs piano di controllo. Ad esempio, puoi creare o eliminare un cluster Amazon MSK, elencare tutti i cluster di un account, visualizzare le proprietà di un cluster e aggiornare il numero e il tipo di broker in un cluster.

Amazon MSK riconosce gli scenari di errore più comuni e avvia automaticamente il ripristino per cluster per permettere alle applicazioni produttore e consumatore di continuare le operazioni di scrittura e lettura con impatto minimo. Quando Amazon MSK rileva un errore del broker, attenua l'errore o sostituisce il broker non integro o non raggiungibile con uno nuovo. Inoltre, ove possibile, riutilizza lo storage del broker precedente per ridurre i dati che devono essere replicati da Apache Kafka. L'impatto sulla disponibilità è limitato al tempo richiesto da Amazon MSK per completare il rilevamento e il ripristino. Dopo un ripristino, le applicazioni produttore e consumatore possono continuare a comunicare con gli stessi indirizzi IP del broker utilizzati prima dell'errore.