Valuta la preparazione alla migrazione con gli strumenti di intelligenza artificiale

Puoi utilizzare la skill AI migrate-to-msk per valutare la compatibilità del cluster di origine con Amazon MSK Express e generare una raccomandazione per il cluster di destinazione della giusta dimensione prima di iniziare la migrazione. L'abilità semplifica l'analisi che altrimenti eseguiresti manualmente confrontando la configurazione di Apache Kafka con i requisiti di Express. Puoi anche eseguire una simulazione opzionale che distribuisce un cluster Express temporaneo alla dimensione desiderata e gestisce un carico sintetico a un throughput scelto, in modo da poter vedere come si comporta il cluster sotto carico prima della migrazione.

Prerequisiti

Per utilizzare la skill migrate-to-msk, è necessario quanto segue:

• Un assistente di codifica AI che supporta le competenze AWS MCP, come Amazon Q Developer o uno strumento compatibile MCP-enabled . In alternativa, puoi scaricare la skill migrate-to-msk direttamente da Agent Toolkit sul sito Web.AWS GitHub

• Conoscenza della configurazione del cluster Apache Kafka di origine. Puoi fornirlo tramite file infrastructure-as-code (Terraform, AWS CDK, Docker Compose, Kubernetes manifest) AWS CloudFormation, output dei comandi CLI di Apache Kafka o input manuale.

• Runtime Python con uv installazione.

• Solo per la fase di simulazione opzionale: un AWS account con la AWS CLI configurata e le autorizzazioni per distribuire le risorse di simulazione (un cluster MSK Express, una flotta di generazione del carico EC2, ruoli IAM, un VPC e un dashboard). CloudWatch Questa fase crea risorse reali nel tuo account; le fasi di scoperta e valutazione non richiedono alcun accesso. AWS

Invoca l'abilità

Richiamate la skill chiedendo al vostro assistente AI di aiutarvi a migrare a MSK. Puoi usare istruzioni in linguaggio naturale.

Suggerimento

Esempi di invocazioni:

• «Aiutatemi a migrare il mio cluster Kafka su MSK Express»

• «Valuta la compatibilità del mio cluster Kafka con MSK Express»

• «Voglio trasferire i miei carichi di lavoro di streaming su MSK»

Questa competenza vi guida attraverso il processo in modo interattivo raccogliendo informazioni sul cluster, analizzandole in base ai requisiti di Express e producendo elementi che potete utilizzare per pianificare la migrazione.

Come funziona l'abilità

L'abilità prevede tre fasi: scoperta, valutazione e una simulazione opzionale. Le fasi di scoperta e valutazione non effettuano chiamate API al cluster né modificano l'infrastruttura: tutte le analisi vengono eseguite localmente sui dati forniti e tutti gli output vengono salvati nella directory di lavoro. La fase di simulazione opzionale è diversa: dopo aver confermato l'account di destinazione e acconsentito all'implementazione, fornisce risorse temporanee all' AWS account in modo da poter misurare le prestazioni di un cluster Express delle dimensioni desiderate sotto un carico sintetico.

Fase 1: Discovery

La skill effettua l'inventario del cluster Kafka di origine leggendo i file dell'infrastruttura, importando l'output della CLI di Kafka o accettando l'input manuale. Estrae la topologia del broker, la versione di Kafka, le impostazioni di autenticazione, le configurazioni degli argomenti e le metriche del carico di lavoro in un profilo strutturato che Phase 2 utilizza per la valutazione.

È possibile fornire dati tramite qualsiasi combinazione di:

• Infrastructure-as-code file: manifesti Terraform, CDK CloudFormation, Docker Compose o Kubernetes

• Output della CLI di Kafka: l'abilità mostra i comandi da eseguire sul cluster

• Inserimento manuale: descrivi la configurazione del cluster durante una conversazione

Fase 2: valutazione

La competenza valuta il profilo del cluster rispetto a MSK Express sulla base di cinque pilastri di compatibilità e fornisce una raccomandazione mirata per il dimensionamento del cluster:

• Topologia: conteggio delle zone di disponibilità, conteggio dei broker e meccanismo di coordinamento (Kraft vs.) ZooKeeper

• Versione Kafka: se la tua versione di Kafka è supportata su Express (3.6, 3.8, 3.9) e considerazioni sulla compatibilità del client

• Configurazioni relative a broker e argomenti: quali configurazioni personalizzate vengono trasferite, quali gestite internamente da Express e quali richiedono modifiche

• Autenticazione: se il meccanismo di autenticazione è supportato su Express

• Quote: se il carico di lavoro rientra nei limiti di velocità, partizione e connessione di Express per broker

Ogni pilastro produce uno dei seguenti tipi di risultati:

• INFORMAZIONI — La configurazione di origine è già allineata con MSK Express. Non è richiesta alcuna operazione.

• AVVISO — La configurazione del codice sorgente è diversa da quella di MSK Express, ma Express gestisce la regolazione automaticamente. Esaminate la modifica in modo da prevedere il comportamento risultante.

• ACTION_REQUIRED — Una configurazione o una condizione che MSK Express non supporta nella sua forma attuale. Esegui la correzione sul cluster di origine prima della migrazione.

Fase 3: simulazione (opzionale)

La skill può fornire un cluster MSK Express temporaneo e isolato e una flotta di clienti per la generazione di carichi nel tuo AWS account, in modo che tu possa vedere come si comporta un cluster Express della dimensione desiderata sotto carico prima della migrazione. Questa fase è facoltativa e viene eseguita solo dopo la conferma dell'account di destinazione e il consenso esplicito alla distribuzione. Può esistere una sola simulazione per account alla volta.

Importante

La fase di simulazione implementa risorse reali nel tuo AWS account, un cluster MSK Express e una flotta EC2, che continuano a incorrere in addebiti finché non le elimini. Al termine, chiedi all'abilità di eliminare la simulazione o di eliminarne CloudFormation tu stesso la pila, per evitare di incorrere in costi.

Puoi scegliere il dimensionamento del cluster (tipo di istanza Express, numero di broker e versione Kafka) in base ai risultati della valutazione o direttamente. La skill implementa il cluster e la flotta e tu installi un client Kafka fornito da te. Quindi esegui uno dei due test:

• End-to-End Latenza: i produttori garantiscono un throughput target costante, mentre i campioni di abilità producono una latenza di andata e ritorno da consumare.

• Riavvio del broker in condizioni di carico: il cluster mantiene il throughput previsto durante il riavvio di un broker, in modo da poter osservare il comportamento e il ripristino del failover.

La skill crea una CloudWatch dashboard Amazon in cui vengono visualizzate le metriche di test (throughput del cluster, integrità del broker, latenza lato client e ritardo del consumatore). Interpreti i risultati rispetto ai tuoi obiettivi prestazionali.

Risultati delle abilità

L'abilità salva i seguenti artefatti migrate-to-msk-skill-artifacts/<cluster_name>/ nella directory di lavoro:

• Profilo del cluster (cluster-config.json): un inventario strutturato del cluster di origine. È possibile esaminare e rifinire questo file prima di eseguire la valutazione.

• Rapporto di compatibilità (compatibility.<cluster_name>.json): risultati dettagliati per ciascuno dei cinque pilastri della valutazione, tra cui chiavi di configurazione, valori correnti e requisiti MSK Express.

• Cartella di lavoro sul dimensionamento (MSK_Sizing_Pricing.<cluster_name>.xlsx): la cartella di lavoro MSK Sizing and Pricing con i dati relativi al carico di lavoro precompilati. Apri la cartella di lavoro in un'applicazione per fogli di calcolo per visualizzare il tipo di broker Express consigliato, il numero di broker e il costo mensile stimato.

• Sizing inputs record (msk-sizing-inputs.<cluster_name>.json): un record JSON dei valori del carico di lavoro calcolati dal profilo del cluster e dalle celle della cartella di lavoro a cui sono mappati.

Utilizza questi elementi per pianificare la tempistica della migrazione, stimare i costi e identificare le modifiche alla configurazione da apportare prima di creare il cluster MSK Express e configurare Amazon MSK Replicator per la migrazione dei dati.

Se esegui la fase di simulazione opzionale, implementa invece uno AWS CloudFormation stack (il cluster Express, la flotta di generazione del carico e le risorse di supporto) e una CloudWatch dashboard Amazon nel tuo account, anziché scrivere file locali.