Creazione di un MSK cluster Amazon con storage su più livelli con AWS CLI

Per abilitare l'archiviazione a più livelli su un cluster, crea il cluster con la versione e l'attributo di Apache Kafka corretti per l'archiviazione a più livelli. Segui l'esempio di codice sottostante. Inoltre, completa la procedura descritta nella sezione successiva per Creazione di un argomento su Kafka con l'archiviazione a più livelli abilitata.

Per un elenco completo degli attributi supportati per la creazione di cluster, consulta la sezione create-cluster.

aws tiered-storage create-cluster \
 —cluster-name "MessagingCluster" \
 —broker-node-group-info file://brokernodegroupinfo.json \
 —number-of-broker-nodes 3 \
--kafka-version "3.6.0" \
--storage-mode "TIERED"

Creazione di un argomento su Kafka con l'archiviazione a più livelli abilitata

Per completare il processo avviato quando hai creato un cluster con l'archiviazione a più livelli abilitata, crea anche un argomento con l'archiviazione a più livelli abilitata con gli attributi dell'esempio di codice successivo. Gli attributi specifici per l'archiviazione a più livelli sono i seguenti:

• local.retention.ms (ad esempio, 10 minuti) per le impostazioni di conservazione basate sul tempo o local.retention.bytes per i limiti delle dimensioni dei segmenti di log.

• remote.storage.enable impostato su true per abilitare l'archiviazione a più livelli.

La configurazione seguente utilizza local.retention.ms, ma è possibile sostituire questo attributo con local.retention.bytes. Questo attributo controlla la quantità di tempo che può trascorrere o il numero di byte che Apache Kafka può copiare prima che il servizio copi i dati dall'archiviazione primaria a quella a più livelli. Per maggiori dettagli sugli attributi di configurazione supportati, consulta la sezione Configurazione a livello di argomento.

Nota

È necessario utilizzare la versione 3.0.0 o successiva del client Apache Kafka. Queste versioni supportano un'impostazione chiamata remote.storage.enable solo in tali versioni client di kafka-topics.sh. Per abilitare l'archiviazione a più livelli su un argomento esistente che utilizza una versione precedente di Apache Kafka, consulta la sezione Abilitazione dell'archiviazione a più livelli su un argomento esistente.

bin/kafka-topics.sh --create --bootstrap-server $bs --replication-factor 2 --partitions 6 --topic MSKTutorialTopic --config remote.storage.enable=true --config local.retention.ms=100000 --config retention.ms=604800000 --config segment.bytes=134217728