Creazione di un cluster Amazon MSK con storage su più livelli con AWS CLI

Per abilitare lo storage su più livelli su un cluster, crea il cluster con la versione e l'attributo di Apache Kafka corretti per lo storage su più livelli. Seguire l'esempio di codice sottostante. Completare inoltre la procedura descritta nella sezione successiva perCreazione di un argomento su Kafka con lo storage su più livelli abilitato.

Vedi create-cluster per un elenco completo degli attributi supportati per la creazione di cluster.

aws tiered-storage create-cluster \
 —cluster-name "MessagingCluster" \
 —broker-node-group-info file://brokernodegroupinfo.json \
 —number-of-broker-nodes 3 \
--kafka-version "2.8.2.tiered" \
--storage-mode "TIERED"

Creazione di un argomento su Kafka con lo storage su più livelli abilitato

Per completare il processo avviato quando hai creato un cluster con lo storage su più livelli abilitato, crea anche un argomento con lo storage su più livelli abilitato con gli attributi nell'esempio di codice successivo. Gli attributi specifici per lo storage su più livelli sono i seguenti:

• local.retention.ms(ad esempio, 10 minuti) per le impostazioni di conservazione basate sul tempo o local.retention.bytes per i limiti di dimensione dei segmenti di registro.

• remote.storage.enableimpostato per true abilitare lo storage su più livelli.

La configurazione seguente utilizza local.retention.ms, ma puoi sostituire questo attributo con local.retention.bytes. Questo attributo controlla la quantità di tempo che può trascorrere o il numero di byte che Apache Kafka può copiare prima che Apache Kafka copi i dati dallo storage principale a quello su più livelli. Vedi Configurazione a livello di argomento per maggiori dettagli sugli attributi di configurazione supportati.

Nota

È necessario utilizzare la versione del client Apache Kafka 3.0.0 e successive. Queste versioni supportano un'impostazione chiamata remote.storage.enable solo nelle versioni client dikafka-topics.sh. Per abilitare lo storage su più livelli su un argomento esistente che utilizza una versione precedente di Apache Kafka, consulta la sezione. Abilitazione dello storage su più livelli su un argomento esistente

bin/kafka-topics.sh --create --bootstrap-server $bs --replication-factor 2 --partitions 6 --topic MSKTutorialTopic --config remote.storage.enable=true --config local.retention.ms=100000 --config retention.ms=604800000 --config segment.bytes=134217728