Migrazione da un registro di schemi di terze parti a AWS Glue Registro degli schemi

La migrazione da un registro degli schemi di terze parti al AWS Glue Il registro degli schemi dipende dal registro degli schemi di terze parti esistente e corrente. Se in un argomento Apache Kafka sono presenti record che sono stati inviati utilizzando un registro degli schemi di terze parti, i consumer hanno bisogno di questo registro per deserializzare tali record. AWSKafkaAvroDeserializer offre la possibilità di specificare una classe di deserializzatore secondario che punta al deserializzatore di terze parti e viene utilizzato per deserializzare questi record.

Esistono due criteri per il ritiro di uno schema di terze parti. Innanzitutto, il ritiro può avvenire solo dopo che i record negli argomenti Apache Kafka che utilizzano il registro degli schemi di terze parti non sono più richiesti da e per tutti i consumer. In secondo luogo, il ritiro può avvenire quando gli argomenti di Apache Kafka diventano datati, a seconda del periodo di conservazione specificato per tali argomenti. Tieni presente che se hai argomenti che hanno una conservazione infinita, puoi comunque migrare a AWS Glue Schema Registry ma non sarà possibile ritirare il registro degli schemi di terze parti. Come soluzione alternativa, è possibile utilizzare un'applicazione o Mirror Maker 2 per leggere dall'argomento corrente e passare a un nuovo argomento con il AWS Glue Registro degli schemi.

Per migrare da un registro degli schemi di terze parti a AWS Glue Registro degli schemi:

1. Creare un registro nel AWS Glue Schema Registry o usa il registro predefinito.

2. Arresta il consumer. Modificalo per includere AWS Glue Schema Registry come deserializzatore primario e registro degli schemi di terze parti come secondario.

   • Imposta le proprietà del consumer. In questo esempio, il secondary_deserializer è impostato su un deserializzatore diverso. Il comportamento è il seguente: il consumer recupera i record da Amazon MSK e tenta di utilizzare prima AWSKafkaAvroDeserializer. Se non è in grado di leggere il magic byte che contiene l'ID dello schema Avro per il AWS Glue Schema Registry, AWSKafkaAvroDeserializer quindi tenta di utilizzare la classe deserializer fornita in secondary_deserializer. Le proprietà specifiche del deserializzatore secondario devono anche essere fornite nelle proprietà del consumer, come schema_registry_url_config e specific_avro_reader_config, come illustrato di seguito.

     consumerProps.setProperty(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
     consumerProps.setProperty(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, AWSKafkaAvroDeserializer.class.getName());
     consumerProps.setProperty(AWSSchemaRegistryConstants.AWS_REGION, KafkaClickstreamConsumer.gsrRegion);
     consumerProps.setProperty(AWSSchemaRegistryConstants.SECONDARY_DESERIALIZER, KafkaAvroDeserializer.class.getName());
     consumerProps.setProperty(KafkaAvroDeserializerConfig.SCHEMA_REGISTRY_URL_CONFIG, "URL for third-party schema registry");
     consumerProps.setProperty(KafkaAvroDeserializerConfig.SPECIFIC_AVRO_READER_CONFIG, "true");
     			

3. Riavvia il consumer.

4. Fermate il produttore e indirizzatelo verso il AWS Glue Registro degli schemi.

   1. Imposta le proprietà del produttore. In questo esempio, il produttore utilizzerà il registro di default ed eseguirà la registrazione automatica delle versioni degli schemi.

      producerProps.setProperty(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
      producerProps.setProperty(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, AWSKafkaAvroSerializer.class.getName());
      producerProps.setProperty(AWSSchemaRegistryConstants.AWS_REGION, "us-east-2");
      producerProps.setProperty(AWSSchemaRegistryConstants.AVRO_RECORD_TYPE, AvroRecordType.SPECIFIC_RECORD.getName());
      producerProps.setProperty(AWSSchemaRegistryConstants.SCHEMA_AUTO_REGISTRATION_SETTING, "true");

5. (Facoltativo) Spostare manualmente gli schemi e le versioni dello schema esistenti dal registro degli schemi di terze parti corrente al AWS Glue Registro degli schemi, nel registro predefinito in AWS Glue Schema Registry o verso un registro specifico non predefinito in AWS Glue Registro degli schemi. Ciò può essere fatto esportando schemi dai registri di schemi di terze parti in formato JSON e creando nuovi schemi in AWS Glue Registro degli schemi utilizzando o. AWS Management Console AWS CLI

   Questo passaggio può essere importante se è necessario abilitare i controlli di compatibilità con le versioni precedenti dello schema per le versioni dello schema appena create utilizzando AWS CLI and the AWS Management Console, o quando i produttori inviano messaggi con un nuovo schema con la registrazione automatica delle versioni dello schema attivata.

6. Avvia il produttore.