Mappatura dei tipi di schema

Quando si registra uno schema nel AWS Glue Schema Registry, il canale associa i tipi di schema JSON ai tipi di colonna Iceberg come segue.

Tipo di schema JSON	Condizione	Tipo di colonna Iceberg
string	(semplice)	string
string	format: "date-time"	timestamptz
string	format: "date"	date
string	format: "time"	time
string	format: "uuid"	uuid
string	format: "byte" o contentEncoding: "base64"	binary
integer	rientra nell'intervallo a 32 bit	int
integer	supera l'intervallo di 32 bit	long
number	con multipleOf (ad esempio,) 0.001	decimal(38, scale)
number	virgola mobile semplice	double
boolean	—	boolean
object	con proprietà denominate	struct
object	con additionalProperties	map<string, value_type>
array	—	list<element_type>
enum	—	string

Colonne obbligatorie: una colonna è contrassegnata come obbligatoria (non annullabile) quando appare nell'"required"array dell'oggetto padre nello schema JSON.

Colonna chiave di partizione: la tabella deve includere una timestamptz colonna che può essere utilizzata per il partizionamento basato sul tempo (ore). La colonna sorgente a cui fa riferimento la partizione viene automaticamente considerata obbligatoria, anche se lo schema non la elenca nell'array. "required" È possibile abilitare un processo di scadenza dei record di S3 Tables in base alla colonna della partizione della tabella. Vedi Gestione della scadenza dei record di S3 Tables.

Il canale gestisce i campi sorgente come segue:

• Campi aggiuntivi nei dati di origine: i campi presenti nei record di origine ma non definiti nello schema della tabella vengono eliminati automaticamente; non vengono scritti nella tabella Iceberg.

• Campi opzionali mancanti: se un record di origine omette un campo definito come opzionale nello schema della tabella, la colonna viene scritta come. null

• Campi obbligatori mancanti: se un record di origine omette un campo definito come obbligatorio, il record non viene convalidato e viene inviato alla coda delle lettere morte (DLQ) con un errore che indica il campo obbligatorio mancante.

• Limite di nidificazione: gli schemi con più di 16 livelli di nidificazione non sono supportati.