Creazione di configurazioni delle tabelle di metadati Abilitazione delle tabelle di inventario sulle configurazioni di metadati create prima del 15 luglio 2025

Creazione di configurazioni delle tabelle di metadati

Per generare e archiviare i metadati di Amazon S3 in tabelle di metadati completamente gestite, Apache Iceberg crei una configurazione di tabella di metadati per il tuo bucket generico. Amazon S3 è progettato per aggiornare continuamente le tabelle dei metadati in modo da riflettere le ultime modifiche ai dati, purché la configurazione sia attiva nel bucket. Inoltre, Amazon S3 ottimizza continuamente le tabelle di metadati per ridurre i costi di archiviazione e migliorare le prestazioni delle query di analisi.

Per ogni bucket generico, puoi creare una configurazione di tabella di metadati che contenga due tabelle di metadati complementari:

Tabella del diario: per impostazione predefinita, la configurazione della tabella dei metadati contiene una tabella journal, che acquisisce gli eventi che si verificano per gli oggetti nel bucket. La tabella del diario registra le modifiche apportate ai dati quasi in tempo reale, aiutandoti a identificare i nuovi dati caricati nel bucket, tenere traccia degli oggetti eliminati di recente, monitorare le transizioni del ciclo di vita e altro ancora. La tabella journal registra nuovi oggetti e aggiornamenti ai tuoi oggetti e ai relativi metadati (quegli aggiornamenti che richiedono un'operazione o un'PUToperazione). DELETE

La tabella journal acquisisce i metadati solo per gli eventi di modifica (come caricamenti, aggiornamenti ed eliminazioni) che si verificano dopo la creazione della configurazione della tabella dei metadati. Poiché questa tabella è interrogabile, puoi controllare le modifiche al tuo bucket tramite semplici query SQL.

La tabella journal è necessaria per ogni configurazione della tabella di metadati. (Nella versione iniziale di S3 Metadata, la tabella journal veniva chiamata «la tabella dei metadati».)

Per ulteriori informazioni sui dati archiviati nelle tabelle del journal, consulta. Schema delle tabelle del journal S3 Metadata

Per ridurre al minimo i costi di archiviazione, puoi scegliere di abilitare la scadenza dei record della tabella del diario. Per ulteriori informazioni, consulta Record delle tabelle del diario in scadenza.
Tabella dell'inventario in tempo reale: facoltativamente, puoi aggiungere una tabella di inventario in tempo reale alla configurazione della tabella dei metadati. La tabella dell'inventario live fornisce un inventario semplice e consultabile di tutti gli oggetti e delle relative versioni presenti nel bucket, in modo da poter determinare lo stato più recente dei dati.

È possibile utilizzare la tabella di inventario in tempo reale per semplificare e velocizzare i flussi di lavoro aziendali e i job basati sui Big Data identificando gli oggetti che si desidera elaborare per vari carichi di lavoro. Ad esempio, è possibile interrogare la tabella dell'inventario live per trovare tutti gli oggetti archiviati in una particolare classe di archiviazione, tutti gli oggetti con determinati tag, tutti gli oggetti che non sono crittografati con la crittografia lato server utilizzando le chiavi AWS Key Management Service (AWS KMS) (SSE-KMS) e altro ancora.

Quando abiliti la tabella di inventario in tempo reale per la configurazione della tabella di metadati, la tabella viene sottoposta a un processo noto come backfilling, durante il quale Amazon S3 esegue la scansione del bucket generico per recuperare i metadati iniziali per tutti gli oggetti presenti nel bucket. A seconda del numero di oggetti nel bucket, questo processo può richiedere da minuti (minimo 15 minuti) a ore. Al termine del processo di riempimento, lo stato della tabella dell'inventario in tempo reale passa da Backfilling a Active. Una volta completato il riempimento, gli aggiornamenti agli oggetti si riflettono in genere nella tabella dell'inventario in tempo reale entro un'ora.

Ti viene addebitato un costo per il riempimento della tabella dell'inventario in tempo reale. Se il tuo bucket per uso generico contiene più di un miliardo di oggetti, ti viene inoltre addebitata una tariffa mensile per la tabella dell'inventario in tempo reale. Per ulteriori informazioni, consulta Prezzi di Amazon S3.

Per ulteriori informazioni sui dati archiviati nelle tabelle di inventario in tempo reale, consultaSchema delle tabelle di inventario in tempo reale di S3 Metadata.

Le tabelle di metadati hanno il seguente formato di nome della risorsa Amazon (ARN):

arn:aws:s3tables:region-code:account-id:bucket/aws-s3/table/metadata_table_name

Le tabelle del diario hanno journal il nome e le tabelle di inventario attivo hanno il nomeinventory.

Quando crei la configurazione della tabella di metadati, le tabelle di metadati vengono archiviate in un bucket di tabelle AWS gestito. Tutte le configurazioni della tabella di metadati nel tuo account e nella stessa regione sono archiviate in un unico bucket di tabelle gestito. AWS Questi bucket di tabelle AWS gestiti sono denominati aws-s3 e hanno il seguente formato Amazon Resource Name (ARN):

arn:aws:s3tables:region:account_id:bucket/aws-s3

Ad esempio, se l'ID dell'account è 123456789012 e il bucket generico si trova negli Stati Uniti orientali (Virginia settentrionale) (us-east-1), il bucket da tavolo AWS gestito viene creato anche negli Stati Uniti orientali (Virginia settentrionale) () e ha il seguente ARN: us-east-1

arn:aws:s3tables:us-east-1:123456789012:bucket/aws-s3

Per impostazione predefinita, i bucket di tabella AWS gestiti sono crittografati con crittografia lato server utilizzando chiavi gestite di Amazon S3 (SSE-S3). Dopo aver creato la prima configurazione di metadati, puoi impostare l'impostazione di crittografia predefinita per il bucket table AWS gestito in modo che utilizzi la crittografia lato server con chiavi () (SSE-KMS). AWS Key Management Service AWS KMSPer ulteriori informazioni, consulta Encryption for managed table bucket e. AWS Specificazione della crittografia lato server con AWS KMS chiavi (SSE-KMS) nei bucket da tabella

All'interno del bucket di tabelle AWS gestite, le tabelle di metadati per la configurazione sono in genere archiviate in uno spazio dei nomi con il seguente formato di denominazione:

b_general-purpose-bucket-name

Per ulteriori informazioni sugli spazi dei nomi delle tabelle di metadati, consulta. Come funzionano le tabelle di metadati

Quando crei la configurazione della tabella di metadati, puoi scegliere di crittografare le tabelle di metadati AWS gestite con la crittografia lato server utilizzando le chiavi () (SSE-KMS). AWS Key Management Service AWS KMS Se scegli di utilizzare SSE-KMS, devi fornire una chiave KMS gestita dal cliente nella stessa regione del bucket generico. È possibile impostare il tipo di crittografia per le tabelle solo durante la creazione della tabella. Dopo aver creato una tabella AWS gestita, non è possibile modificarne l'impostazione di crittografia. Per specificare SSE-KMS per le tabelle di metadati, devi disporre di determinate autorizzazioni. Per ulteriori informazioni, consulta Autorizzazioni per SSE-KMS.

L'impostazione di crittografia per una tabella di metadati ha la precedenza sull'impostazione di crittografia predefinita a livello di bucket. Se non specifichi la crittografia per una tabella, questa erediterà l'impostazione di crittografia predefinita dal bucket.

AWS i bucket di tabella gestiti non vengono conteggiati ai fini delle quote di S3 Tables. Per ulteriori informazioni sull'utilizzo dei bucket di tabella AWS gestiti e delle tabelle gestite, consulta Lavorare con AWS i bucket di tabella AWS gestiti.

Puoi creare una configurazione della tabella di metadati utilizzando la console Amazon S3,AWS CLI(), AWS Command Line Interface la o l'API AWS SDKs REST di Amazon S3.

Nota

Se hai creato la configurazione dei metadati S3 prima del 15 luglio 2025, ti consigliamo di eliminare e ricreare la configurazione in modo da poter far scadere i record della tabella di registro e creare una tabella di inventario. Per ulteriori informazioni, consulta Abilitazione delle tabelle di inventario sulle configurazioni di metadati create prima del 15 luglio 2025.
Se hai eliminato la configurazione della tabella di metadati e desideri ricreare una configurazione per lo stesso bucket generico, devi prima eliminare manualmente le vecchie tabelle di registrazione e di inventario dal tuo bucket di tabelle gestito. AWS In caso contrario, la creazione della nuova configurazione della tabella di metadati non riesce perché tali tabelle esistono già. Per eliminare le tabelle di metadati, consulta. Cancellazione di tabelle di metadati

L'eliminazione di una configurazione di tabella di metadati elimina solo la configurazione. Il bucket di tabelle AWS gestito e le tabelle di metadati esistono ancora, anche se elimini la configurazione della tabella di metadati.

Prerequisiti

Prima di creare una configurazione della tabella di metadati, assicurati di aver soddisfatto i seguenti prerequisiti:

Prima di creare una configurazione di tabella di metadati, assicurati di disporre delle autorizzazioni AWS Identity and Access Management (IAM) necessarie per creare e gestire le tabelle di metadati. Per ulteriori informazioni, consulta Impostazione delle autorizzazioni per la configurazione delle tabelle di metadati.
Se prevedi di interrogare le tue tabelle di metadati con Amazon Athena o AWS un altro motore di query, assicurati di integrare AWS il tuo bucket AWS di tabelle gestite con i servizi di analisi. Per ulteriori informazioni, consulta Integrazione delle tabelle AWS Amazon S3 con i servizi di analisi.

Se hai già integrato un table bucket esistente in questa regione, anche il tuo table bucket AWS gestito viene integrato automaticamente. Per determinare lo stato di integrazione dei tuoi table bucket in questa regione, apri la console Amazon S3 e scegli Table buckets nel riquadro di navigazione a sinistra. In Integrazione con i servizi di AWS analisi, controlla la regione e se lo stato dell'integrazione è abilitato.

Creazione di configurazioni delle tabelle di metadati

Per creare configurazioni delle tabelle di metadati

Prima di creare la configurazione di una tabella di metadati, assicurati di aver esaminato e soddisfatto i prerequisiti e di aver rivisto Limitazioni e restrizioni delle tabelle di metadati.

Accedi a AWS Management Console e apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/
Nel riquadro di navigazione sinistro, scegli Bucket per uso generico.
Scegli il bucket per uso generico per il quale si desidera creare una configurazione di tabella di metadati.

Nota
Assicurati che questo secchio per uso generico sia un Regione AWS luogo in cui sono disponibili secchi da tavolo. I bucket di tabelle sono disponibili solo nelle Regioni Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio) e Stati Uniti occidentali (Oregon).
Nella pagina dei dettagli del bucket, scegli la scheda Metadati.
Nella scheda Metadati, scegli Crea configurazione dei metadati.
Nella pagina Crea configurazione dei metadati, nella tabella Journal, puoi scegliere se crittografare la tabella con la crittografia lato server utilizzando le chiavi AWS Key Management Service () (AWS KMS SSE-KMS). Per impostazione predefinita, le tabelle del journal sono crittografate con crittografia lato server utilizzando chiavi gestite di Amazon S3 (SSE-S3).

Se scegli di utilizzare SSE-KMS, devi fornire una chiave KMS gestita dal cliente nella stessa regione del bucket generico.

Importante
È possibile impostare il tipo di crittografia per le tabelle di metadati solo durante la creazione della tabella. Dopo aver creato una tabella AWS gestita, non è possibile modificarne l'impostazione di crittografia.
- Per crittografare la tabella del diario con SSE-S3 (impostazione predefinita), scegli Non specificare il tipo di crittografia.
- Per crittografare la tabella del diario con SSE-KMS, scegli Specificare il tipo di crittografia. In Tipo di crittografia, scegli Crittografia lato server utilizzando chiavi AWS Key Management Service () (AWS KMS SSE-KMS). In AWS KMS chiave, scegli tra le tue chiavi KMS esistenti o inserisci l'ARN della tua chiave KMS. Se non disponi già di una chiave KMS, scegli Inserisci chiave KMS ARN, quindi scegli Crea una chiave KMS.
  
  Assicurati di aver impostato le autorizzazioni necessarie per SSE-KMS. Per ulteriori informazioni, consulta Autorizzazioni per SSE-KMS.
(Facoltativo) Per impostazione predefinita, i record nella tabella del diario non scadono. Per ridurre al minimo i costi di archiviazione per la tabella del diario, scegli Abilitato per la scadenza dei record.

Se abiliti la scadenza dei record della tabella del diario, puoi impostare il numero di giorni in cui conservare i record della tabella del diario. Per impostare il valore dei giorni dopo i quali i record scadono, è possibile specificare qualsiasi numero intero compreso tra 7 e2147483647. Ad esempio, per conservare i record della tabella del diario per un anno, imposta questo valore su. 365

I record scadranno entro 24-48 ore dalla data di scadenza.

Importante
Una volta scaduti, i record della tabella del diario non possono essere recuperati.

Nella sezione I record della tabella Journal scadranno dopo il numero di giorni specificato, seleziona la casella di controllo.
(Facoltativo) Se desideri aggiungere una tabella di inventario alla configurazione della tabella dei metadati, nella tabella Live Inventory, scegli Abilitato per lo stato di configurazione.

Puoi scegliere se crittografare la tabella con la crittografia lato server utilizzando le chiavi AWS Key Management Service (AWS KMS) (SSE-KMS). Per impostazione predefinita, le tabelle di inventario sono crittografate con crittografia lato server utilizzando chiavi gestite di Amazon S3 (SSE-S3).

Se scegli di utilizzare SSE-KMS, devi fornire una chiave KMS gestita dal cliente nella stessa regione del bucket generico.

Importante
È possibile impostare il tipo di crittografia per le tabelle di metadati solo durante la creazione della tabella. Dopo aver creato una tabella AWS gestita, non è possibile modificarne l'impostazione di crittografia.
- Per crittografare la tabella di inventario con SSE-S3 (impostazione predefinita), scegli Non specificare il tipo di crittografia.
- Per crittografare la tabella di inventario con SSE-KMS, scegli Specificare il tipo di crittografia. In Tipo di crittografia, scegli Crittografia lato server utilizzando chiavi AWS Key Management Service () (AWS KMS SSE-KMS). In AWS KMS chiave, scegli tra le tue chiavi KMS esistenti o inserisci l'ARN della tua chiave KMS. Se non disponi già di una chiave KMS, scegli Inserisci chiave KMS ARN, quindi scegli Crea una chiave KMS.
  
  Assicurati di aver impostato le autorizzazioni necessarie per SSE-KMS. Per ulteriori informazioni, consulta Autorizzazioni per SSE-KMS.
Scegli Creazione di configurazioni delle tabelle di metadati.

Se la configurazione della tabella di metadati ha avuto esito positivo, i nomi e ARNs le tabelle dei metadati vengono visualizzati nella scheda Metadati, insieme al nome del bucket e dello spazio dei nomi della tabella gestiti. AWS

Se scegli di abilitare una tabella di inventario per la configurazione della tabella di metadati, la tabella viene sottoposta a un processo noto come backfilling, durante il quale Amazon S3 esegue la scansione del bucket generico per recuperare i metadati iniziali per tutti gli oggetti presenti nel bucket. A seconda del numero di oggetti nel bucket, questo processo può richiedere da minuti (minimo 15 minuti) a ore. Al termine del processo di riempimento, lo stato della tabella dell'inventario passa da Backfilling a Active. Una volta completato il riempimento, gli aggiornamenti degli oggetti si riflettono in genere nella tabella dell'inventario entro un'ora.

Per monitorare gli aggiornamenti della configurazione della tabella dei metadati, si può usare AWS CloudTrail. Per ulteriori informazioni, consulta Azioni a livello di bucket di Amazon S3 tracciate mediante registrazione CloudTrail .

Per eseguire i seguenti comandi, è necessario averli AWS CLI installati e configurati. Se non lo hai AWS CLI installato, consulta Installare o aggiornare alla versione più recente di AWS CLI nella Guida per l'AWS Command Line Interface utente.

In alternativa, puoi eseguire AWS CLI comandi dalla console utilizzando AWS CloudShell. AWS CloudShell è una shell preautenticata basata su browser che è possibile avviare direttamente da. AWS Management ConsolePer ulteriori informazioni, consulta Cos'è? CloudShell e Guida introduttiva AWS CloudShell nella Guida AWS CloudShell per l'utente.

Per creare una configurazione della tabella di metadati utilizzando il AWS CLI

Prima di creare la configurazione di una tabella di metadati, assicurati di aver esaminato e soddisfatto i prerequisiti e di aver rivisto Limitazioni e restrizioni delle tabelle di metadati.

Per utilizzare i seguenti comandi di esempio, sostituisci user input placeholders con le tue informazioni.

Crea un file JSON contenente la configurazione della tabella dei metadati e salvalo (ad esempio, metadata-config.json). Di seguito è riportato un esempio di configurazione.

È necessario specificare se abilitare o disabilitare la scadenza dei record della tabella del diario. Se si sceglie di abilitare la scadenza dei record, è necessario specificare anche il numero di giorni dopo i quali scadranno i record della tabella del diario. Per impostare il Days valore, è possibile specificare qualsiasi numero intero compreso tra 7 e2147483647. Ad esempio, per conservare i record della tabella del diario per un anno, imposta questo valore su365.

Facoltativamente, puoi scegliere di configurare una tabella di inventario.

Sia per le tabelle del diario che per le tabelle di inventario, è possibile specificare facoltativamente una configurazione di crittografia. Per impostazione predefinita, le tabelle di metadati sono crittografate con crittografia lato server utilizzando chiavi gestite di Amazon S3 (SSE-S3), che puoi specificare impostando su. SseAlgorithm AES256

Per crittografare le tabelle di metadati con la crittografia lato server utilizzando le chiavi () (SSE-KMS), imposta su. AWS Key Management Service AWS KMSSseAlgorithm aws:kms È inoltre necessario KmsKeyArn impostare l'ARN di una chiave KMS gestita dal cliente nella stessa regione in cui si trova il bucket generico.
```
{
  "JournalTableConfiguration": {
     "RecordExpiration": {          
       "Expiration": "ENABLED",
      "Days": 10
    },
    "EncryptionConfiguration": {  
      "SseAlgorithm": "AES256"
    }
  },
  "InventoryTableConfiguration": { 
    "ConfigurationState": "ENABLED",
    "EncryptionConfiguration": {   
      "SseAlgorithm": "aws:kms",
      "KmsKeyArn": "arn:aws:kms:us-east-2:account-id:key/key-id"
    }
  }
}
```

Utilizza il seguente comando per applicare la configurazione della tabella dei metadati al bucket per uso generico (ad esempio, amzn-s3-demo-bucket):


aws s3api create-bucket-metadata-configuration \
--bucket amzn-s3-demo-bucket \
--metadata-configuration file://./metadata-config.json \
--region us-east-2

Per verificare che la configurazione sia stata creata, usa il seguente comando:


aws s3api get-bucket-metadata-configuration \
--bucket amzn-s3-demo-bucket \
--region us-east-2

È possibile inviare richieste REST per creare la configurazione di una tabella di metadati. Per ulteriori informazioni, consulta CreateBucketMetadataConfiguration nella documentazione di riferimento delle API di Amazon S3.

Puoi utilizzare il AWS SDKs per creare una configurazione della tabella di metadati in Amazon S3. Per informazioni, consulta l'elenco di quelli supportati SDKs nell'Amazon S3 API Reference.

Abilitazione delle tabelle di inventario sulle configurazioni di metadati create prima del 15 luglio 2025

Se hai creato la configurazione dei metadati S3 prima del 15 luglio 2025, ti consigliamo di eliminare e ricreare la configurazione in modo da poter far scadere i record della tabella di registrazione e creare una tabella di inventario. Eventuali modifiche al bucket generico che si verificano tra l'eliminazione della vecchia configurazione e la creazione di quella nuova non vengono registrate in nessuna delle tabelle del diario.

Per migrare da una vecchia configurazione di metadati a una nuova configurazione, procedi come segue:

Eliminate la configurazione esistente della tabella di metadati. Per step-by-step istruzioni, consultaCancellazione di configurazioni delle tabelle di metadati.
Crea una nuova configurazione della tabella di metadati. Per step-by-step istruzioni, consultaCreazione di configurazioni delle tabelle di metadati.

Se hai bisogno di assistenza per la migrazione della configurazione, contatta Supporto AWS.

Dopo aver creato la nuova configurazione dei metadati, avrai due tabelle del diario. Se non è più necessaria la vecchia tabella del journal, è possibile eliminarla. Per step-by-step istruzioni, vedereCancellazione di tabelle di metadati. Se hai mantenuto la vecchia tabella del diario e desideri unirla a quella nuova, vedi Unione di metadati personalizzati con le tabelle di metadati S3 alcuni esempi su come unire due tabelle.

Dopo la migrazione, puoi fare quanto segue:

Per visualizzare la configurazione, ora puoi utilizzare l'operazione GetBucketMetadataConfiguration API. Per determinare se la tua configurazione è vecchia o nuova, puoi esaminare il seguente attributo della tua risposta GetBucketMetadataConfiguration API. Un tipo di bucket AWS gestito ("aws") indica una nuova configurazione e un tipo di bucket gestito dal cliente ("customer") indica una vecchia configurazione.
```
"MetadataTableConfigurationResult": {
            "TableBucketType": ["aws" | "customer"]
```
Per ulteriori informazioni, consulta Visualizzazione delle configurazioni della tabella dei metadati.

Nota
È possibile utilizzare le operazioni GetBucketMetadataConfiguration e DeleteBucketMetadataConfiguration API con configurazioni di tabelle di metadati vecchie o nuove. Tuttavia, se provi a utilizzare le operazioni GetBucketMetadataTableConfiguration e DeleteBucketMetadataTableConfiguration API con nuove configurazioni, riceverai errori HTTP. 405 Method Not Allowed
Assicurati di aggiornare i processi per utilizzare le nuove operazioni API (CreateBucketMetadataConfigurationGetBucketMetadataConfiguration, eDeleteBucketMetadataConfiguration) anziché le vecchie operazioni API.
Se prevedi di interrogare le tue tabelle di metadati con Amazon Athena o AWS un altro motore di query, assicurati di integrare AWS il tuo bucket AWS di tabelle gestite con i servizi di analisi. Se hai già integrato un table bucket esistente in questa regione, anche il tuo table bucket AWS gestito viene integrato automaticamente. Per ulteriori informazioni, consulta Integrazione delle tabelle AWS Amazon S3 con i servizi di analisi.

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Autorizzazioni per le tabelle di metadati

Controllo dell'accesso

Creazione di configurazioni delle tabelle di metadati

Nota

Prerequisiti

Creazione di configurazioni delle tabelle di metadati

Per creare configurazioni delle tabelle di metadati

Nota

Importante

Importante

Importante

Per creare una configurazione della tabella di metadati utilizzando il AWS CLI

Abilitazione delle tabelle di inventario sulle configurazioni di metadati create prima del 15 luglio 2025

Nota