Creazione di configurazioni delle tabelle di metadati

Per generare e archiviare i metadati di Amazon S3 in un ambiente completamente gestito Apache Iceberg tabella di metadati, crei una configurazione della tabella di metadati per il tuo bucket generico. Amazon S3 è progettato per aggiornare continuamente la tabella dei metadati in modo da riflettere le ultime modifiche ai dati finché la configurazione è attiva sul bucket. Inoltre, Amazon S3 ottimizza continuamente la tabella di metadati per ridurre i costi di archiviazione e migliorare le prestazioni delle query di analisi.

Le tabelle di metadati hanno il seguente formato di nome della risorsa Amazon (ARN):

arn:aws:s3tables:region-code:account-id:bucket/table-bucket-name/table/metadata_table_name

Le tabelle di metadati completamente gestite di Amazon S3 sono memorizzate nello spazio dei nomi aws_s3_metadata nel bucket delle tabelle. Per ulteriori informazioni sugli spazi dei nomi nei bucket di tabelle, consulta Spazi dei nomi di tabelle.

Puoi creare una configurazione della tabella di metadati utilizzando la console Amazon S3,AWS CLI(), AWS Command Line Interface la o l'API AWS SDKs REST di Amazon S3.

Prerequisiti

Per creare la configurazione di una tabella di metadati, è necessario procedere come segue:

• Assicurati di disporre delle autorizzazioni AWS Identity and Access Management (IAM) necessarie per creare e gestire tabelle di metadati. Per ulteriori informazioni, consulta Impostazione delle autorizzazioni per la configurazione delle tabelle di metadati.

• È necessario creare o specificare un bucket S3 per memorizzare la tabella dei metadati. Questo bucket da tabella deve trovarsi nello stesso Regione AWS bucket per Account AWS uso generico. Per ulteriori informazioni sulla creazione di bucket di tabelle, consulta Creazione di bucket di tabelle. Se si utilizza la console Amazon S3 per creare la configurazione, è possibile eseguire questo passaggio come parte del processo.

• Integra il tuo table bucket con AWS Glue Data Catalog in modo da poter interrogare direttamente le tabelle di metadati con motori di query come Amazon Athena, Amazon EMR, Amazon Redshift, Apache Spark, Apache Trinoe qualsiasi altra applicazione che supporti il Apache Iceberg . Per ulteriori informazioni, consulta Query di tabelle di metadati con i servizi di analisi di AWS.

Creazione di configurazioni delle tabelle di metadati

Utilizzo della console S3

Per creare configurazioni delle tabelle di metadati

Prima di creare la configurazione di una tabella di metadati, assicurati di aver esaminato e soddisfatto i prerequisiti e di aver rivisto Limitazioni e restrizioni delle tabelle di metadati.

1. Accedi a AWS Management Console e apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Nel riquadro di navigazione sinistro, scegli Bucket per uso generico.

3. Scegli il bucket per uso generico per il quale si desidera creare una configurazione di tabella di metadati.

   Nota

   Assicurati che questo secchio per uso generico sia un Regione AWS luogo in cui sono disponibili secchi da tavolo. I bucket di tabelle sono disponibili solo nelle Regioni Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio) e Stati Uniti occidentali (Oregon).

4. Nella pagina dei dettagli dei bucket, scegli la scheda Metadati.

5. Nella scheda Metadati, scegli Crea configurazione dei metadati.

6. Nella pagina Crea configurazione dei metadati, alla voce Bucket di tabelle di destinazione, specifica un bucket di tabelle in cui memorizzare la tabella dei metadati. Il secchio da tavolo deve trovarsi nello stesso contenitore per Account AWS uso Regione AWS generico.

   Se non disponi già di un bucket di tabelle, scegli Crea bucket di tabelle. I nomi dei bucket da tavolo devono contenere da 3 a 63 caratteri e devono essere univoci tra quelli Regione AWS scelti. Account AWS I caratteri validi sono a-z, 0-9 e trattini (-). Per ulteriori informazioni sulla creazione di bucket di tabelle, consulta Creazione di bucket di tabelle.

   Quando crei il bucket di tabelle, assicurati di integrarlo con AWS Glue Data Catalog. Per ulteriori informazioni, consulta Query di tabelle di metadati con i servizi di analisi di AWS.

7. Per il nome della tabella di metadati, specifica il nome da dare alla tabella. Il nome della tabella di metadati deve essere compreso tra 1 e 255 caratteri e deve essere univoco all'interno dello spazio dei nomi aws_s3_metadata nel bucket di tabelle. I caratteri validi sono lettere minuscole, numeri e trattini bassi (_).

8. Scegli Creazione di configurazioni delle tabelle di metadati.

Se la configurazione della tabella di metadati è riuscita, l'ARN della tabella di metadati viene visualizzato nella scheda Metadati, insieme al bucket della tabella e al nome della tabella di metadati specificati.

Per monitorare gli aggiornamenti della configurazione della tabella dei metadati, si può usare AWS CloudTrail. Per ulteriori informazioni, consulta Azioni a livello di bucket di Amazon S3 tracciate mediante registrazione CloudTrail .

Utilizzo della console S3

Per creare configurazioni delle tabelle di metadati

Prima di creare la configurazione di una tabella di metadati, assicurati di aver esaminato e soddisfatto i prerequisiti e di aver rivisto Limitazioni e restrizioni delle tabelle di metadati.

1. Accedi a AWS Management Console e apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Nel riquadro di navigazione sinistro, scegli Bucket per uso generico.

3. Scegli il bucket per uso generico per il quale si desidera creare una configurazione di tabella di metadati.

   Nota

   Assicurati che questo secchio per uso generico sia un Regione AWS luogo in cui sono disponibili secchi da tavolo. I bucket di tabelle sono disponibili solo nelle Regioni Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio) e Stati Uniti occidentali (Oregon).

4. Nella pagina dei dettagli dei bucket, scegli la scheda Metadati.

5. Nella scheda Metadati, scegli Crea configurazione dei metadati.

6. Nella pagina Crea configurazione dei metadati, alla voce Bucket di tabelle di destinazione, specifica un bucket di tabelle in cui memorizzare la tabella dei metadati. Il secchio da tavolo deve trovarsi nello stesso contenitore per Account AWS uso Regione AWS generico.

   Se non disponi già di un bucket di tabelle, scegli Crea bucket di tabelle. I nomi dei bucket da tavolo devono contenere da 3 a 63 caratteri e devono essere univoci tra quelli Regione AWS scelti. Account AWS I caratteri validi sono a-z, 0-9 e trattini (-). Per ulteriori informazioni sulla creazione di bucket di tabelle, consulta Creazione di bucket di tabelle.

   Quando crei il bucket di tabelle, assicurati di integrarlo con AWS Glue Data Catalog. Per ulteriori informazioni, consulta Query di tabelle di metadati con i servizi di analisi di AWS.

7. Per il nome della tabella di metadati, specifica il nome da dare alla tabella. Il nome della tabella di metadati deve essere compreso tra 1 e 255 caratteri e deve essere univoco all'interno dello spazio dei nomi aws_s3_metadata nel bucket di tabelle. I caratteri validi sono lettere minuscole, numeri e trattini bassi (_).

8. Scegli Creazione di configurazioni delle tabelle di metadati.

Se la configurazione della tabella di metadati è riuscita, l'ARN della tabella di metadati viene visualizzato nella scheda Metadati, insieme al bucket della tabella e al nome della tabella di metadati specificati.

Per monitorare gli aggiornamenti della configurazione della tabella dei metadati, si può usare AWS CloudTrail. Per ulteriori informazioni, consulta Azioni a livello di bucket di Amazon S3 tracciate mediante registrazione CloudTrail .

Usando il AWS CLI

Per eseguire i seguenti comandi, è necessario averli AWS CLI installati e configurati. Se non lo hai AWS CLI installato, consulta Installare o aggiornare alla versione più recente di AWS CLI nella Guida per l'AWS Command Line Interface utente.

In alternativa, puoi eseguire AWS CLI comandi dalla console utilizzando AWS CloudShell. AWS CloudShell è una shell preautenticata basata su browser che è possibile avviare direttamente da. AWS Management ConsolePer ulteriori informazioni, consulta Cos'è? CloudShell e Guida introduttiva AWS CloudShell nella Guida AWS CloudShell per l'utente.

Per creare una configurazione della tabella di metadati utilizzando AWS CLI

Prima di creare la configurazione di una tabella di metadati, assicurati di aver esaminato e soddisfatto i prerequisiti e di aver rivisto Limitazioni e restrizioni delle tabelle di metadati.

Per utilizzare i seguenti comandi di esempio, sostituisci user input placeholders con le tue informazioni.

1. Se non disponi già di un bucket di tabelle, usa il comando seguente per creare un bucket di tabelle in cui memorizzare la tabella dei metadati. Assicurati che il bucket della tabella sia Regione AWS uguale al bucket generico per il quale desideri creare una configurazione della tabella di metadati.

   aws s3tables create-table-bucket --name amzn-s3-demo-bucket --region us-east-2

2. Per verificare che il bucket di tabelle sia stato creato, usa il seguente comando:

   aws s3tables list-table-buckets --region us-east-2

3. Crea un file JSON contenente la configurazione della tabella dei metadati e salvalo (ad esempio, metadata-config.json). Di seguito è riportato un esempio di configurazione.

   I nomi dei bucket da tavolo devono contenere da 3 a 63 caratteri e devono essere univoci all'interno del file Account AWS Regione AWS che hai scelto. I caratteri validi sono a-z, 0-9 e trattini (-). Per ulteriori informazioni sulla creazione di bucket di tabelle, consulta Creazione di bucket di tabelle.

   Il nome della tabella di metadati deve essere compreso tra 1 e 255 caratteri e deve essere univoco all'interno dello spazio dei nomi aws_s3_metadata nel bucket di tabelle. I caratteri validi sono lettere minuscole, numeri e trattini bassi (_).

   {
     "S3TablesDestination": {
       "TableBucketArn": "arn:aws:s3tables:us-east-2:111122223333:bucket/amzn-s3-demo-bucket",
       "TableName": "test_metadata_table"
     }
   }

4. Utilizza il seguente comando per applicare la configurazione della tabella dei metadati al bucket per uso generico (ad esempio, amzn-s3-demo-source-bucket):

   aws s3api create-bucket-metadata-table-configuration \
   --bucket amzn-s3-demo-source-bucket \
   --metadata-table-configuration  file://./metadata-config.json \
   --region us-east-2

5. Per verificare che la configurazione sia stata creata, usa il seguente comando:

   aws s3api get-bucket-metadata-table-configuration \
   --bucket amzn-s3-demo-source-bucket \
   --region us-east-2

Per monitorare gli aggiornamenti della configurazione della tabella dei metadati, si può usare AWS CloudTrail. Per ulteriori informazioni, consulta Azioni a livello di bucket di Amazon S3 tracciate mediante registrazione CloudTrail .

Usando il AWS CLI

Per eseguire i seguenti comandi, è necessario averli AWS CLI installati e configurati. Se non lo hai AWS CLI installato, consulta Installare o aggiornare alla versione più recente di AWS CLI nella Guida per l'AWS Command Line Interface utente.

In alternativa, puoi eseguire AWS CLI comandi dalla console utilizzando AWS CloudShell. AWS CloudShell è una shell preautenticata basata su browser che è possibile avviare direttamente da. AWS Management ConsolePer ulteriori informazioni, consulta Cos'è? CloudShell e Guida introduttiva AWS CloudShell nella Guida AWS CloudShell per l'utente.

Per creare una configurazione della tabella di metadati utilizzando AWS CLI

Prima di creare la configurazione di una tabella di metadati, assicurati di aver esaminato e soddisfatto i prerequisiti e di aver rivisto Limitazioni e restrizioni delle tabelle di metadati.

Per utilizzare i seguenti comandi di esempio, sostituisci user input placeholders con le tue informazioni.

1. Se non disponi già di un bucket di tabelle, usa il comando seguente per creare un bucket di tabelle in cui memorizzare la tabella dei metadati. Assicurati che il bucket della tabella sia Regione AWS uguale al bucket generico per il quale desideri creare una configurazione della tabella di metadati.

   aws s3tables create-table-bucket --name amzn-s3-demo-bucket --region us-east-2

2. Per verificare che il bucket di tabelle sia stato creato, usa il seguente comando:

   aws s3tables list-table-buckets --region us-east-2

3. Crea un file JSON contenente la configurazione della tabella dei metadati e salvalo (ad esempio, metadata-config.json). Di seguito è riportato un esempio di configurazione.

   I nomi dei bucket da tavolo devono contenere da 3 a 63 caratteri e devono essere univoci all'interno del file Account AWS Regione AWS che hai scelto. I caratteri validi sono a-z, 0-9 e trattini (-). Per ulteriori informazioni sulla creazione di bucket di tabelle, consulta Creazione di bucket di tabelle.

   Il nome della tabella di metadati deve essere compreso tra 1 e 255 caratteri e deve essere univoco all'interno dello spazio dei nomi aws_s3_metadata nel bucket di tabelle. I caratteri validi sono lettere minuscole, numeri e trattini bassi (_).

   {
     "S3TablesDestination": {
       "TableBucketArn": "arn:aws:s3tables:us-east-2:111122223333:bucket/amzn-s3-demo-bucket",
       "TableName": "test_metadata_table"
     }
   }

4. Utilizza il seguente comando per applicare la configurazione della tabella dei metadati al bucket per uso generico (ad esempio, amzn-s3-demo-source-bucket):

   aws s3api create-bucket-metadata-table-configuration \
   --bucket amzn-s3-demo-source-bucket \
   --metadata-table-configuration  file://./metadata-config.json \
   --region us-east-2

5. Per verificare che la configurazione sia stata creata, usa il seguente comando:

   aws s3api get-bucket-metadata-table-configuration \
   --bucket amzn-s3-demo-source-bucket \
   --region us-east-2

Per monitorare gli aggiornamenti della configurazione della tabella dei metadati, si può usare AWS CloudTrail. Per ulteriori informazioni, consulta Azioni a livello di bucket di Amazon S3 tracciate mediante registrazione CloudTrail .

Utilizzo della REST API

È possibile inviare richieste REST per creare la configurazione di una tabella di metadati. Per ulteriori informazioni, consulta CreateBucketMetadataTableConfigurationnel riferimento alle API di Amazon S3.

Utilizzo della REST API

È possibile inviare richieste REST per creare la configurazione di una tabella di metadati. Per ulteriori informazioni, consulta CreateBucketMetadataTableConfigurationnel riferimento alle API di Amazon S3.

Utilizzando il AWS SDKs

Puoi utilizzare il AWS SDKs per creare una configurazione della tabella di metadati in Amazon S3. Per informazioni, consulta l'elenco di quelli supportati SDKs nell'Amazon S3 API Reference.

Utilizzando il AWS SDKs

Puoi utilizzare il AWS SDKs per creare una configurazione della tabella di metadati in Amazon S3. Per informazioni, consulta l'elenco di quelli supportati SDKs nell'Amazon S3 API Reference.