Formato dati del negozio offline di Amazon SageMaker Feature Store

Amazon SageMaker Feature Store supporta i formati AWS Glue di tabella Apache Iceberg per lo store offline. Puoi scegliere il formato della tabella quando crei un nuovo gruppo di funzionalità. AWS Glue è il formato predefinito.

I dati del negozio offline di Amazon SageMaker Feature Store vengono archiviati in un bucket Amazon S3 all'interno del tuo account. Quando si chiama PutRecord, i dati vengono memorizzati nel buffer, raggruppati in batch e scritti in Amazon S3 entro 15 minuti. Feature Store supporta il formato di file Parquet solo per la scrittura dei dati nell’archivio offline. In particolare, quando i dati vengono scritti nell’archivio offline, possono essere recuperati dal bucket Amazon S3 in formato Parquet. Ogni file può contenere più Record.

Per il formato Iceberg, Feature Store salva i metadati della tabella nello stesso bucket Amazon S3 che utilizzi per archiviare i dati dell'archivio offline. Puoi trovarlo sotto il prefisso metadata.

Feature Store espone anche il file S.3. OfflineStoreConfig StorageConfig ResolvedOutputCampo S3Uri, che può essere trovato nella chiamata API. DescribeFeatureGroup Questo è il percorso S3 in cui vengono scritti i file per lo specifico gruppo di funzionalità.

I seguenti ulteriori campi vengono aggiunti da Feature Store a ciascun record quando persistono nell'archivio offline:

• api_invocation_time: data/ora in cui il servizio riceve la chiamata PutRecord o DeleteRecord. Se si utilizza l'inserimento gestito (ad esempio Data Wrangler), si tratta della data/ora in cui i dati sono stati scritti nell'archivio offline.

• write_time: data/ora in cui i dati sono stati scritti nell'archivio offline. Può essere usato per creare domande relative a Time Travel.

• is_deleted: per impostazione predefinita, False. Se si chiama DeleteRecord, un nuovo Record viene inserito in RecordIdentifierValue e impostato su True nell'archivio offline.

Strutture URI dei negozi offline di Amazon SageMaker Feature Store

Negli esempi seguenti amzn-s3-demo-bucket è il bucket Amazon S3 all'interno del tuo account, example-prefix è il prefisso di esempio, 111122223333 è l'ID dell'account, Regione AWS è la tua Regione e feature-group-name è il nome del tuo gruppo di funzionalità.

AWS Glue formato di tabella

I record nell'archivio offline archiviati utilizzando il formato AWS Glue tabella vengono partizionati in base all'ora dell'evento in partizioni orarie. Non è possibile configurare lo schema di partizionamento. La seguente struttura URI mostra l'organizzazione di un file Parquet utilizzando il formato AWS Glue :

s3://amzn-s3-demo-bucket/example-prefix/111122223333/sagemaker/Regione AWS/offline-store/feature-group-name-feature-group-creation-time/data/year=year/month=month/day=day/hour=hour/timestamp_of_latest_event_time_in_file_16-random-alphanumeric-digits.parquet

L'esempio seguente è la posizione di output di un file Parquet per un file con feature-group-name come customer-purchase-history-patterns:

s3://amzn-s3-demo-bucket/example-prefix/111122223333/sagemaker/Regione AWS/offline-store/customer-purchase-history-patterns-1593511200/data/year=2020/month=06/day=31/hour=00/20200631T064401Z_108934320012Az11.parquet

Formato di tabella Iceberg

I record nell'archivio offline memorizzati nel formato di tabella Iceberg vengono partizionati in base all'ora dell'evento in partizioni giornaliere. Non è possibile configurare lo schema di partizionamento. La seguente struttura URI mostra l'organizzazione dei file di dati salvati nel formato di tabella Iceberg:

s3://amzn-s3-demo-bucket/example-prefix/111122223333/sagemaker/Regione AWS/offline-store/feature-group-name-feature-group-creation-time/data/8-random-alphanumeric-digits/event-time-feature-name_trunc=event-time-year-event-time-month-event-time-day/timestamp-of-latest-event-time-in-file_16-random-alphanumeric-digits.parquet

L'esempio seguente è la posizione di output di un file Parquet per un file con feature-group-name come customer-purchase-history-patterns, mentre event-time-feature-name è EventTime:

s3://amzn-s3-demo-bucket/example-prefix/111122223333/sagemaker/Regione AWS/offline-store/customer-purchase-history-patterns-1593511200/data/0aec19ca/EventTime_trunc=2022-11-09/20221109T215231Z_yolTtpyuWbkaeGIl.parquet

L'esempio seguente è la posizione di un file di metadati per i file di dati salvati nel formato di tabella Iceberg.

s3://amzn-s3-demo-bucket/example-prefix/111122223333/sagemaker/Regione AWS/offline-store/feature-group-name-feature-group-creation-time/metadata/