TabTransformer

TabTransformerè una nuova architettura di modellazione di dati tabulari approfonditi per l'apprendimento supervisionato. L' TabTransformer architettura è basata su Transformers. self-attention-based I livelli di trasformatori trasformano gli incorporamenti di funzionalità categoriche in robusti incorporamenti contestuali per ottenere una maggiore precisione di previsione. Inoltre, gli incorporamenti contestuali appresi TabTransformer sono estremamente affidabili sia rispetto alle caratteristiche dei dati mancanti che a quelle rumorose e offrono una migliore interpretabilità.

Come usare SageMaker TabTransformer

Puoi usarlo TabTransformer come algoritmo SageMaker integrato di Amazon. La sezione seguente descrive come utilizzare TabTransformer con SageMaker Python SDK. Per informazioni su come utilizzare TabTransformer dall'interfaccia utente di Amazon SageMaker Studio Classic, consultaSageMaker JumpStart.

• Utilizza TabTransformer come algoritmo integrato

  Utilizzate l'algoritmo TabTransformer integrato per creare un contenitore di TabTransformer addestramento, come mostrato nel seguente esempio di codice. Puoi individuare automaticamente l'URI dell'immagine dell'algoritmo TabTransformer integrato utilizzando l' SageMakerimage_uris.retrieveAPI (o l'get_image_uriAPI se utilizzi Amazon SageMaker Python SDK versione 2).

  Dopo aver specificato l'URI TabTransformer dell'immagine, puoi utilizzare il TabTransformer contenitore per creare uno stimatore utilizzando l'API Estimator e avviare un SageMaker processo di formazione. L'algoritmo TabTransformer integrato viene eseguito in modalità script, ma lo script di addestramento viene fornito automaticamente e non è necessario sostituirlo. Se hai una vasta esperienza nell'uso della modalità script per creare un lavoro di SageMaker formazione, puoi incorporare i tuoi script di TabTransformer formazione.

  from sagemaker import image_uris, model_uris, script_uris
  
  train_model_id, train_model_version, train_scope = "pytorch-tabtransformerclassification-model", "*", "training"
  training_instance_type = "ml.p3.2xlarge"
  
  # Retrieve the docker image
  train_image_uri = image_uris.retrieve(
      region=None,
      framework=None,
      model_id=train_model_id,
      model_version=train_model_version,
      image_scope=train_scope,
      instance_type=training_instance_type
  )
  
  # Retrieve the training script
  train_source_uri = script_uris.retrieve(
      model_id=train_model_id, model_version=train_model_version, script_scope=train_scope
  )
  
  train_model_uri = model_uris.retrieve(
      model_id=train_model_id, model_version=train_model_version, model_scope=train_scope
  )
  
  # Sample training data is available in this bucket
  training_data_bucket = f"jumpstart-cache-prod-{aws_region}"
  training_data_prefix = "training-datasets/tabular_binary/"
  
  training_dataset_s3_path = f"s3://{training_data_bucket}/{training_data_prefix}/train"
  validation_dataset_s3_path = f"s3://{training_data_bucket}/{training_data_prefix}/validation"
  
  output_bucket = sess.default_bucket()
  output_prefix = "jumpstart-example-tabular-training"
  
  s3_output_location = f"s3://{output_bucket}/{output_prefix}/output"
  
  from sagemaker import hyperparameters
  
  # Retrieve the default hyperparameters for training the model
  hyperparameters = hyperparameters.retrieve_default(
      model_id=train_model_id, model_version=train_model_version
  )
  
  # [Optional] Override default hyperparameters with custom values
  hyperparameters[
      "n_epochs"
  ] = "50"
  print(hyperparameters)
  
  from sagemaker.estimator import Estimator
  from sagemaker.utils import name_from_base
  
  training_job_name = name_from_base(f"built-in-algo-{train_model_id}-training")
  
  # Create SageMaker Estimator instance
  tabular_estimator = Estimator(
      role=aws_role,
      image_uri=train_image_uri,
      source_dir=train_source_uri,
      model_uri=train_model_uri,
      entry_point="transfer_learning.py",
      instance_count=1,
      instance_type=training_instance_type,
      max_run=360000,
      hyperparameters=hyperparameters,
      output_path=s3_output_location
  )
  
  # Launch a SageMaker Training job by passing the S3 path of the training data
  tabular_estimator.fit(
      {
          "training": training_dataset_s3_path,
          "validation": validation_dataset_s3_path,
      }, logs=True, job_name=training_job_name
  )

  Per ulteriori informazioni su come configurarlo TabTransformer come algoritmo integrato, consultate i seguenti esempi di notebook.

  • Classificazione tabulare con algoritmo Amazon SageMaker TabTransformer

  • Regressione tabulare con algoritmo Amazon SageMaker TabTransformer

Interfaccia di input e output per l'algoritmo TabTransformer

TabTransformer opera su dati tabulari, con le righe che rappresentano le osservazioni, una colonna che rappresenta la variabile o l'etichetta di destinazione e le colonne rimanenti che rappresentano le caratteristiche.

L' SageMaker implementazione dei TabTransformer supporti CSV per la formazione e l'inferenza:

• Per Training ContentType, gli input validi devono essere text/csv.

• Per Inference ContentType, gli input validi devono essere text/csv.

Nota

Per l’addestramento CSV, l'algoritmo presume che la variabile di destinazione si trovi nella prima colonna e che CSV non disponga di un record di intestazione.

Per l'inferenza CSV, l'algoritmo presuppone che l'input CSV non disponga della colonna di etichette.

Formato di input per dati di addestramento, dati di convalida e caratteristiche categoriali

Prestate attenzione a come formattare i dati di allenamento per l'immissione nel modello. TabTransformer Devi fornire il percorso di un bucket Amazon S3 contenente i dati di addestramento e convalida. Puoi includere anche un elenco di funzionalità categoriali. Utilizza entrambi i canali training e validation per fornire i dati di input. In alternativa, puoi utilizzare solo il canale training.

Usa entrambi i canali training e validation

È possibile fornire i dati di input tramite due percorsi S3, uno per il canale training e uno per il canale validation. Ogni percorso S3 può essere un prefisso S3 che punta a uno o più file CSV o un percorso S3 completo che punta a un file CSV specifico. Le variabili di destinazione devono trovarsi nella prima colonna del file CSV. Le variabili predittive (funzionalità) dovrebbero trovarsi nelle colonne rimanenti. Se vengono forniti più file CSV per i validation canali training or, l' TabTransformer algoritmo concatena i file. I dati di convalida vengono utilizzati per calcolare un punteggio di convalida alla fine di ogni iterazione di potenziamento. L'arresto anticipato viene applicato quando il punteggio di convalida smette di migliorare.

Se i tuoi predittori includono funzionalità categoriche, puoi fornire un file JSON denominato categorical_index.json nella stessa posizione del file o dei file di dati di addestramento. Se fornisci un file JSON per le funzionalità categoriali, il tuo canale training deve puntare a un prefisso S3 e non a un file CSV specifico. Questo file dovrebbe contenere un dizionario Python in cui la chiave è la stringa "cat_index_list" e il valore è un elenco di numeri interi univoci. Ogni numero intero nella lista dei valori deve indicare l'indice delle colonne delle funzionalità categoriali corrispondenti nel file CSV dei dati di addestramento. Ogni valore deve essere un numero intero positivo (maggiore di zero perché zero rappresenta il valore di destinazione), minore di Int32.MaxValue (2147483647) e minore del numero totale di colonne. Dovrebbe esserci un solo file JSON di indice categorico.

Usa solo il canale training:

In alternativa, puoi fornire i dati di input tramite un singolo percorso S3 per il canale training. Questo percorso S3 deve puntare a una directory con una sottodirectory denominata training/ che contiene uno o più file CSV. Facoltativamente, puoi includere un'altra sottodirectory nella stessa posizione denominata validation/ che contiene anche uno o più file CSV. Se i dati di convalida non vengono forniti, il 20% dei dati di addestramento viene campionato casualmente per fungere da dati di convalida. Se i tuoi predittori includono funzionalità categoriali, puoi fornire un file JSON denominato categorical_index.json nella stessa posizione delle sottodirectory dei dati.

Nota

Per la modalità di input dell’addestramento CSV, la memoria totale disponibile per l'algoritmo (calcolo dell'istanza moltiplicata per la memoria disponibile nel InstanceType) deve essere in grado di gestire il set di dati di addestramento.

Raccomandazione dell'istanza Amazon EC2 per l'algoritmo TabTransformer

SageMaker TabTransformer supporta l'addestramento su CPU a istanza singola e GPU a istanza singola. Nonostante costi più elevati per istanza, i GPU si preparano più rapidamente, rendendoli più convenienti. Per sfruttare l'addestramento tramite GPU, specifica il tipo di istanza come una delle istanze GPU (ad esempio, P3). SageMaker TabTransformer attualmente non supporta la formazione su più GPU.

TabTransformer quaderni di esempio

La tabella seguente illustra una serie di notebook di esempio che affrontano diversi casi d'uso dell'algoritmo Amazon. SageMaker TabTransformer

Titolo del notebook	Descrizione
Classificazione tabulare con algoritmo Amazon SageMaker TabTransformer	Questo notebook dimostra l'uso dell' SageMaker TabTransformeralgoritmo Amazon per addestrare e ospitare un modello di classificazione tabulare.
Regressione tabulare con algoritmo Amazon SageMaker TabTransformer	Questo notebook dimostra l'uso dell' SageMaker TabTransformeralgoritmo Amazon per addestrare e ospitare un modello di regressione tabulare.

Per istruzioni su come creare e accedere alle istanze di notebook Jupyter utilizzabili per eseguire l'esempio, consulta. SageMaker Istanze Amazon SageMaker Notebook Dopo aver creato un'istanza di notebook e averla aperta, scegli la scheda SageMakerEsempi per visualizzare un elenco di tutti gli esempi. SageMaker Per aprire un notebook, seleziona la relativa scheda Utilizza e scegli Crea copia.