SageMaker referência em Python de peneiramento inteligente SDK

Esta página fornece uma referência dos módulos Python necessários para aplicar a peneiração SageMaker inteligente ao seu script de treinamento.

SageMaker módulos de configuração de peneiramento inteligente

class smart_sifting.sift_config.sift_configs.RelativeProbabilisticSiftConfig()

A classe de configuração de peneiramento SageMaker inteligente.

Parâmetros

• beta_value(float) — Um valor beta (constante). É usado para calcular a probabilidade de selecionar uma amostra para treinamento com base no percentil da perda no histórico de valores de perda. Reduzir o valor beta resulta em uma porcentagem menor de dados filtrados, e aumentá-lo resulta em uma porcentagem maior de dados filtrados. Não há valor mínimo ou máximo para o valor beta, exceto que ele deve ser um valor positivo. A tabela de referência a seguir fornece informações sobre as taxas de peneiramento em relação a. beta_value

  beta_value	Proporção de dados mantidos (%)	Proporção de dados eliminados (%)
  0.1	90,91	9.01
  0.25	80	20
  0,5	66,67	33,33
  1	50	50
  2	33,33	66,67
  3	25	75
  10	9.09	90,92
  100	0,99	99,01

• loss_history_length(int) — O número de perdas de treinamento anteriores a serem armazenadas para a amostragem baseada na perda de limite relativo.

• loss_based_sift_config(dict ou um LossConfig objeto) — Especifique um LossConfig objeto que retorne a configuração da interface SageMaker smart sifting Loss.

class smart_sifting.sift_config.sift_configs.LossConfig()

A classe de configuração para o loss_based_sift_config parâmetro da RelativeProbabilisticSiftConfig classe.

Parâmetros

• sift_config(dict ou um SiftingBaseConfig objeto) — Especifique um SiftingBaseConfig objeto que retorne um dicionário de configuração de base de filtragem.

class smart_sifting.sift_config.sift_configs.SiftingBaseConfig()

A classe de configuração para o sift_config parâmetro deLossConfig.

Parâmetros

• sift_delay(int) — O número de etapas de treinamento a serem esperadas antes de começar a peneirar. Recomendamos que você comece a filtrar depois que todas as camadas do modelo tiverem uma visão suficiente dos dados de treinamento. O valor padrão é 1000.

• repeat_delay_per_epoch(bool) — Especifique se a seleção deve ser adiada em cada época. O valor padrão é False.

SageMaker módulos de transformação em lote de dados de peneiração inteligente

class smart_sifting.data_model.data_model_interface.SiftingBatchTransform

Um módulo Python de filtragem SageMaker inteligente para definir como realizar a transformação em lote. Usando isso, você pode configurar uma classe de transformação em lote que converte o formato de dados dos seus dados de treinamento em SiftingBatch formato. SageMaker a peneiração inteligente pode filtrar e acumular dados nesse formato em um lote peneirado.

class smart_sifting.data_model.data_model_interface.SiftingBatch

Uma interface para definir um tipo de dados em lote que pode ser filtrado e acumulado.

class smart_sifting.data_model.list_batch.ListBatch

Um módulo para acompanhar um lote de listas para filtragem.

class smart_sifting.data_model.tensor_batch.TensorBatch

Um módulo para acompanhar um lote de tensores para peneiração.

SageMaker módulo de implementação de perdas por peneiramento inteligente

class smart_sifting.loss.abstract_sift_loss_module.Loss

Um módulo de embalagem para registrar a interface de peneiramento SageMaker inteligente na função de perda de um modelo baseado. PyTorch

SageMaker módulo de embalagem de carregador de dados de peneiração inteligente

class smart_sifting.dataloader.sift_dataloader.SiftingDataloader

Um módulo de embalagem para registrar a interface de peneiramento SageMaker inteligente no carregador de dados de um modelo baseado. PyTorch

O iterador Main Sifting Dataloader seleciona amostras de treinamento de um dataloader com base em uma configuração sift.

Parâmetros

• sift_config(ditado ou RelativeProbabilisticSiftConfig objeto) — Um RelativeProbabilisticSiftConfig objeto.

• orig_dataloader(um PyTorch DataLoader objeto) — Especifique o objeto PyTorch Dataloader a ser encapsulado.

• batch_transforms(um SiftingBatchTransform objeto) — (Opcional) Se o formato de dados não for suportado pela transformação padrão da biblioteca SageMaker smart sifting, você deverá criar uma classe de transformação em lote usando o SiftingBatchTransform módulo. Esse parâmetro é usado para transmitir a classe de transformação em lote. Essa classe é usada SiftingDataloader para converter os dados em um formato que o algoritmo de peneiramento SageMaker inteligente possa aceitar.

• model(um objeto PyTorch modelo) — O PyTorch modelo original

• loss_impl(uma função de perda por peneiramento desmart_sifting.loss.abstract_sift_loss_module.Loss) — Uma função de perda por peneiramento que é configurada com o Loss módulo e envolve a função de perda. PyTorch

• log_batch_data(bool) — Especifique se deseja registrar dados em lote. Se definido comoTrue, a peneiração SageMaker inteligente registra os detalhes dos lotes que são mantidos ou peneirados. Recomendamos que você o ative somente para um trabalho de treinamento de pilotos. Quando o registro está ativado, as amostras são carregadas GPU e transferidasCPU, o que gera uma sobrecarga. O valor padrão é False.