Configurar coleções de tensores usando a API CollectionConfig

Use a operação CollectionConfig da API para configurar coleções de tensores. O Debugger fornece coleções de tensores pré-criadas que abrangem uma variedade de expressões regulares (regex) de parâmetros se estiver usando estruturas de aprendizado profundo e algoritmos de machine learning compatíveis com o Debugger. Conforme mostrado no código de exemplo a seguir, adicione as coleções de tensores integradas que você deseja depurar.

from sagemaker.debugger import CollectionConfig

collection_configs=[
    CollectionConfig(name="weights"),
    CollectionConfig(name="gradients")
]

As coleções anteriores configuraram o hook Debugger para salvar os tensores a cada 500 etapas com base no valor padrão "save_interval".

Para obter uma lista completa das coleções integradas do Debugger disponíveis, consulte Coleções integradas do Debugger.

Se quiser personalizar as coleções integradas, como alterar os intervalos de salvamento e o regex do tensor, use o modelo CollectionConfig a seguir para ajustar os parâmetros.

from sagemaker.debugger import CollectionConfig

collection_configs=[
    CollectionConfig(
        name="tensor_collection",
        parameters={
            "key_1": "value_1",
            "key_2": "value_2",
            ...
            "key_n": "value_n"
        }
    )
]

Para obter mais informações sobre as chaves de parâmetros disponíveis, consulte o CollectionConfigSDK do Amazon SageMaker Python. Por exemplo, o seguinte exemplo de código mostra como você pode ajustar os intervalos de salvamento da coleção de tensores de “perdas” em diferentes fases do treinamento: perda de salvamento a cada 100 etapas na fase de treinamento e perda de validação a cada 10 etapas na fase de validação.

from sagemaker.debugger import CollectionConfig

collection_configs=[
    CollectionConfig(
        name="losses",
        parameters={
            "train.save_interval": "100",
            "eval.save_interval": "10"
        }
    )
]

dica

Esse objeto de configuração da coleção de tensores pode ser usado tanto para operações da Rule API DebuggerHookConfigquanto para operações.