Entidades de monitoramento de linhagem

As entidades de rastreamento mantêm uma representação de todos os elementos do seu fluxo de trabalho end-to-end de aprendizado de máquina. Você pode usar essa representação para estabelecer a governança do modelo, reproduzir seu fluxo de trabalho e manter um registro do seu histórico de trabalho.

A Amazon cria SageMaker automaticamente entidades de rastreamento para componentes de teste e seus testes e experimentos associados quando você cria SageMaker trabalhos como trabalhos de processamento, trabalhos de treinamento e trabalhos de transformação em lote. Além do monitoramento automático, você também pode Crie entidades de monitoramento manualmente modelar etapas personalizadas em seu fluxo de trabalho. Para ter mais informações, consulte Gerencie SageMaker experiências da Amazon no Studio Classic.

SageMaker também cria automaticamente entidades de rastreamento para as outras etapas em um fluxo de trabalho para que você possa acompanhar o fluxo de trabalho de ponta a ponta. Para ter mais informações, consulte Amazon SageMaker — Entidades de rastreamento criadas.

Você pode criar entidades adicionais para complementar as criadas por SageMaker. Para ter mais informações, consulte Crie entidades de monitoramento manualmente.

SageMaker reutiliza todas as entidades existentes em vez de criar novas. Por exemplo, pode haver apenas um artefato com um SourceUri exclusivo.

Conceitos-chave para consultar a linhagem

• Linhagem: metadados que rastreiam as relações entre várias entidades em seus fluxos de trabalho de ML.

• QueryLineage— A ação de inspecionar sua linhagem e descobrir relacionamentos entre entidades.

• Entidades de linhagem: os elementos de metadados dos quais sua linhagem é composta.

• Linhagem entre contas: seu fluxo de trabalho de ML pode abranger mais de uma conta. Com a linhagem entre contas, você pode configurar várias contas para criar automaticamente associações de linhagem entre recursos de entidades compartilhadas. QueryLineage em seguida, pode retornar entidades até mesmo dessas contas compartilhadas.

As seguintes entidades de monitoramento estão definidas:

Entidades do experimento

• Componente de teste: um estágio de um teste de machine learning. Inclui trabalhos de processamento, trabalhos de treinamento e trabalhos de transformação de lote.

• Teste: Uma combinação de componentes de teste que geralmente produz um modelo.

• Experiência: Um agrupamento de ensaios geralmente focados na solução de um caso de uso específico.

Entidades de linhagem

• Componente experimental: representa trabalhos de processamento, treinamento e transformação na linhagem. Também faz parte do gerenciamento de experimentos.

• Contexto: fornece um agrupamento lógico de outras entidades de monitoramento ou experimento. Conceitualmente, experimentos e ensaios são contextos. Alguns exemplos são um endpoint e um pacote de modelo.

• Ação: representa uma ação ou atividade. Geralmente, uma ação envolve pelo menos um artefato de entrada ou artefato de saída. Alguns exemplos são uma etapa do fluxo de trabalho e a implantação do modelo.

• Artifato: representa um objeto ou dado endereçável por URI. Um artefato geralmente é uma entrada ou uma saída para um componente ou ação de teste. Alguns exemplos incluem um conjunto de dados (URI do bucket do S3) ou uma imagem (caminho de registro do Amazon ECR).

• Associação: vincula outras entidades de monitoramento ou experimento, como uma associação entre a localização dos dados de treinamento e um trabalho de treinamento.

  Uma associação tem uma propriedade AssociationType opcional. Os valores a seguir estão disponíveis junto com o uso sugerido para cada tipo. SageMaker não impõe restrições ao seu uso:

  • ContributedTo: a fonte contribuiu para o destino ou participou da habilitação do destino. Por exemplo, os dados de treinamento contribuíram para o trabalho de treinamento.

  • AssociatedWith: a fonte está conectada ao destino. Por exemplo, um fluxo de trabalho de aprovação está associado à implantação de um modelo.

  • DerivedFrom: o destino é uma modificação da fonte. Por exemplo, uma saída resumida de uma entrada de canal para um trabalho de processamento é derivada das entradas originais.

  • Produced: a fonte gerou o destino. Por exemplo, um trabalho de treinamento produziu um artefato do modelo.

  • SameAs: quando a mesma entidade de linhagem é usada em contas diferentes.

Propriedades comuns

• Tipo de propriedade

  As entidades de ação, artefato e contexto têm uma propriedade de tipo, ActionType, ArtifactType e ContextType, respectivamente. Essa propriedade é uma string personalizada que pode associar informações significativas à entidade e ser usada como filtro nas APIs de lista.

• Propriedade da origem

  As entidades de ação, artefato e contexto têm uma propriedade Source. Essa propriedade fornece o URI subjacente que a entidade representa. Alguns exemplos são:

  • Uma ação UpdateEndpoint em que a fonte é a EndpointArn.

  • Um artefato de imagem para um trabalho de processamento em que a fonte é a ImageUri.

  • Um contexto Endpoint em que a fonte é a EndpointArn.

• Propriedades de metadados

  As entidades de ação e artefato têm uma propriedade Metadata opcional que pode fornecer as seguintes informações:

  • ProjectId— Por exemplo, o ID do projeto SageMaker MLOps ao qual um modelo pertence.

  • GeneratedBy— Por exemplo, a execução do SageMaker pipeline que registrou uma versão do pacote do modelo.

  • Repository: por exemplo, o repositório que contém um algoritmo.

  • CommitId: por exemplo, o ID de confirmação de uma versão do algoritmo.