O que é um SageMaker projeto?

SageMaker Os projetos ajudam as organizações a configurar e padronizar ambientes de desenvolvedores para cientistas de dados e sistemas de CI/CD para engenheiros de MLOps. Os projetos também ajudam as organizações a configurar o gerenciamento de dependências, o gerenciamento de repositórios de códigos, a reprodutibilidade da construção e o compartilhamento de artefatos.

Você pode provisionar SageMaker projetos do AWS Service Catalog usando modelos SageMaker personalizados ou fornecidos. Para obter informações sobre o AWS Service Catalog, consulte O que é o AWS Service Catalog. Com o SageMaker Projects, os engenheiros do MLOps e os administradores da organização podem definir seus próprios modelos ou usar os modelos fornecidos. SageMaker Os modelos SageMaker fornecidos inicializam o fluxo de trabalho de ML com controle de versão de origem, pipelines de ML automatizados e um conjunto de códigos para começar a iterar rapidamente os casos de uso de ML.

Quando você deve usar um SageMaker projeto?

Embora os cadernos sejam úteis para a criação e experimentação de modelos, uma equipe de cientistas de dados e engenheiros de ML que compartilham código precisa de uma maneira mais escalável de manter a consistência do código e um controle de versão rigoroso.

Cada organização tem seu próprio conjunto de padrões e práticas que fornecem segurança e governança para seu AWS ambiente. SageMaker fornece um conjunto de modelos primários para organizações que desejam começar rapidamente com fluxos de trabalho de ML e CI/CD. Os modelos incluem projetos que usam serviços AWS nativos para CI/CD, como AWS CodeBuild, e. AWS CodePipeline AWS CodeCommit Os modelos também oferecem a opção de criar projetos que usam ferramentas de terceiros, como Jenkins e. GitHub Para obter uma lista dos modelos de projeto que SageMaker fornece, consulteUse os SageMaker modelos de projeto fornecidos.

As organizações geralmente precisam de um controle rígido sobre os recursos de MLOPs que elas provisionam e gerenciam. Essa responsabilidade pressupõe determinadas tarefas, incluindo a configuração de funções e políticas do IAM, a aplicação de tags de recursos, a aplicação da criptografia e a dissociação de recursos em várias contas. SageMaker Os projetos podem dar suporte a todas essas tarefas por meio de ofertas de modelos personalizados, nas quais as organizações usam AWS CloudFormation modelos para definir os recursos necessários para um fluxo de trabalho de ML. Os cientistas de dados podem escolher um modelo para bootstrap e pré-configurar seu fluxo de trabalho de ML. Esses modelos personalizados são criados como produtos do Service Catalog e você pode provisioná-los na interface do usuário do Studio ou do Studio Classic em Modelos de organização. O Service Catalog é um serviço que ajuda as organizações a criar e gerenciar catálogos de produtos aprovados para uso em AWS. Para obter mais informações sobre a criação de modelos personalizados, consulte Criar modelos de SageMaker projeto personalizados — Melhores práticas.

SageMaker Os projetos podem ajudá-lo a gerenciar seus repositórios Git para que você possa colaborar com mais eficiência entre equipes, garantir a consistência do código e oferecer suporte a CI/CD. SageMaker Os projetos podem ajudá-lo com as seguintes tarefas:

• Organizar todas as entidades do ciclo de vida do ML em um único projeto.

• Estabelecer uma abordagem com um único clique para configurar a infraestrutura de ML padrão para treinamento e implantação de modelos que incorpore as melhores práticas.

• Criar e Compartilhar modelo modelos para a infraestrutura de ML para atender a vários casos de uso.

• Aproveite os modelos pré-criados SageMaker fornecidos para começar a se concentrar rapidamente na criação de modelos ou criar modelos personalizados com recursos e diretrizes específicos da organização.

• Integrar-se às ferramentas de sua escolha estendendo os modelos de projeto. Para ver um exemplo, consulte Criar um SageMaker projeto para integrar com GitLab GitLab pipelines.

• Organizar todas as entidades do ciclo de vida do ML em um único projeto.

O que há em um SageMaker projeto?

Os clientes têm a flexibilidade de configurar seus projetos com os recursos que melhor atendem ao seu caso de uso. O exemplo abaixo mostra a configuração de MLOps para um fluxo de trabalho de ML, incluindo treinamento e implantação de modelos.

Um projeto típico com um modelo SageMaker fornecido pode incluir o seguinte:

• Um ou mais repositórios com código de amostra para criar e implantar soluções de ML. Esses são exemplos funcionais que você pode modificar de acordo com suas necessidades. Você possui esse código e pode aproveitar os repositórios com controle de versão para suas tarefas.

• Um SageMaker pipeline que define etapas para preparação de dados, treinamento, avaliação do modelo e implantação do modelo, conforme mostrado no diagrama a seguir.

  

• Um pipeline CodePipeline ou Jenkins que executa seu SageMaker pipeline toda vez que você faz o check-in de uma nova versão do código. Para obter informações sobre CodePipeline, consulte O que é AWS CodePipeline. Para obter informações sobre o Jenkins, consulte a Documentação do usuário do Jenkins.

• Um Grupo de modelos que contém versões do modelo. Toda vez que você aprova a versão do modelo resultante de uma execução de SageMaker pipeline, você pode implantá-la em um SageMaker endpoint.

Cada SageMaker projeto tem um nome e uma ID exclusivos que são aplicados como tags a todos SageMaker os AWS recursos criados no projeto. Com o nome e o ID, você pode visualizar todas as entidades associadas ao seu projeto. Isso inclui:

• Pipelines

• Modelos registrados

• Modelos implantados (endpoints)

• Conjuntos de dados

• Produtos do Service Catalog

• CodePipeline e oleodutos Jenkins

• CodeCommit e repositórios Git de terceiros

Preciso criar um projeto para usar SageMaker pipelines?

Não. SageMaker pipelines são entidades autônomas, assim como trabalhos de treinamento, trabalhos de processamento e outros SageMaker trabalhos. Você pode criar, atualizar e executar pipelines diretamente em um notebook usando o SDK do SageMaker Python sem usar um projeto. SageMaker

Os projetos fornecem uma camada adicional para ajudar você a organizar seu código e adotar as melhores práticas operacionais necessárias para um sistema de qualidade de produção.