As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Migre o ML Crie, treine e implante cargas de trabalho para a Amazon SageMaker usando as ferramentas do desenvolvedor da AWS
Criado por Scot Marvin (AWS)
Tipo R: redefinir a plataforma | Origem: machine learning | Alvo: Amazon SageMaker |
Criado por: AWS | Ambiente: PoC ou piloto | Tecnologias: aprendizado de máquina e IA DevOps; migração |
Serviços da AWS: Amazon SageMaker |
Resumo
Esse padrão fornece orientação para migrar um aplicativo de aprendizado de máquina (ML) local executado em servidores Unix ou Linux para ser treinado e implantado na AWS usando a Amazon. SageMaker Esta implantação usa um pipeline de integração contínua e implantação contínua (Pipeline de CI/CD). O padrão de migração é implantado usando uma CloudFormation pilha da AWS.
Pré-requisitos e limitações
Pré-requisitos
Uma conta AWS ativa que usa a Zona de Pouso da AWS
AWS Command Line Interface (AWS CLI)
, instalado e configurado em seu servidor Unix ou Linux Um repositório de código-fonte de ML na AWS CodeCommit ou no Amazon Simple Storage Service (Amazon S3) GitHub
Limitações
Somente 300 pipelines individuais podem ser implantados em uma região da AWS.
Esse padrão é destinado a cargas de trabalho de ML supervisionadas com train-and-deploy código em Python.
Versões do produto
Docker versão 19.03.5, criação 633a0ea, usando Python 3.6x
Arquitetura
Pilha de tecnologia de origem
Instância de computação Linux on-premises com dados no sistema de arquivos local ou em um banco de dados relacional
Arquitetura de origem
Pilha de tecnologias de destino
A AWS foi CodePipeline implantada com o Amazon S3 para armazenamento de dados e o Amazon DynamoDB como armazenamento de metadados para rastrear ou registrar execuções de pipelines
Arquitetura de destino
Arquitetura de migração de aplicativos
Pacote Python nativo e CodeCommit repositório AWS (e um cliente SQL, para conjuntos de dados locais na instância do banco de dados)
Ferramentas
Python
Git
AWS CLI — A AWS CLI implanta
a CloudFormation pilha da AWS e move os dados para o bucket do S3. O bucket do S3, por sua vez, leva ao destino.
Épicos
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
| Validar o código-fonte e os conjuntos de dados. | Cientista de dados | |
| Identificar os tamanhos e tipos de instâncias de criação, treinamento e implantação de destino. | Engenheiro de dados, cientista de dados | |
| Criar uma lista de capacidade e requisitos de capacidade. | ||
| Identificar os requisitos de rede. | DBA, administrador de sistemas | |
| Identificar os requisitos de segurança do acesso à rede ou host para os aplicativos de origem e de destino. | Engenheiro de dados, engenheiro de ML, administrador de sistemas | |
| Determine a estratégia de backup. | Engenheiro de ML, administrador de sistemas | |
| Determinar os requisitos de disponibilidade. | Engenheiro de ML, administrador de sistemas | |
| Identificar a estratégia de transição ou migração de aplicativos. | Cientista de dados, engenheiro de ML |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
| Criar uma nuvem privada virtual (VPC). | Engenheiro de ML, administrador de sistemas | |
| Criar grupos de segurança. | Engenheiro de ML, administrador de sistemas | |
| Configure um bucket do Amazon S3 e ramificações de CodeCommit repositório da AWS para código de ML. | Engenheiro de ML |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
| Use ferramentas nativas do MySQL ou ferramentas de terceiros para migrar, treinar, validar e testar conjuntos de dados para o bucket do S3 provisionado. | Isso é necessário para a implantação do AWS CloudFormation Stack. | Engenheiro de dados, engenheiro de ML |
| Empacote o treinamento de ML e o código de hospedagem como pacotes Python e envie para o repositório provisionado na AWS ou. CodeCommit GitHub | Você precisa do nome da filial do repositório para implantar o CloudFormation modelo da AWS para migração. | Cientista de dados, engenheiro de ML |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
| Seguir a estratégia de migração da workload de ML. | Proprietário do aplicativo, engenheiro de ML | |
| Implante a CloudFormation pilha da AWS. | Usar a AWS CLI para criar a pilha declarada no modelo YAML fornecido com essa solução. | Cientista de dados, engenheiro de ML |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
| Mudar os clientes do aplicativo para a nova infraestrutura. | Proprietário do aplicativo, cientista de dados, engenheiro de ML |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
| Encerre os recursos temporários da AWS. | Encerre todos os recursos personalizados do CloudFormation modelo da AWS (por exemplo, qualquer função do AWS Lambda que não esteja sendo usada). | Cientista de dados, engenheiro de ML |
| Revise e valide os documentos do projeto. | Proprietário do aplicativo, cientista de dados | |
| Validar os resultados e as métricas de avaliação do modelo de ML com os operadores. | Certifique-se de que a performance do modelo corresponda às expectativas dos usuários do aplicativo e seja comparável ao estado on-premises. | Proprietário do aplicativo, cientista de dados |
| Feche o projeto e forneça feedback. | Proprietário do aplicativo, engenheiro de ML |
Recursos relacionados
Anexos
Para acessar o conteúdo adicional associado a este documento, descompacte o seguinte arquivo: attachment.zip
