Preparação de dados usando o Amazon EMR

Importante

O Amazon SageMaker Studio e o Amazon SageMaker Studio Classic são dois dos ambientes de aprendizado de máquina que você pode usar para interagir com a SageMaker IA.

Se seu domínio foi criado depois de 30 de novembro de 2023, o Studio é sua experiência padrão.

Se seu domínio foi criado antes de 30 de novembro de 2023, o Amazon SageMaker Studio Classic é sua experiência padrão. Para usar o Studio se o Amazon SageMaker Studio Classic for sua experiência padrão, consulteMigração do Amazon SageMaker Studio Classic.

Quando você migra do Amazon SageMaker Studio Classic para o Amazon SageMaker Studio, não há perda na disponibilidade dos recursos. O Studio Classic também existe como um aplicativo no Amazon SageMaker Studio para ajudá-lo a executar seus fluxos de trabalho legados de aprendizado de máquina.

O Amazon SageMaker Studio e o Studio Classic vêm com integração integrada com o Amazon EMR. Nos notebooks JupyterLab e no Studio Classic, cientistas e engenheiros de dados podem descobrir e se conectar aos clusters existentes do Amazon EMR e, em seguida, explorar, visualizar e preparar dados em grande escala de forma interativa para aprendizado de máquina usando Apache Spark, Apache Hive ou Presto. Com um único clique, eles podem acessar a interface de usuário do Spark para monitorar o status e as métricas de seus trabalhos do Spark sem sair do caderno.

Os administradores podem criar modelos do AWS CloudFormation que definam os clusters do Amazon EMR. Depois, eles podem disponibilizar esses modelos de cluster no AWS Service Catalog para os usuários do Studio e do Studio Classic iniciarem. Os cientistas de dados podem, então, escolher um modelo predefinido para provisionar automaticamente um cluster do Amazon EMR diretamente do ambiente do Studio. Os administradores podem parametrizar ainda mais os modelos para permitir que os usuários escolham aspectos do cluster dentro de valores predefinidos. Por exemplo, os usuários podem querer especificar o número de nós centrais ou selecionar o tipo de instância de um nó no menu suspenso.

Usando AWS CloudFormation, os administradores podem controlar a configuração organizacional, de segurança e de rede dos clusters do Amazon EMR. Depois, os cientistas e engenheiros de dados podem personalizar esses modelos para suas workloads a fim de criar clusters sob demanda do Amazon EMR diretamente do Studio e do Studio Classic sem definir configurações complexas. Os usuários podem encerrar os clusters do Amazon EMR após o uso.

• Se você for administrador:

  Certifique-se de ter habilitado a comunicação entre o Studio ou o Studio Classic e os clusters do Amazon EMR. Para obter instruções, consulte a próxima seção Configurar o acesso à rede para o cluster do Amazon EMR. Depois que a comunicação estiver ativada, você poderá:

  • Configurar CloudFormation modelos do Amazon EMR no Service Catalog

  • Configurar a listagem de clusters do Amazon EMR

• Se você é cientista de dados ou engenheiro de dados, você pode:

  • Inicializar um cluster do Amazon EMR no Studio ou Studio Classic

  • Listar clusters do Amazon EMR no Studio ou no Studio Classic

  • Conecte-se a um cluster do Amazon EMR a partir do SageMaker Studio ou do Studio Classic

  • Encerrar um cluster do Amazon EMR no Studio ou Studio Classic

  • Acesse a interface de usuário do Spark no Studio ou no Studio Classic

Lista de tópicos

• Início rápido: crie um domínio de sandbox de SageMaker IA para lançar clusters do Amazon EMR no Studio

• Guia de administrador

• Guia do usuário

• Blogs e guias técnicos

• Solução de problemas