O que é o Apache Spark Upgrade Agent para Amazon EMR - Amazon EMR
IntroduçãoVisão geral da arquitetura

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

O que é o Apache Spark Upgrade Agent para Amazon EMR

Introdução

O Apache Spark Upgrade Agent para Amazon EMR é um recurso de IA conversacional que acelera as atualizações de versão do Apache Spark para seus aplicativos EMR. As atualizações tradicionais do Spark exigem meses de esforço de engenharia para analisar as mudanças na API, resolver conflitos de dependência e validar a correção funcional. O agente simplifica o processo de upgrade por meio de solicitações em linguagem natural, transformação automatizada de código e validação da qualidade dos dados.

Você pode usar o agente para atualizar PySpark e escalar aplicativos em execução no Amazon EMR on EC2 e no Amazon EMR Serverless. O agente analisa seu código, identifica as alterações necessárias e realiza transformações automatizadas, mantendo seu controle de aprovação sobre todas as modificações.

Visão geral da arquitetura

O agente de atualização tem três componentes principais: qualquer assistente de IA compatível com MCP em seu ambiente de desenvolvimento para interação, o MCP Proxy, AWS que gerencia a comunicação segura entre seu cliente e o servidor MCP, e o servidor MCP gerenciado do Amazon SageMaker Unified Studio (em versão prévia), que fornece ferramentas especializadas de upgrade do Spark para o Amazon EMR. Este diagrama ilustra como você interage com o servidor MCP gerenciado do Amazon SageMaker Unified Studio por meio do seu assistente de IA.

Agente de atualização do Apache Spark

O assistente de IA orquestrará a atualização usando ferramentas especializadas fornecidas pelo servidor MCP seguindo estas etapas:

  1. Planejamento: o agente analisa a estrutura do seu projeto e gera ou revisa um plano de atualização que orienta o processo de atualização do end-to-end Spark.

  2. Compilar e criar: o agente atualiza o ambiente de compilação e as dependências, compila o projeto e corrige iterativamente as falhas de compilação e teste.

  3. Ferramentas de edição de código do Spark: o agente aplica atualizações de código direcionadas para resolver incompatibilidades de versão do Spark, corrigindo erros de tempo de compilação e de tempo de execução.

  4. Execução e validação: o agente envia trabalhos de validação remota ao EMR, monitora a execução e os registros e corrige iterativamente problemas de tempo de execução e qualidade de dados.

  5. Observabilidade: o agente monitora o progresso da atualização usando as ferramentas de observabilidade do EMR e permite que os usuários visualizem as análises e o status da atualização a qualquer momento.

Consulte Usando as ferramentas de atualização do Spark para obter uma lista das principais ferramentas para cada etapa.

Tópicos