Modelos de PySpark análise de solução de problemas

Ao executar trabalhos usando modelos de PySpark análise, você pode encontrar falhas durante a inicialização ou execução do trabalho. Essas falhas geralmente estão relacionadas à configuração do script, às permissões de acesso aos dados ou à configuração do ambiente.

Para obter mais informações sobre PySpark limitações, consultePySpark limitações em AWS Clean Rooms.

Solucionando problemas com seu código

Para ajudá-lo a desenvolver e solucionar problemas com seu código, sugerimos que você faça sua própria simulação AWS Clean Rooms Conta da AWS ativando mensagens de erro detalhadas e executando trabalhos usando seus próprios dados de teste.

Você também pode simular PySpark AWS Clean Rooms no Amazon EMR Serverless com as seguintes etapas. Ele terá pequenas diferenças com PySpark o AWS Clean Rooms, mas abordará principalmente como seu código pode ser executado.

Para simular PySpark AWS Clean Rooms no EMR Serverless

1. Crie um conjunto de dados no Amazon S3, catalogue-o no e configure AWS Glue Data Catalog as permissões do Lake Formation.

2. Registre a localização do S3 no Lake Formation usando uma função personalizada.

3. Crie uma instância do Amazon EMR Studio se você ainda não tiver uma (o Amazon EMR Studio é necessário para usar o Amazon EMR Serverless).

4. Crie um aplicativo EMR Serverless

   • Selecione a versão de lançamento emr-7.7.0.

   • Selecione a ARM64 arquitetura.

   • Opte por Usar configurações personalizadas.

   • Desative a capacidade pré-inicializada.

   • Se você planeja fazer um trabalho interativo, selecione Endpoint interativo > Habilitar endpoint para o EMR Studio.

   • Selecione Configurações adicionais > Usar Lake Formation para um controle de acesso refinado.

   • Criar o aplicativo.

5. Use o EMR-S por meio de notebooks EMR-Studio ou da API. StartJobRun

O trabalho do modelo de análise não começa

Causas comuns

As tarefas do modelo de análise podem falhar imediatamente na inicialização devido a três problemas principais de configuração:

• Nomenclatura incorreta do script que não corresponde ao formato exigido

• Função de ponto de entrada ausente ou formatada incorretamente no script do usuário

• Versão incompatível do Python no ambiente virtual

Resolução

Para resolver:

1. Verifique seu script de usuário:

   1. Verifique se seu script de usuário tem um nome de arquivo Python válido.

      Os nomes de arquivo Python válidos usam letras minúsculas, sublinhados para separar palavras e a extensão.py.

2. Verifique a função do ponto de entrada. Se seu script de usuário não tiver uma função de ponto de entrada, adicione uma.

   1. Abra seu script de usuário.

   2. Adicione esta função de ponto de entrada:

      def entrypoint(context):
          # Your analysis code here
      

   3. Verifique se o nome da função está escrito exatamente como. entrypoint

   4. Verifique se a função aceita o context parâmetro.

3. Verifique a compatibilidade da versão do Python:

   1. Verifique se seu ambiente virtual usa Python 3.9.

   2. Para verificar sua versão, execute: python --version

   3. Se necessário, atualize seu ambiente virtual:

      conda create -n analysis-env python=3.9
      conda activate analysis-env
      

Prevenção

• Use o código inicial do modelo de análise fornecido que inclui a estrutura de arquivo correta.

• Configure um ambiente virtual dedicado com o Python 3.9 para todos os modelos de análise.

• Teste seu modelo de análise localmente usando a ferramenta de validação de modelos antes de enviar trabalhos.

• Implemente CI/CD verificações para verificar a nomenclatura do script e os requisitos da função do ponto de entrada.

O trabalho do modelo de análise é iniciado, mas falha durante o processamento

Causas comuns

Os trabalhos de análise podem falhar durante a execução por esses motivos de segurança e formatação:

• Tentativas não autorizadas de acesso direto a AWS serviços como Amazon S3 ou AWS Glue

• Retornando a saída em formatos incorretos que não correspondem às DataFrame especificações exigidas

• Chamadas de rede bloqueadas devido a restrições de segurança no ambiente de execução

Resolução

Para resolver

1. Remova o acesso direto ao AWS serviço:

   1. Pesquise seu código para importações e chamadas diretas de AWS serviços.

   2. Substitua o acesso direto ao S3 pelos métodos de sessão do Spark fornecidos.

   3. Use somente tabelas pré-configuradas por meio da interface de colaboração.

2. Formate as saídas corretamente:

   1. Verifique se todas as saídas são DataFrames Spark.

   2. Atualize sua declaração de devolução para que corresponda ao seguinte formato:

      return {
          "results": {
              "output1": dataframe1
          }
      }
      

   3. Remova quaisquer objetos que não DataFrame sejam devolvidos.

3. Remova as chamadas de rede:

   1. Identifique e remova todas as chamadas externas de API.

   2. Remova qualquer urllib, solicitações ou bibliotecas de rede similares.

   3. Remova qualquer conexão de soquete ou código de cliente HTTP.

Prevenção

• Use o linter de código fornecido para verificar se há AWS importações não autorizadas e chamadas de rede.

• Testes trabalhos no ambiente de desenvolvimento em que as restrições de segurança coincidem com a produção.

• Siga o processo de validação do esquema de saída antes de implantar trabalhos.

• Revise as diretrizes de segurança para obter padrões de acesso ao serviço aprovados.

Falha na configuração do ambiente virtual

Causas comuns

Falhas na configuração do ambiente virtual geralmente ocorrem devido a:

• Arquitetura de CPU incompatível entre ambientes de desenvolvimento e execução

• Problemas de formatação de código Python que impedem a inicialização adequada do ambiente

• Configuração incorreta da imagem base nas configurações do contêiner

Resolução

Para resolver

1. Configure a arquitetura correta:

   1. Verifique sua arquitetura atual com uname -m.

   2. Atualize seu Dockerfile para especificar: ARM64

      FROM --platform=linux/arm64 public.ecr.aws/amazonlinux/amazonlinux:2023-minimal
      

   3. Reconstrua seu contêiner com docker build --platform=linux/arm64.

2. Corrija o recuo do Python:

   1. Execute um formatador de código Python como black em seus arquivos de código.

   2. Verifique o uso consistente de espaços ou tabulações (não de ambos).

   3. Verifique o recuo de todos os blocos de código:

      def my_function():
          if condition:
              do_something()
          return result
      

   4. Use um IDE com destaque de recuo em Python.

3. Valide a configuração do ambiente:

   1. Execute python -m py_compile your_script.py para verificar se há erros de sintaxe.

   2. Teste o ambiente localmente antes da implantação.

   3. Verifique se todas as dependências estão listadas emrequirements.txt.

Prevenção

• Use o Visual Studio Code ou PyCharm com plug-ins de formatação Python

• Configure ganchos de pré-confirmação para executar formatadores de código automaticamente

• Crie e teste ambientes localmente usando a imagem ARM64 base fornecida

• Implemente a verificação automatizada de estilo de código em seu CI/CD pipeline