O AWS Glue é um serviço de integração de dados sem servidor que facilita a descoberta, preparação e combinação de dados para analytics, machine learning e desenvolvimento de aplicações. Um trabalho do AWS Glue contém a lógica de negócios que executa o trabalho de integração de dados no AWS Glue. Há três tipos de trabalho no AWS Glue: Spark (lote e streaming), Ray e shell do Python. Ao definir o trabalho, você especifica a versão do AWS Glue que configura as versões nos ambiente de runtime do Spark, Ray e Python subjacente. Por exemplo: um trabalho do Spark na versão 5.0 do AWS Glue é compatível com o Spark 3.5.4 e com o Python 3.11.
Política de suporte
As versões do AWS Glue são desenvolvidas com base em uma combinação de sistema operacional, linguagem de programação e bibliotecas de software, todos sujeitos a manutenção e atualizações de segurança .A política de suporte de versões do AWS Glue estabelece o encerramento do suporte para uma versão quando qualquer um de seus componentes principais atinge o fim do suporte de longo prazo (LTS, na sigla em inglês) da comunidade e não recebe mais atualizações de segurança .A política de suporte de versões do AWS Glue inclui os seguintes status:
Fim do suporte (EOS): quando uma versão do AWS Glue atinge o status de EOS:
-
O AWS Glue não aplicará mais correções de segurança nem outras atualizações a versões com o status de EOS.
-
Os trabalhos do AWS Glue que são executados em versões com o status de EOS não são elegíveis ao suporte técnico.
-
A execução de trabalhos do AWS Glue em versões com o status de EOS pode não estar coberta pelos SLAs.
Fim da vida útil (EOL): quando uma versão do AWS Glue atinge o status EOL:
-
Não é mais possível criar novos trabalhos ou sessões interativas do AWS Glue nas versões com status de EOL.
-
Não é mais possível iniciar execuções de trabalhos nessas versões do AWS Glue.
-
O AWS Glue interromperá as execuções de trabalhos e as sessões interativas em andamento nas versões com status de EOL.
-
As versões com status de EOL serão removidas dos SDKs e das APIs do AWS Glue.
As versões do AWS Glue apresentadas a seguir atingiram o fim do suporte e serão descontinuadas após a respectiva data de fim da vida útil. As alterações no status de suporte de uma versão entram em vigor à meia-noite (no horário do Pacífico) na data especificada.
| Tipo | Versão do Glue | Término do suporte | Fim da vida útil |
|---|---|---|---|
| Spark | Versão 0.9 do Glue (Spark 2.2, Scala 2 e Python 2) | 1/6/2022 | 1/4/2026 |
| Spark | Versão 1.0 do Glue (Spark 2.4 e Python 2) | 1/6/2022 | 1/4/2026 |
| Spark | Versão 1.0 do Glue (Spark 2.4, Scala 2 e Python 3) | 30/9/2022 | 1/4/2026 |
| Spark | Versão 2.0 do Glue (Spark 2.4 e Python 3) | 31/1/2024 | 1/4/2026 |
| Tipo | Versão do Python | Término do suporte | Fim da vida útil |
| Shell Python | PythonShell 3.6 | 1/3/2026 | 1/4/2026 |
| Shell Python | Python 2 (Glue versão 1.0) | 1/6/2022 | 1/4/2026 |
| Tipo | Versão do notebook | Término do suporte | Fim da vida útil |
| Endpoint de desenvolvimento | Notebook do Zeppelin | 30/9/2022 | NA |
A AWS recomenda enfaticamente migrar seus trabalhos para versões compatíveis.
Para obter informações sobre como migrar seus trabalhos do Spark para a versão mais recente do AWS Glue, consulte Migrar o AWS Glue para trabalhos do Spark para o AWS Glue versão 5.0.
Para migrar seus trabalhos de shell do Python para a versão mais recente do AWS Glue:
No console, escolha
Python 3 (Glue Version 4.0).-
Na API CreateJob/UpdateJob, defina o parâmetro
GlueVersioncomo2.0ePythonVersioncomo3no parâmetroCommand. A configuração doGlueVersionnão afeta o comportamento dos trabalhos de shell do Python, portanto, não há vantagem em incrementar oGlueVersion. Você precisa tornar seu script de trabalho compatível com o Python 3.
