O AWS Glue é um serviço de integração de dados sem servidor que facilita a descoberta, preparação e combinação de dados para análise, machine learning e desenvolvimento de aplicações. Um trabalho do AWS Glue contém a lógica de negócios que executa o trabalho de integração de dados no AWS Glue. Há três tipos de trabalho no AWS Glue: Spark (lote e streaming), Ray e shell do Python. Ao definir o trabalho, você especifica a versão do AWS Glue que configura as versões nos ambiente de runtime do Spark, Ray e Python subjacente. Por exemplo, um trabalho do Spark no AWS Glue versão 2.0 é compatível com Spark 2.4.3 e Python 3.7.
Política de suporte
As versões do AWS Glue se baseiam em uma combinação de sistema operacional, linguagem de programação e bibliotecas de software que estão sujeitos a manutenção e atualizações de segurança. A política de suporte de versão do AWS Glue é descontinuar o suporte para uma versão quando qualquer componente importante dela chega ao fim do suporte de longo prazo (LTS) da comunidade e as atualizações de segurança não estão mais disponíveis. Depois que uma versão entra em Fim de Suporte (EOS), o AWS Glue pode não mais aplicar patches de segurança ou outras atualizações às versões EOS. Os trabalhos do AWS Glue em versões EOS não são elegíveis para suporte técnico. O AWS Glue também poderá não honrar os SLAs quando os trabalhos forem executados nas versões EOS.
As versões do AWS Glue a seguir atingiram ou estão programadas para término do suporte. O término do suporte começa à meia-noite (fuso horário do Pacífico) na data especificada.
| Tipo | Versão do Glue | Término do suporte |
|---|---|---|
| Spark | Spark 2.2, Scala 2 (Glue versão 0.9) | 1/6/2022 |
| Spark | Spark 2.2, Python 2 (Glue versão 0.9) | 1/6/2022 |
| Spark | Spark 2.4, Python 2 (Glue versão 1.0) | 1/6/2022 |
| Spark | Spark 2.4, Python 3 (Glue versão 1.0) | 30/09/2022 |
| Spark | Spark 2.4, Scala 2 (Glue versão 1.0) | 30/09/2022 |
| Spark | Glue versão 2.0 | 31/01/2024 |
| Tipo | Versão do Python | Término do suporte |
| Shell Python | Python 2 (Glue versão 1.0) | 1/6/2022 |
| Tipo | Versão do notebook | Término do suporte |
| Endpoint de desenvolvimento | Notebook do Zeppelin | 30/09/2022 |
A AWS recomenda enfaticamente migrar seus trabalhos para versões compatíveis.
Para obter informações sobre como migrar trabalhos do Spark para a versão mais recente do AWS Glue, consulte Migrar trabalhos do AWS Glue para o AWS Glue versão 4.0.
Para migrar seus trabalhos de shell do Python para a versão mais recente do AWS Glue:
No console, escolha
Python 3 (Glue Version 4.0).-
Na API CreateJob/UpdateJob, defina o parâmetro
GlueVersioncomo2.0ePythonVersioncomo3no parâmetroCommand. A configuração doGlueVersionnão afeta o comportamento dos trabalhos de shell do Python, portanto, não há vantagem em incrementar oGlueVersion. Você precisa tornar seu script de trabalho compatível com o Python 3.
