Trabalhos Spark e PySpark do AWS Glue - AWS Glue

Trabalhos Spark e PySpark do AWS Glue

O AWS Glue oferece suporte a trabalhos do Spark e PySpark. Um trabalho do Spark é executado em um ambiente Apache Spark gerenciado pelo AWS Glue. Ele processa os dados em lotes. Um trabalho de ETL de streaming é semelhante a um trabalho do Spark, exceto que ele executa ETL em streams de dados. Ele usa o framework do Apache Spark Structured Streaming. Alguns recursos de trabalho do Spark não estão disponíveis para trabalhos ETL de streaming.

As seções a seguir fornecem mais informações sobre trabalhos Spark e PySpark do AWS Glue.