Uso do Delta Lake com o Amazon EMR no EKS

Para usar o Delta Lake com aplicações do Amazon EMR no EKS

1. Ao iniciar uma execução de trabalho para enviar um trabalho do Spark na configuração da aplicação, inclua os arquivos JAR do Delta Lake:

   --job-driver '{"sparkSubmitJobDriver" : {
         "sparkSubmitParameters" : "--jars local:///usr/share/aws/delta/lib/delta-core.jar,local:///usr/share/aws/delta/lib/delta-storage.jar,local:///usr/share/aws/delta/lib/delta-storage-s3-dynamodb.jar"}}'

2. Inclua a configuração adicional do Delta Lake e use o Catálogo de Dados do AWS Glue como seu metastore.

   --configuration-overrides '{
           "applicationConfiguration": [
           {
             "classification" : "spark-defaults", 
             "properties" : {
               "spark.sql.extensions" : "io.delta.sql.DeltaSparkSessionExtension", 
               "spark.sql.catalog.spark_catalog":"org.apache.spark.sql.delta.catalog.DeltaCatalog",
   "spark.hadoop.hive.metastore.client.factory.class":"com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory" 
              }
           }]}'