Uso del formato CSV en AWS Glue - AWS Glue
Ejemplo: leer CSVEjemplo: escribir CSVReferencia de CSVUso de un lector CSV optimizado

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso del formato CSV en AWS Glue

AWS Glue recupera datos de fuentes y escribe datos en destinos almacenados y transportados en varios formatos de datos. Si sus datos se almacenan o transportan en formato de datos CSV, este documento presenta las funciones disponibles para usar sus datos en AWS Glue.

AWS Glue admite el formato de archivo de valores separados por comas (CSV). Este formato es un formato de datos mínimo basado en filas. Los CSV a menudo no se ajustan estrictamente a un estándar, pero puede consultar RFC 4180 y RFC 7111 para obtener más información.

Puede usar AWS Glue para leer los CSV de Amazon S3 y de orígenes de streaming, o para escribir los CSV en Amazon S3. Puede leer y escribir archivos bzip y gzip que contengan archivos CSV de S3. Debe configurar el comportamiento de compresión en el Parámetros de conexión S3 en lugar de en la configuración que se describe en esta página.

En la siguiente tabla se muestran las características comunes de AWS Glue que admiten la opción de formato CSV.

Leer Escritura Lectura de streaming Grupo de archivos pequeños Marcadores de trabajo
Compatible Soportado Soportado Soportado Soportado

Ejemplo: leer archivos o carpetas CSV de S3

Requisitos previos: necesitará las rutas de S3 (s3path) en las carpetas o archivos CSV que desee leer.

Configuración: en las opciones de la función, especifique format="csv". En sus connection_options, utilice la clave paths para especificar s3path. Puede configurar la forma en que el lector interactúa con S3 en connection_options. Para obtener más información, consulte Tipos y opciones de conexión para ETL en AWS Glue: Parámetros de conexión S3. Puede configurar el modo en que el lector interpreta los archivos CSV en su format_options. Para obtener más información, consulte Referencia de configuración de CSV.

El siguiente script de ETL de AWS Glue muestra el proceso de lectura de archivos o carpetas CSV desde S3.

Proporcionamos un lector de CSV personalizado con optimizaciones de rendimiento para flujos de trabajo comunes a través de la clave de configuración optimizePerformance. Para determinar si este lector es adecuado para su carga de trabajo, consulte Optimice el rendimiento de lectura con el lector CSV SIMD vectorizado.

Python

Para este ejemplo, use el método create_dynamic_frame.from_options.

# Example: Read CSV from S3
# For show, we handle a CSV with a header row.  Set the withHeader option.
# Consider whether optimizePerformance is right for your workflow.

from pyspark.context import SparkContext
from awsglue.context import GlueContext

sc = SparkContext.getOrCreate()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

dynamicFrame = glueContext.create_dynamic_frame.from_options(
    connection_type="s3",
    connection_options={"paths": ["s3://s3path"]},
    format="csv",
    format_options={
        "withHeader": True,
        # "optimizePerformance": True,
    },
)

También puede usar DataFrames en un script (pyspark.sql.DataFrame).

dataFrame = spark.read\
    .format("csv")\
    .option("header", "true")\
    .load("s3://s3path")
Scala

Para este ejemplo, use la operación getSourceWithFormat.

// Example: Read CSV from S3
// For show, we handle a CSV with a header row.  Set the withHeader option.
// Consider whether optimizePerformance is right for your workflow.

import com.amazonaws.services.glue.util.JsonOptions
import com.amazonaws.services.glue.{DynamicFrame, GlueContext}
import org.apache.spark.SparkContext

object GlueApp {
  def main(sysArgs: Array[String]): Unit = {
    val spark: SparkContext = new SparkContext()
    val glueContext: GlueContext = new GlueContext(spark)
    
    val dynamicFrame = glueContext.getSourceWithFormat(
      formatOptions=JsonOptions("""{"withHeader": true}"""),
      connectionType="s3",
      format="csv",
      options=JsonOptions("""{"paths": ["s3://s3path"], "recurse": true}""")
    ).getDynamicFrame()
  }
}

También puede usar DataFrames en un script (org.apache.spark.sql.DataFrame).

val dataFrame = spark.read
  .option("header","true")
  .format("csv")
  .load("s3://s3path“)

Ejemplo: escribir archivos y carpetas CSV en S3

Requisitos previos: necesitará un DataFrame inicializado (dataFrame) o un DynamicFrame (dynamicFrame). También necesitará la ruta de salida S3 prevista, s3path.

Configuración: en las opciones de la función, especifique format="csv". En sus connection_options, utilice la clave paths para especificar s3path. Puede configurar la forma en que el escritor interactúa con S3 en connection_options. Para obtener más información, consulte Tipos y opciones de conexión para ETL en AWS Glue: Parámetros de conexión S3. Puede configurar la forma en que la operación escribe el contenido de los archivos en format_options. Para obtener más información, consulte Referencia de configuración de CSV. El siguiente script de ETL de AWS Glue muestra el proceso de escritura de archivos y carpetas CSV en S3.

Python

Para este ejemplo, use el método write_dynamic_frame.from_options.

# Example: Write CSV to S3
# For show, customize how we write string type values.  Set quoteChar to -1 so our values are not quoted.

from pyspark.context import SparkContext
from awsglue.context import GlueContext

sc = SparkContext.getOrCreate()
glueContext = GlueContext(sc)

glueContext.write_dynamic_frame.from_options(
    frame=dynamicFrame,
    connection_type="s3",
    connection_options={"path": "s3://s3path"},
    format="csv",
    format_options={
        "quoteChar": -1,
    },
)

También puede usar DataFrames en un script (pyspark.sql.DataFrame).

dataFrame.write\
    .format("csv")\
    .option("quote", None)\
    .mode("append")\
    .save("s3://s3path")
Scala

Para este ejemplo, use el método getSinkWithFormat.

// Example: Write CSV to S3
// For show, customize how we write string type values. Set quoteChar to -1 so our values are not quoted.

import com.amazonaws.services.glue.util.JsonOptions
import com.amazonaws.services.glue.{DynamicFrame, GlueContext}
import org.apache.spark.SparkContext

object GlueApp {
  def main(sysArgs: Array[String]): Unit = {
    val spark: SparkContext = new SparkContext()
    val glueContext: GlueContext = new GlueContext(spark)
    
    glueContext.getSinkWithFormat(
        connectionType="s3",
        options=JsonOptions("""{"path": "s3://s3path"}"""),
        format="csv"
    ).writeDynamicFrame(dynamicFrame)
  }
}

También puede usar DataFrames en un script (org.apache.spark.sql.DataFrame).

dataFrame.write
    .format("csv")
    .option("quote", null)
    .mode("Append")
    .save("s3://s3path")

Referencia de la configuración de CVS

Puede utilizar las siguientes format_options donde las bibliotecas de AWS Glue especifiquen format="csv":

  • separator: especifica el carácter delimitador. El valor predeterminado es una coma, pero puede especificarse cualquier otro carácter.

    • Tipo: Texto, Valor predeterminado: ","

  • escaper: especifica un carácter que se usa para aplicar escape. Esta opción solo se usa cuando se leen archivos CSV, no cuando se escriben. Si se habilita, el carácter que va inmediatamente después se usa tal cual, excepto un pequeño conjunto de escapes conocidos (\n, \r, \t y \0).

    • Tipo: Texto, Valor predeterminado: ninguno

  • quoteChar: especifica el carácter que se usa para aplicar comillas. El carácter predeterminado es una comilla doble. Establezca esta opción en -1 para desactivar las comillas por completo.

    • Tipo: Texto, Valor predeterminado: '"'

  • multiLine: especifica si un solo registro puede abarcar varias líneas. Esto puede suceder cuando un campo contiene un carácter de nueva línea entre comillas. Debe configurar esta opción en True si un registro abarca varias líneas. Habilitar multiLine podría disminuir el rendimiento ya que requiere una división de archivos más cuidadosa durante el análisis.

    • Tipo: Booleano, Valor predeterminado: false

  • withHeader: especifica si la primera línea se debe tratar como un encabezado. Esta opción se puede utilizar en la clase DynamicFrameReader.

    • Tipo: Booleano, Valor predeterminado: false

  • writeHeader: especifica si se debe escribir el encabezado en la salida. Esta opción se puede utilizar en la clase DynamicFrameWriter.

    • Tipo: Booleano, Valor predeterminado: true

  • skipFirst: especifica si se debe omitir la primera línea de datos.

    • Tipo: Booleano, Valor predeterminado: false

  • optimizePerformance: especifica si se debe utilizar el lector CSV SIMD avanzado junto con los formatos de memoria columnar basados en Apache Arrow. Solo se encuentra disponible en 3.0+ AWS Glue.

    • Tipo: Booleano, Valor predeterminado: false

  • strictCheckForQuoting: al escribir archivos CSV, Glue puede agregar comillas a los valores que interpreta como cadenas. Esto se hace para evitar la ambigüedad en lo que está escrito. Para ahorrar tiempo a la hora de decidir qué escribir, Glue puede citar en determinadas situaciones en las que las citas no son necesarias. Si se habilita una verificación estricta, el cálculo será más intensivo y solo cotizará cuando sea estrictamente necesario. Solo se encuentra disponible en 3.0+ AWS Glue.

    • Tipo: Booleano, Valor predeterminado: false

Optimice el rendimiento de lectura con el lector CSV SIMD vectorizado

AWS Glue versión 3.0 agrega un lector de CSV optimizado que puede acelerar significativamente el rendimiento general del trabajo en comparación con los lectores de CSV basados en filas.

El lector optimizado:

  • Usa las instrucciones de la CPU SIMD para leer desde el disco

  • Escribe inmediatamente los registros en la memoria en un formato de columnas (Apache Arrow)

  • Divide los registros en lotes

Esto ahorra tiempo de procesamiento cuando los registros se agrupan en lotes o se convierten a un formato de columnas más adelante. Algunos ejemplos son cuando se cambian esquemas o se recuperan datos por columna.

Para usar el lector optimizado, configure "optimizePerformance" como true en format_options o propiedad de tabla.

glueContext.create_dynamic_frame.from_options(
    frame = datasource1,
    connection_type = "s3", 
    connection_options = {"paths": ["s3://s3path"]}, 
    format = "csv", 
    format_options={
        "optimizePerformance": True, 
        "separator": ","
        }, 
    transformation_ctx = "datasink2")

Limitaciones para el lector CSV vectorizado

Tenga en cuenta las siguientes limitaciones del lector de CSV vectorizado:

  • No soporta opciones de formato multiLine y escaper. Utiliza el escaper predeterminado del carácter de comillas dobles '"'. Cuando se establecen estas opciones, AWS Glue automáticamente vuelve a utilizar el lector CSV basado en filas.

  • No soporta la creación de un DynamicFrame con ChoiceType.

  • No soporta la creación de un DynamicFrame con registros de error.

  • No soporta la lectura de archivos CSV con caracteres multibyte, como caracteres japoneses o chinos.