Utilisation du format Ion dans AWS Glue

AWS Glue récupère les données des sources et écrit les données sur des cibles stockées et transportées dans différents formats de données. Si vos données sont stockées ou transportées au format de données lon, ce document vous présente les fonctionnalités disponibles pour utiliser vos données dans AWS Glue.

AWS Glue prend en charge l'utilisation du format lon. Ce format représente des structures de données (qui ne sont pas basées sur des lignes ou des colonnes) dans des représentations binaires et en texte brut interchangeables. Pour accéder à une présentation du format par les auteurs, consultez Amazon Ion. (Pour plus d'informations, consultez la spécification Amazon Ion.)

Vous pouvez utiliser AWS Glue pour lecture des fichiers Ion depuis Amazon S3. Vous pouvez lirebzip gzip et des archives contenant des fichiers lon provenant de S3. Vous configurez le comportement de compression sur Paramètres de connexion S3 plutôt que dans la configuration décrite sur cette page.

La table suivante indique les fonctions courantes de AWS Glue qui prennent en charge l'option de format lon.

Lire	Écrire	Lecture en streaming	Groupement des petits fichiers	Signets de tâche
Pris en charge	Non pris en charge	Non pris en charge	Pris en charge	Non pris en charge

Exemple : lecture de fichiers ou de dossiers lon de S3

Prérequis : vous aurez besoin des chemins S3 (s3path) vers des fichiers ou dossiers lon que vous souhaitez lire.

Configuration : dans vos options de fonction, spécifiez format="json". Dans vos connection_options, utilisez la clé paths pour spécifier votre s3path. Vous pouvez configurer la manière dont le lecteur interagit avec S3 dans les connection_options. Pour plus d'informations, consultez les Types et options de connexion pour ETL dans AWS Glue : Référence des options de connexion Amazon S3.

Le script AWS Glue ETL suivant montre le processus de lecture de fichiers ou dossiers lon à partir de S3.

Python

Pour cet exemple, utilisez la méthode create_dynamic_frame.from_options.

# Example: Read ION from S3

from pyspark.context import SparkContext
from awsglue.context import GlueContext

sc = SparkContext.getOrCreate()
glueContext = GlueContext(sc)

dynamicFrame = glueContext.create_dynamic_frame.from_options(
    connection_type="s3",
    connection_options={"paths": ["s3://s3path"]},
    format="ion"
)

Scala

Pour cet exemple, utilisez l'opération getSourceWithFormat.

// Example: Read ION from S3

import com.amazonaws.services.glue.util.JsonOptions
import com.amazonaws.services.glue.GlueContext
import org.apache.spark.SparkContext

object GlueApp {
  def main(sysArgs: Array[String]): Unit = {
    val spark: SparkContext = new SparkContext()
    val glueContext: GlueContext = new GlueContext(spark)

    val dynamicFrame = glueContext.getSourceWithFormat(
      connectionType="s3",
      format="ion",
      options=JsonOptions("""{"paths": ["s3://s3path"], "recurse": true}""")
    ).getDynamicFrame()
  }
}

Référence de configurations lon

Il n'y a aucune valeur format_options pour format="ion".