Classe DynamicRecord Scala AWS Glue

Package : com.amazonaws.services.glue

class DynamicRecord extends Serializable with Writable with Cloneable

Un DynamicRecord est une structure de données à description automatique qui représente une ligne de données de l'ensemble de données en cours de traitement. Elle est auto-descriptive en ce sens que vous pouvez obtenir le schéma de la ligne représentée par le DynamicRecord en inspectant l'enregistrement lui-même. Un DynamicRecord est similaire à un Row dans Apache Spark.

def addField

def addField( path : String,
              dynamicNode : DynamicNode
            ) : Unit 

Ajoute un DynamicNode au chemin d'accès spécifié.

• path — Chemin d'accès du champ à ajouter.

• dynamicNode — DynamicNode à ajouter au chemin d'accès spécifié.

def dropField

 def dropField(path: String, underRename: Boolean = false): Option[DynamicNode]

Supprime un DynamicNode du chemin spécifié et renvoie le nœud supprimé s'il n'y a pas un tableau dans le chemin d'accès spécifié.

• path — Chemin d'accès du champ à supprimer.

• underRenamedropField : valeur True si est appelé dans le cadre d'une transformation en nouveau nom ou false dans le cas contraire (false par défaut).

Retourne un scala.Option Option (DynamicNode).

def setError

def setError( error : Error )

Définit cet enregistrement en tant qu'enregistrement d'erreur, comme spécifié par le paramètre error.

Retourne un DynamicRecord.

def isError

def isError

Vérifie si cet enregistrement est un enregistrement d'erreur.

def getError

def getError

Obtient Error si l'enregistrement est un enregistrement d'erreur. Renvoie scala.Some Some (Erreur) si cet enregistrement est un enregistrement d'erreur ou scala.None dans le cas contraire.

def clearError

def clearError

Définissez Error sur scala.None.None.

def write

override def write( out : DataOutput ) : Unit 

def readFields

override def readFields( in : DataInput ) : Unit 

def clone

override def clone : DynamicRecord 

Clone cet enregistrement en un nouveau DynamicRecord et le renvoie.

def schema

def schema

Obtient Schema en inspectant l'enregistrement.

def getRoot

def getRoot : ObjectNode 

Obtient le ObjectNode racine pour l'enregistrement.

def toJson

def toJson : String 

Obtient la chaîne JSON pour l'enregistrement.

def getFieldNode

def getFieldNode( path : String ) : Option[DynamicNode] 

Obtient la valeur du champ au path spécifié comme option de DynamicNode.

Renvoie scala.Some Some (DynamicNode) si le champ existe, ou dans le cas contraire scala.None.None.

def getField

def getField( path : String ) : Option[Any] 

Obtient la valeur du champ au path spécifié comme option de DynamicNode.

Retourne scala.Some Some (valeur).

def hashCode

override def hashCode : Int 

def equals

override def equals( other : Any )

Objet DynamicRecord

object DynamicRecord

def apply

def apply( row : Row,
           schema : SparkStructType )

Appliquez la méthode pour convertir un objet Row Apache Spark SQL en un DynamicRecord.

• row – Spark SQL Row.

• schema — Schema de cette ligne.

Retourne un DynamicRecord.

Caractéristique RecordTraverser

trait RecordTraverser {
  def nullValue(): Unit
  def byteValue(value: Byte): Unit
  def binaryValue(value: Array[Byte]): Unit
  def booleanValue(value: Boolean): Unit
  def shortValue(value: Short) : Unit
  def intValue(value: Int) : Unit
  def longValue(value: Long) : Unit
  def floatValue(value: Float): Unit
  def doubleValue(value: Double): Unit
  def decimalValue(value: BigDecimal): Unit
  def stringValue(value: String): Unit
  def dateValue(value: Date): Unit
  def timestampValue(value: Timestamp): Unit
  def objectStart(length: Int): Unit
  def objectKey(key: String): Unit
  def objectEnd(): Unit
  def mapStart(length: Int): Unit
  def mapKey(key: String): Unit
  def mapEnd(): Unit
  def arrayStart(length: Int): Unit
  def arrayEnd(): Unit
}