AWS Glue Scala DynamicRecord-Klasse

Paket: com.amazonaws.services.glue

class DynamicRecord extends Serializable with Writable with Cloneable

Ein DynamicRecord ist eine selbstbeschreibende Datenstruktur, die eine Reihe von Daten im bearbeiteten Datenbestand repräsentiert. Sie ist selbstbeschreibend in dem Sinne, dass Sie das Schema der Zeile erhalten können, die durch den DynamicRecord dargestellt wird, indem Sie den Datensatz selbst inspizieren. Ein DynamicRecord ist vergleichbar mit einer Row in Apache Spark.

Def addField

def addField( path : String,
              dynamicNode : DynamicNode
            ) : Unit 

Fügt einen DynamicNode zum angegebenen Pfad hinzu.

• path – Der Pfad für das hinzuzufügende Feld.

• dynamicNode – Die DynamicNode, der an dem angegebenen Pfad hinzugefügt werden soll.

Def dropField

 def dropField(path: String, underRename: Boolean = false): Option[DynamicNode]

Verwirft ein DynamicNode im angegebenen Pfad und gibt den verworfenen Knoten zurück, wenn kein Array im angegebenen Pfad vorhanden ist.

• path – Der Pfad zum zu verwerfenden Feld.

• underRenamedropField – "True" wenn im Rahmen einer Umbenennungstransformationen aufgerufen wird, andernfalls "false" (Standard: "false").

Gibt eine scala.Option Option zurück (DynamicNode).

Def setError

def setError( error : Error )

Legt diesen Datensatz als Fehlerdatensatz fest, wie im error-Parameter angegeben.

Gibt eine DynamicRecord zurück.

Def isError

def isError

Prüft, ob der Datensatz ein Fehlerdatensatz ist.

Def getError

def getError

Ruft den Error ab, wenn der Datensatz ein Fehlerdatensatz ist. Gibt scala.Some Some (Fehler) zurück, wenn der Datensatz ein Fehlerdatensatz ist, andernfalls scala.None.

Def clearError

def clearError

Legen Sie den Wert für Error auf scala.None.None fest.

Def write

override def write( out : DataOutput ) : Unit 

Def readFields

override def readFields( in : DataInput ) : Unit 

Def clone

override def clone : DynamicRecord 

Klont diesen Datensatz zu einem neuen DynamicRecord und gibt diesen zurück.

Def schema

def schema

Ruft durch Untersuchung des Datensatzes das Schema ab.

Def getRoot

def getRoot : ObjectNode 

Liefert den Wurzel-ObjectNode für den Datensatz.

Def toJson

def toJson : String 

Ruft die JSON-Zeichenfolge für den Datensatz ab.

Def getFieldNode

def getFieldNode( path : String ) : Option[DynamicNode] 

Liefert den Wert des Feldes am angegebenen path als Option von DynamicNode.

Gibt scala.Some Some zurück (DynamicNode), wenn das Feld vorhanden ist, andernfalls scala.None.None .

Def getField

def getField( path : String ) : Option[Any] 

Liefert den Wert des Feldes am angegebenen path als Option von DynamicNode.

Gibt scala.Some Some zurück (Wert).

Def hashCode

override def hashCode : Int 

Def equals

override def equals( other : Any )

DynamicRecord-Objekt

object DynamicRecord

Def apply

def apply( row : Row,
           schema : SparkStructType )

Wenden Sie die Methode an, um eine Apache Spark SQL-Row in einen DynamicRecord zu konvertieren.

• row – Eine Spark SQL-Row.

• schema – Das Schema dieser Zeile.

Gibt eine DynamicRecord zurück.

RecordTraverser-Trait

trait RecordTraverser {
  def nullValue(): Unit
  def byteValue(value: Byte): Unit
  def binaryValue(value: Array[Byte]): Unit
  def booleanValue(value: Boolean): Unit
  def shortValue(value: Short) : Unit
  def intValue(value: Int) : Unit
  def longValue(value: Long) : Unit
  def floatValue(value: Float): Unit
  def doubleValue(value: Double): Unit
  def decimalValue(value: BigDecimal): Unit
  def stringValue(value: String): Unit
  def dateValue(value: Date): Unit
  def timestampValue(value: Timestamp): Unit
  def objectStart(length: Int): Unit
  def objectKey(key: String): Unit
  def objectEnd(): Unit
  def mapStart(length: Int): Unit
  def mapKey(key: String): Unit
  def mapEnd(): Unit
  def arrayStart(length: Int): Unit
  def arrayEnd(): Unit
}