S3 Select mit Spark zur Verbesserung der Leistung bei Abfragen verwenden

Mit Amazon-EMR-Version 5.17.0 und höher können Sie S3 Select mit Spark auf Amazon EMR verwenden. S3 Select ermöglicht es Anwendungen, nur eine Teilmenge von Daten aus einem Objekt abzurufen. Bei Amazon EMR wird die numerische Arbeit zur Filterung großer Datensätze von dem Cluster an Amazon S3 ausgelagert. Dies kann die Leistung in einigen Anwendungen verbessern und reduziert die Menge der zwischen Amazon EMR und Amazon S3 übertragenen Daten.

S3 Select unterstützt CSV und JSON-Dateien, das Datenformat wird unter Verwendung von s3selectCSV und s3selectJSON angegeben. Weitere Informationen und Beispiele finden Sie unter S3 Select in Ihrem Code angeben.

Ist S3 Select das Richtige für meine Anwendung?

Wir empfehlen, dass Sie Benchmark-Tests für Ihre Anwendungen im Vergleich mit und ohne S3 Select durchführen, um zu sehen, ob es für Ihre Anwendung geeignet sein könnte.

Verwenden Sie die folgenden Richtlinien, um zu bestimmen, ob Ihre Anwendung ein Kandidat für die Verwendung von S3 ist:

• Ihre Abfrage filtert mehr als die Hälfte des ursprünglichen Datensatzes.

• Ihre Netzwerkverbindung zwischen Amazon S3 und dem Amazon-EMR-Cluster hat eine gute Übertragungsgeschwindigkeit und verfügbare Bandbreite. Amazon S3 komprimiert keine HTTP-Antworten, sodass die Antwortgröße bei komprimierten Eingabedateien wahrscheinlich zunimmt.

Überlegungen und Einschränkungen

• Die Amazon-S3-serverseitige Verschlüsselung mit vom Kunden bereitgestellten Verschlüsselungsschlüsseln (SSE-C) und die clientseitige Verschlüsselung werden nicht unterstützt.

• Die Eigenschaft AllowQuotedRecordDelimiters wird nicht unterstützt. Wenn diese Eigenschaft angegeben ist, schlägt die Abfrage fehl.

• Nur CSV- und JSON-Dateien im UTF-8-Format werden unterstützt. Es werden keine CSV-Datensätze unterstützt, die sich über mehrere Zeilen erstrecken.

• Es werden nur unkomprimierte oder gzip-Dateien unterstützt.

• Die Optionen für die Datenformate CSV und JSON in Spark (z. B. nanValue, positiveInf, negativeInf) sowie Optionen zum Umgang mit beschädigten Datensätzen (z. B. der failfast-Modus zur frühen Terminierung und der dropmalformed-Modus zum Überspringen von Datensätzen im falschen Format) werden nicht unterstützt.

• Die Verwendung von Kommas als Tausender-Trennzeichen wird bei Dezimalzahlen nicht unterstützt. Beispielweise ist 10,000 ungültig, 10000 wird unterstützt.

• Kommentarzeichen auf der letzten Zeile werden nicht unterstützt.

• Leere Zeilen am Ende einer Datei werden nicht verarbeitet.

• Die folgenden Filter werden nicht an Amazon S3 ausgelagert:

  • Aggregatfunktionen wie COUNT() und SUM().

  • Filter, die ein Attribut über einen CAST()-Aufruf konvertieren. Zum Beispiel CAST(stringColumn as INT) = 1.

  • Filter mit einem Attribut, das ein Objekt ist oder einem zusammengesetzten Attribut. Zum Beispiel intArray[1] = 1, objectColumn.objectNumber = 1.

  • Filter, deren Wert ist nicht literal ist. Beispiel: intColumn1 = intColumn2

  • Es werden nur die von S3 Select unterstützten Datentypen unterstützt, und es gelten die dokumentierten Einschränkungen.

S3 Select in Ihrem Code angeben

Die folgenden Beispiele zeigen, wie Sie mit S3 Select für CSV angeben, mit Scala, SQL, R und PySpark. Auf die gleiche Weise können Sie mit S3 Select JSON als Datenformat festlegen. Eine Liste der Optionen, der Standardwerte und der Einschränkungen finden Sie unter Optionen.

PySpark

spark
  .read
  .format("s3selectCSV") // "s3selectJson" for Json
  .schema(...) // optional, but recommended
  .options(...) // optional
  .load("s3://path/to/my/datafiles")

R

read.df("s3://path/to/my/datafiles", "s3selectCSV", schema, header = "true", delimiter = "\t")

Scala

spark
  .read
  .format("s3selectCSV") // "s3selectJson" for Json
  .schema(...) // optional, but recommended
  .options(...) // optional. Examples:  
  // .options(Map("quote" -> "\'", "header" -> "true")) or
  // .option("quote", "\'").option("header", "true")
  .load("s3://path/to/my/datafiles")

SQL

CREATE TEMPORARY VIEW MyView (number INT, name STRING) USING s3selectCSV OPTIONS (path "s3://path/to/my/datafiles", header "true", delimiter "\t")

Optionen

Die folgenden Optionen sind verfügbar, wenn s3selectCSV und s3selectJSON verwendet wird. Wenn nichts angegeben wird, werden die Standardwerte verwendet.

Optionen für S3selectCSV

Option	Standard	Verwendung
compression	"none"	Gibt an, ob Komprimierung verwendet wird. "gzip" wird neben "none" als einzige Einstellung unterstützt.
delimiter	","	Gibt den Feldbegrenzer an.
quote	'\"'	Gibt das Zeichen an, das als Anführungszeichen verwendet wird. Die Angabe einer leeren Zeichenfolge wird nicht unterstützt und führt zu einem XML-Fehler aufgrund fehlerhaftem Format.
escape	'\\'	Gibt das Zeichen an, das als Escape-Zeichen verwendet wird.
header	"false"	"false" gibt an, dass es keine Kopfzeile gibt. "true" gibt an, dass die erste Zeile die Kopfzeile ist. Es werden ausschließlich Kopfzeilen in der ersten Zeile unterstützt, und leere Zeilen vor der Kopfzeile werden nicht unterstützt.
Kommentar	"#"	Gibt das Zeichen an, das als Kommentarzeichen verwendet wird. Der Kommentarindikator kann nicht deaktiviert werden. Dies bedeutet, dass der Wert \u0000 nicht unterstützt wird.
nullValue	""

Optionen für S3selectJSON

Option	Standard	Verwendung
compression	"none"	Gibt an, ob Komprimierung verwendet wird. "gzip" wird neben "none" als einzige Einstellung unterstützt.
multiline	„false“	"false" gibt an, dass die JSON-Daten in S3 Select im LINES-Format vorliegt. Dies bedeutet, dass jede Zeile in den Eingabedaten genau ein JSON-Objekt enthält. "true" gibt an, dass die JSON-Daten in S3 Select im DOCUMENT-Format vorliegen. Dies bedeutet, dass sich ein JSON-Objekt in den Eingabedaten über mehrere Zeilen erstrecken kann.