TensorFlow - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

TensorFlow

TensorFlow ist eine symbolische Open-Source-Mathematikbibliothek für maschinelle Intelligenz und Deep-Learning-Anwendungen. Weitere Informationen finden Sie TensorFlow auf der Website. TensorFlow ist mit der Amazon EMR-Release-Version 5.17.0 und höher verfügbar.

In der folgenden Tabelle sind die Version von TensorFlow aufgeführt, die in der neuesten Version der Amazon EMR 7.x-Serie enthalten ist, zusammen mit den Komponenten, mit denen Amazon EMR installiert wird. TensorFlow

Informationen zur Version der Komponenten, mit denen TensorFlow in dieser Version installiert wurde, finden Sie unter Komponentenversionen von Version 7.1.0.

TensorFlow Versionsinformationen für emr-7.1.0
Amazon-EMR-Versionsbezeichnung TensorFlow Version Komponenten, die mit installiert wurden TensorFlow

emr-7.1.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

In der folgenden Tabelle sind die Version von TensorFlow aufgeführt, die in der neuesten Version der Amazon EMR 6.x-Serie enthalten ist, zusammen mit den Komponenten, mit denen Amazon EMR installiert wird. TensorFlow

Informationen zur Version der Komponenten, mit denen TensorFlow in dieser Version installiert wurde, finden Sie unter Komponentenversionen von Version 6.15.0.

TensorFlow Versionsinformationen für emr-6.15.0
Amazon-EMR-Versionsbezeichnung TensorFlow Version Komponenten, die mit installiert wurden TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

In der folgenden Tabelle sind die Version von TensorFlow aufgeführt, die in der neuesten Version der Amazon EMR 5.x-Serie enthalten ist, zusammen mit den Komponenten, mit denen Amazon EMR installiert wird. TensorFlow

Informationen zur Version der Komponenten, mit denen TensorFlow in dieser Version installiert wurde, finden Sie unter Komponentenversionen von Version 5.36.2.

TensorFlow Versionsinformationen für emr-5.36.2
Amazon-EMR-Versionsbezeichnung TensorFlow Version Komponenten, die mit installiert wurden TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow Builds nach Amazon EC2 EC2-Instanztyp

Amazon EMR verwendet je nach den Instance-Typen, die Sie für Ihren Cluster auswählen, unterschiedliche Builds der TensorFlow Bibliothek. In der folgenden Tabelle sind die Builds nach Instance-Typ gruppiert aufgelistet.

EC2-Instance-Typen TensorFlow erstellen

M5 und C5

TensorFlow 1.9.0 mit Intel MKL-Optimierung

P2

TensorFlow 1.9.0 mit CUDA 9.2, cuDNN 7.1

P3

TensorFlow 1.9.0 mit CUDA 9.2, cuDNN 7.1, NCCL 2.2.13

Nvidia NCCL ist nur auf P3-Instances verfügbar. Endbenutzer-Lizenzvereinbarung (EULA): Durch die Verwendung von Nvidia-Komponenten auf Amazon EMR, stimmen Sie den Bedingungen der EULA für das Produkt zu.

Alle anderen

TensorFlow 1.9.0

Sicherheit

Zusätzlich zu den Anweisungen unter TensorFlow Sicheres Verwenden empfehlen wir, Ihren Cluster in einem privaten Subnetz zu starten, um den Zugriff auf vertrauenswürdige Quellen zu beschränken. Weitere Informationen über Amazon-VPC-Optionen finden Sie im Verwaltungshandbuch für Amazon EMR.

Verwenden TensorBoard

TensorBoard ist eine Suite von Visualisierungstools für TensorFlow Programme. Weitere Informationen finden Sie unter TensorBoard: Visualisiertes Lernen auf der Tensorflow-Website.

Für die Verwendung TensorBoard mit Amazon EMR müssen Sie TensorBoard auf dem Cluster-Masterknoten beginnen.

So verwenden Sie TensorBoard mit TensorFlow auf Amazon EMR
  1. Stellen Sie mit dem Master-Knoten Ihres Clusters mithilfe von SSH eine Verbindung her. Weitere Informationen finden Sie unter Mit SSH eine Verbindung zum Hauptknoten herstellen im Verwaltungshandbuch für Amazon EMR.

  2. Geben Sie den folgenden Befehl ein, um TensorBoard auf dem Master-Knoten zu starten. Ersetzen Sie /my/log/directory mit dem Verzeichnis auf dem Master-Knoten, in dem Sie unter Verwendung einer Summary Writer-Operation die Übersichtsdaten gespeichert haben.

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    Standardmäßig verwendet der Master-Knoten Port 6006 und den öffentlichen DNS-Namen des Masters. TensorBoard Nach dem Start TensorBoard wird in der Befehlszeilenausgabe die URL angezeigt, mit der eine Verbindung hergestellt werden kann TensorBoard, wie im folgenden Beispiel gezeigt:

    TensorBoard 1.9.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. Richten Sie den Zugriffs auf Webschnittstellen auf dem Master-Knoten von vertrauenswürdigen Clients aus ein. Weitere Informationen finden Sie unter Anzeigen von auf Amazon-EMR-Clustern gehosteten Webschnittstellen im Verwaltungshandbuch für Amazon EMR.

  4. Öffnet TensorBoard unterhttp://master-public-dns-name:6006.