TensorFlow - Amazon EMR

TensorFlow

Bei TensorFlow handelt es sich um ein symbolisch-mathematische Open-Source-Bibliothek für Machine-Intelligence- und Deep-Learning-Anwendungen. Weitere Informationen finden Sie auf der TensorFlow-Webseite. TensorFlow ist mit Amazon-EMR-Version 5.17.0 und höher verfügbar.

In der folgenden Tabelle wird die Version von TensorFlow, die in der neuesten Version von Amazon-EMR-6.x-Serie enthalten ist, zusammen mit den Komponenten aufgeführt, die Amazon EMR mit TensorFlow installiert.

Die Version der Komponenten, die mit TensorFlow in dieser Version installiert wurden, finden Sie unter Komponentenversionen der Version 6.14.0.

TensorFlow-Versionsinformationen für emr-6.14.0
Amazon-EMR-Versionsbezeichnung TensorFlow-Version Mit TensorFlow installierte Komponenten

emr-6.14.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

In der folgenden Tabelle ist die Version von TensorFlow, die in der neuesten Version von Amazon EMR 5.x enthalten ist, zusammen mit den Komponenten aufgeführt, die Amazon EMR mit TensorFlow installiert.

Die Version der Komponenten, die mit TensorFlow in dieser Version installiert wurden, finden Sie unter Komponentenversionen der Version 6.14.0.

TensorFlow-Versionsinformationen für emr-5.36.1
Amazon-EMR-Versionsbezeichnung TensorFlow-Version Mit TensorFlow installierte Komponenten

emr-5.36.1

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow-Builds nach Amazon-EC2-Instance-Typ

Amazon EMR verwendet verschiedene Builds der TensorFlow-Bibliothek. Dies richtet sich nach den Instance-Typen, die Sie für Ihren Cluster ausgewählt haben. In der folgenden Tabelle sind die Builds nach Instance-Typ gruppiert aufgelistet.

EC2-Instance-Typen TensorFlow-Build

M5 und C5

TensorFlow 1.9.0 mit Intel MKL-Optimierung

P2

TensorFlow 1.9.0 mit CUDA 9.2, cuDNN 7.1

P3

TensorFlow 1.9.0 mit CUDA 9.2, cuDNN 7.1, NCCL 2.2.13

Nvidia NCCL ist nur auf P3-Instances verfügbar. Endbenutzer-Lizenzvereinbarung (EULA): Durch die Verwendung von Nvidia-Komponenten auf Amazon EMR, stimmen Sie den Bedingungen der EULA für das Produkt zu.

Alle anderen

TensorFlow 1.9.0

Sicherheit

Wir empfehlen, den Anleitungen in TensorFlow sicher nutzen zu folgen. Des weiteren empfehlen wir, das Clusters in einem privaten Subnetz zu starten, damit Sie den Zugriff auf vertrauenswürdige Quellen erhalten. Weitere Informationen über Amazon-VPC-Optionen finden Sie im Verwaltungshandbuch für Amazon EMR.

Verwenden von TensorBoard

Bei TensorBoard handelt es sich um eine Reihe von Tools zur Visualisierung von TensorFlow-Programmen. Weitere Informationen finden Sie unter TensorBoard: Visualisiertes Lernen auf der TensorFlow-Website.

Um TensorBoard mit Amazon EMR verwenden, müssen Sie TensorBoard auf dem Hauptknoten im Cluster starten.

So verwenden Sie TensorBoard mit TensorFlow auf Amazon EMR
  1. Stellen Sie mit dem Master-Knoten Ihres Clusters mithilfe von SSH eine Verbindung her. Weitere Informationen finden Sie unter Mit SSH eine Verbindung zum Hauptknoten herstellen im Verwaltungshandbuch für Amazon EMR.

  2. Geben Sie den folgenden Befehl ein, um TensorBoard auf dem Master-Knoten zu starten. Ersetzen Sie /my/log/directory mit dem Verzeichnis auf dem Master-Knoten, in dem Sie unter Verwendung einer Summary Writer-Operation die Übersichtsdaten gespeichert haben.

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    Standardmäßig hostet der Master-Knoten TensorBoard über Port 6006 und über den öffentlichen DNS-Namen für den Master-Knoten. Wenn Sie TensorBoard gestartet haben, wird in der Befehlszeilenausgabe die URL angezeigt, über die Sie eine Verbindung mit TensorBoard herstellen können, wie im folgenden Beispiel gezeigt:

    TensorBoard 1.9.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. Richten Sie den Zugriffs auf Webschnittstellen auf dem Master-Knoten von vertrauenswürdigen Clients aus ein. Weitere Informationen finden Sie unter Anzeigen von auf Amazon-EMR-Clustern gehosteten Webschnittstellen im Verwaltungshandbuch für Amazon EMR.

  4. Öffnen Sie TensorBoard über die URL http://master-public-dns-name:6006.