TensorFlow - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

TensorFlow

TensorFlowBei handelt es sich um ein symbolisch-mathematische Open-Source-Bibliothek für Machine Intelligence- und Deep Learning-Anwendungen. Weitere Informationen finden Sie auf der TensorFlow-Website. TensorFlow ist ab Amazon EMR-Version 5.17.0 verfügbar.

In der folgenden Tabelle wird die Version von TensorFlow, die in der neuesten Version von Amazon EMR-6.x-Serie enthalten ist, zusammen mit den Komponenten aufgeführt, die Amazon EMR mit TensorFlow installiert.

Die Version der Komponenten, die mit TensorFlow in dieser Version installiert wurden, finden Sie unter Komponentenversionen der Version 6.2.0.

TensorFlow-Versionsinformationen für emr-6.2.0
Amazon EMR-Versionsbezeichnung TensorFlow-Version Mit TensorFlow installierte Komponenten

emr-6.2.0

TensorFlow: 2.3.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

In der folgenden Tabelle ist die Version von TensorFlow, die in der neuesten Version von Amazon EMR 5.x enthalten ist, zusammen mit den Komponenten aufgeführt, die Amazon EMR mit TensorFlow installiert.

Die Version der Komponenten, die mit TensorFlow in dieser Version installiert wurden, finden Sie unter Komponentenversionen der Version 5.32.0.

TensorFlow-Versionsinformationen für emr-5.32.0
Amazon EMR-Versionsbezeichnung TensorFlow-Version Mit installierte KomponentenTensorFlow

emr-5.32.0

TensorFlow 2.3.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow-Builds nach Amazon EC2-Instance-Typ

Amazon EMR verwendet verschiedene Builds der TensorFlow-Bibliothek. Dies richtet sich nach den Instance-Typen, die Sie für Ihren Cluster ausgewählt haben. In der folgenden Tabelle sind die Builds nach Instance-Typ gruppiert aufgelistet.

EC2-Instance-Typen TensorFlow-Build

M5 und C5

TensorFlow 1.9.0 mit Intel MKL-Optimierung

P2

TensorFlow 1.9.0 mit CUDA 9.2, cuDNN 7.1

P3

TensorFlow 1.9.0 mit CUDA 9.2, cuDNN 7.1, NCCL 2.2.13

Nvidia NCCL ist nur auf P3-Instances verfügbar. Endbenutzer-Lizenzvereinbarung (EULA): Durch die Verwendung von Nvidia-Komponenten auf Amazon EMR, stimmen Sie den Bedingungen der EULA für das Produkt. zu.

Alle anderen

TensorFlow 1.9.0

Security

Wir empfehlen, dass Sie Ihren Cluster in einem privaten Subnetz starten, um den Zugriff auf vertrauenswürdige Quellen zu beschränken, und nicht nur den Anweisungen in Using TensorFlow Securely zu folgen. Weitere Informationen finden Sie unter Amazon VPC-Optionen im Management Guide für Amazon EMR.

Verwenden von TensorBoard

Bei TensorBoard handelt es sich um eine Reihe von Tools zur Visualisierung von TensorFlow-Programmen. Weitere Informationen finden Sie unter TensorBoard: Visualized Learning auf der Tensorflow-Website.

Um TensorBoard mit Amazon EMR verwenden, müssen Sie TensorBoard auf dem Master-Knoten im Cluster starten.

So verwenden Sie TensorBoard mit TensorFlow auf Amazon EMR

  1. Stellen Sie mit dem Master-Knoten Ihres Clusters mithilfe von SSH eine Verbindung her. Weitere Informationen finden Sie unter Verbinden mit dem Master-Knoten über SSH im Management Guide für Amazon EMR.

  2. Geben Sie den folgenden Befehl ein, um TensorBoard auf dem Master-Knoten zu starten. Ersetzen Sie /my/log/directory mit dem Verzeichnis auf dem Master-Knoten, in dem Sie unter Verwendung einer Summary Writer-Operation die Übersichtsdaten gespeichert haben.

    python3 -m tensorboard.main --logdir=/my/log/dir

    Standardmäßig hostet der Master-Knoten TensorBoard über Port 6006 und über den öffentlichen DNS-Namen für den Master-Knoten. Wenn Sie TensorBoard gestartet haben, wird in der Befehlszeilenausgabe die URL angezeigt, über die Sie eine Verbindung mit TensorBoard herstellen können, wie im folgenden Beispiel gezeigt:

    TensorBoard 1.9.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. Richten Sie den Zugriffs auf Webschnittstellen auf dem Master-Knoten von vertrauenswürdigen Clients aus ein. Weitere Informationen finden Sie unter Anzeigen von auf Amazon EMR-Clustern gehosteten Webschnittstellen im Management Guide für Amazon EMR.

  4. Öffnen Sie TensorBoard über die URL http://master-public-dns-name:6006.