TensorFlow
Bei TensorFlow handelt es sich um ein symbolisch-mathematische Open-Source-Bibliothek für Machine-Intelligence- und Deep-Learning-Anwendungen. Weitere Informationen finden Sie auf der TensorFlow-Webseite
In der folgenden Tabelle wird die Version von TensorFlow, die in der neuesten Version von Amazon-EMR-6.x-Serie enthalten ist, zusammen mit den Komponenten aufgeführt, die Amazon EMR mit TensorFlow installiert.
Die Version der Komponenten, die mit TensorFlow in dieser Version installiert wurden, finden Sie unter Komponentenversionen der Version 6.14.0.
TensorFlow-Versionsinformationen für emr-6.14.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Amazon-EMR-Versionsbezeichnung | TensorFlow-Version | Mit TensorFlow installierte Komponenten | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-6.14.0 |
TensorFlow 2.11.0 |
emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow |
In der folgenden Tabelle ist die Version von TensorFlow, die in der neuesten Version von Amazon EMR 5.x enthalten ist, zusammen mit den Komponenten aufgeführt, die Amazon EMR mit TensorFlow installiert.
Die Version der Komponenten, die mit TensorFlow in dieser Version installiert wurden, finden Sie unter Komponentenversionen der Version 6.14.0.
TensorFlow-Versionsinformationen für emr-5.36.1 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Amazon-EMR-Versionsbezeichnung | TensorFlow-Version | Mit TensorFlow installierte Komponenten | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-5.36.1 |
TensorFlow 2.4.1 |
emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow |
TensorFlow-Builds nach Amazon-EC2-Instance-Typ
Amazon EMR verwendet verschiedene Builds der TensorFlow-Bibliothek. Dies richtet sich nach den Instance-Typen, die Sie für Ihren Cluster ausgewählt haben. In der folgenden Tabelle sind die Builds nach Instance-Typ gruppiert aufgelistet.
EC2-Instance-Typen | TensorFlow-Build |
---|---|
M5 und C5 |
TensorFlow 1.9.0 mit Intel MKL-Optimierung |
P2 |
TensorFlow 1.9.0 mit CUDA 9.2, cuDNN 7.1 |
P3 |
TensorFlow 1.9.0 mit CUDA 9.2, cuDNN 7.1, NCCL 2.2.13 Nvidia NCCL |
Alle anderen |
TensorFlow 1.9.0 |
Sicherheit
Wir empfehlen, den Anleitungen in TensorFlow sicher nutzen
Verwenden von TensorBoard
Bei TensorBoard handelt es sich um eine Reihe von Tools zur Visualisierung von TensorFlow-Programmen. Weitere Informationen finden Sie unter TensorBoard: Visualisiertes Lernen
Um TensorBoard mit Amazon EMR verwenden, müssen Sie TensorBoard auf dem Hauptknoten im Cluster starten.
So verwenden Sie TensorBoard mit TensorFlow auf Amazon EMR
Stellen Sie mit dem Master-Knoten Ihres Clusters mithilfe von SSH eine Verbindung her. Weitere Informationen finden Sie unter Mit SSH eine Verbindung zum Hauptknoten herstellen im Verwaltungshandbuch für Amazon EMR.
Geben Sie den folgenden Befehl ein, um TensorBoard auf dem Master-Knoten zu starten. Ersetzen Sie
mit dem Verzeichnis auf dem Master-Knoten, in dem Sie unter Verwendung einer Summary Writer-Operation die Übersichtsdaten gespeichert haben./my/log/directory
Standardmäßig hostet der Master-Knoten TensorBoard über Port 6006 und über den öffentlichen DNS-Namen für den Master-Knoten. Wenn Sie TensorBoard gestartet haben, wird in der Befehlszeilenausgabe die URL angezeigt, über die Sie eine Verbindung mit TensorBoard herstellen können, wie im folgenden Beispiel gezeigt:
TensorBoard 1.9.0 at http://
master-public-dns-name
:6006 (Press CTRL+C to quit)Richten Sie den Zugriffs auf Webschnittstellen auf dem Master-Knoten von vertrauenswürdigen Clients aus ein. Weitere Informationen finden Sie unter Anzeigen von auf Amazon-EMR-Clustern gehosteten Webschnittstellen im Verwaltungshandbuch für Amazon EMR.
Öffnen Sie TensorBoard über die URL
http://
.master-public-dns-name
:6006