TensorFlow - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

TensorFlow

TensorFlow 是機器智慧和深度學習應用程式的開放原始碼符號數學程式庫。如需詳細資訊,請參閱TensorFlow 網站。 TensorFlow 適用於 Amazon EMR 發行版本 5.17.0 及更高版本。

下表列出 Amazon EMR 7.x 系列最新版本中 TensorFlow 包含的版本,以及 Amazon EMR 安裝的 TensorFlow元件。

如需此發行版本 TensorFlow 中安裝的元件版本,請參閱 7.2.0 版元件版本

TensorFlow 適用於 EMR-7.2.0 的版本資訊
Amazon EMR 發布標籤 TensorFlow 版本 安裝的元件 TensorFlow

埃姆尔 -7.2.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

下表列出 Amazon EMR 6.x 系列最新版本中 TensorFlow 包含的版本,以及 Amazon EMR 安裝的 TensorFlow元件。

如需此發行版本 TensorFlow 中安裝的元件版本,請參閱 6.15.0 版元件版本。

TensorFlow 適用於 EMR 6.15.0 的版本資訊
Amazon EMR 發布標籤 TensorFlow 版本 安裝的元件 TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

下表列出 Amazon EMR 5.x 系列最新版本中 TensorFlow 包含的版本,以及 Amazon EMR 安裝的 TensorFlow元件。

如需此發行版本 TensorFlow 中安裝的元件版本,請參閱版本 5.36.2 元件版本。

TensorFlow 適用於電腦 -5.36.2 的版本資訊
Amazon EMR 發布標籤 TensorFlow 版本 安裝的元件 TensorFlow

埃姆尔 -5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow 依 Amazon EC2 執行個體類型建置

Amazon EMR 會根據您為叢集選擇的執行個體類型,使用不同的程式 TensorFlow 庫組建。下表根據執行個體類型列出組建。

EC2例證類型 TensorFlow 建立

M5 和 C5

張量流 1.9.0 與英特爾優化 MKL

P2

張量流量 1.9.0 與 CUDA 9.2,立方 7.1 表示 DNN

P3

張量流量 1.9.0 與 CUDA 9.2,立方米 DNN 7.1,2.2.13 NCCL

Nvidia NCCL 僅適用於 P3 執行個體。使用者授權合約 (EULA):在 Amazon 上使用 Nvidia 元件EMR,即表示您同意產品中概述的條款與條件EULA。

所有其他

Tensorflow 1.9.0

安全

除了遵循 TensorFlow 安全使用中的指引之外,我們建議您在私有子網路中啟動叢集,以協助您限制對受信任來源的存取。如需詳細資訊,請參閱 Amazon EMR管理指南中的 Amazon VPC 選項

使用 TensorBoard

TensorBoard 是一套用於 TensorFlow 程序的可視化工具。如需詳細資訊,請參閱 TensorBoard:Tensorflow 網站上的視覺化學習

若要 TensorBoard 搭配 Amazon 使用EMR,您必須 TensorBoard 在叢集主節點上啟動。

在 Amazon 上使用帶張量流的張力板 EMR
  1. 使用 Connect 到叢集的主節點SSH。如需詳細資訊,請參閱 Amazon EMR 管理指南SSH中的使用 Connect 到主節點

  2. 輸入以下命令在主節點上啟動 Tensorboard。以您在主節點上產生的目錄取代 /my/log/directory 並使用摘要寫入器存放摘要資料。

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    依預設,主節點主控 TensorBoard 使用連接埠 6006 和主要公用DNS名稱。啟動之後 TensorBoard,指令行輸出會顯URL示可用於連線的 TensorBoard,如下列範例所示:

    TensorBoard 1.9.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. 設定從信任用戶端的主節點上存取 Web 界面。如需詳細資訊,請參閱 Amazon EMR管理指南中的檢視 Amazon EMR 叢集上託管的 Web 界面

  4. TensorBoard 在開啟http://master-public-dns-name:6006