Amazon EMR
Amazon EMR リリースガイド

TensorFlow

TensorFlow は、機械知能および深層学習アプリケーション向けのオープンソースの記号数学ライブラリです。詳細については、TensorFlow のウェブサイトを参照してください。TensorFlow は、Amazon EMR リリースバージョン 5.17.0 以降で使用できます。

次の表は、Amazon EMR の最新リリースに含まれている TensorFlow のバージョンと、Amazon EMR で TensorFlow と共にインストールされるコンポーネントを示しています。

このリリースで TensorFlow と共にインストールされるコンポーネントのバージョンについては、リリース 5.28.0 のコンポーネントバージョンを参照してください。

TensorFlow emr-5.28.0 のバージョン情報

Amazon EMR リリースラベル TensorFlow バージョン TensorFlow でインストールされるコンポーネント

emr-5.28.0

TensorFlow 1.14.0

emrfs、emr-goodies、hadoop-client、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-httpfs-server、hadoop-kms-server、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server、tensorflow

Amazon EC2 インスタンスタイプ別の TensorFlow のビルド

Amazon EMR で使用される TensorFlow ライブラリのビルドは、クラスター用に選択したインスタンスタイプによって異なります。次の表にインスタンスタイプ別のビルドを示します。

EC2 インスタンスタイプ TensorFlow のビルド

M5 および C5

TensorFlow 1.9.0 (Intel MKL で最適化)

P2

TensorFlow 1.9.0 (CUDA 9.2、cuDNN 7.1 を使用)

P3

TensorFlow 1.9.0 (CUDA 9.2、cuDNN 7.1、NCCL 2.2.13 を使用)

NVIDIA NCCL は、P3 インスタンスでのみ使用できます。エンドユーザーライセンス契約 (EULA): Amazon EMR で NVIDIA のコンポーネントを使用すると、製品の EULA に概説されている諸条件に同意したことになります。

その他すべて

TensorFlow 1.9.0

セキュリティ

Using TensorFlow Securely」に記載されているガイダンスに従うことに加え、信頼できるソースへのアクセスを制限できるよう、プライベートサブネットでクラスターを起動することをお勧めします。詳細については、Amazon EMR 管理ガイドの「Amazon VPC オプション」を参照してください。

TensorBoard の使用

TensorBoard は、TensorFlow プログラム用の一連の可視化ツールです。詳細については、TensorFlow のウェブサイトにある「TensorBoard: Visualized Learning」を参照してください。

Amazon EMR で TensorBoard を使用するには、クラスターのマスターノードで TensorBoard を起動する必要があります。

Amazon EMR で TensorBoard と TensorFlow を使用するには

  1. SSH を使用してクラスターのマスターノードに接続します。詳細については、Amazon EMR 管理ガイド の「SSH を使用してマスターノードに接続する」を参照してください。

  2. マスターノードで TensorBoard を起動するには、次のコマンドを入力します。サマリーライターを使用して概略データの生成と格納を行ったマスターノードのディレクトリで /my/log/directory を置き換えます。

    python3 -m tensorboard.main --logdir=/my/log/dir

    デフォルトでは、マスターノードはポート 6006 とマスターパブリック DNS 名を使用して TensorBoard をホストします。TensorBoard を起動すると、次の例に示すように、TensorBoard への接続に使用できる URL がコマンドラインの出力に表示されます。

    TensorBoard 1.9.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. 信頼できるクライアントからマスターノードのウェブインターフェイスへのアクセスを設定します。詳細については、Amazon EMR 管理ガイドの「Amazon EMR クラスターでホストされているウェブインターフェイスの表示」を参照してください。

  4. http://master-public-dns-name:6006 で TensorBoard を開きます。