TensorFlow

TensorFlow は、機械知能および深層学習アプリケーション向けのオープンソースの記号数学ライブラリです。詳細については、TensorFlow Web サイトを参照してください。 TensorFlow Amazon EMR リリースバージョン 5.17.0 以降で使用できます。

次の表は、Amazon EMR 6.x TensorFlow シリーズの最新リリースに含まれている、のバージョンと、Amazon EMR と共にインストールされるコンポーネントを示しています TensorFlow。

TensorFlow このリリースでインストールされるコンポーネントのバージョンについては、「リリース 6.9.0 のコンポーネントバージョン」を参照してください。

TensorFlow emr-6.9.0 のバージョン情報
Amazon EMR リリースラベル	TensorFlow バージョン	でインストールされるコンポーネント TensorFlow
emr 6.9.0	TensorFlow 2.9.1	emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

次の表は、Amazon EMR 5.x TensorFlow シリーズの最新リリースに含まれている、のバージョンと、Amazon EMR でインストールされるコンポーネントを示しています TensorFlow。

TensorFlow このリリースでインストールされるコンポーネントのバージョンについては、「リリース 5.36.0 のコンポーネントバージョン」を参照してください。

TensorFlow emr-5.36.0 のバージョン情報
Amazon EMR リリースラベル	TensorFlow バージョン	でインストールされるコンポーネント TensorFlow
emr-5.36.0	TensorFlow 2.4.1	emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow Amazon EC2 インスタンスタイプ別の Build

Amazon EMR TensorFlow で使用されるライブラリのビルドは、クラスター用に選択したインスタンスタイプによって異なります。次の表にインスタンスタイプ別のビルドを示します。

EC2 インスタンスタイプ	TensorFlow ビルド
M5 および C5	TensorFlow 1.9.0 (Intel MKL で最適化)
P2	TensorFlow 1.9.0 (CUDA 9.2、cuDNN 7.1 を使用)
P3	TensorFlow 1.9.0 (CUDA 9.2、cuDNN 7.1、NCCL 2.2.13 を使用) NVIDIA NCCL は、P3 インスタンスでのみ使用できます。エンドユーザーライセンス契約 (EULA): Amazon EMR で Nvidia のコンポーネントを使用すると、製品の EULA に概説されている諸条件に同意したことになります。
その他すべて	TensorFlow 1.9.0

セキュリティ

「Using TensorFlow Securely」に記載されているガイダンスに従うことに加え、信頼できるソースへのアクセスを制限できるよう、プライベートサブネットでクラスターを起動することをお勧めします。詳細については、「Amazon EMR 管理ガイド」の「Amazon VPC オプション」を参照してください。

使用中 TensorBoard

TensorBoard TensorFlow プログラム用の視覚化ツール一式です。詳細については、TensorFlow のウェブサイトにある「Visualized Learning」を参照してくださいTensorBoard。

Amazon EMR TensorBoard で使用するには、 TensorBoard クラスターのマスターノードで起動する必要があります。

Amazon EMR で TensorBoard と TensorFlow を使用するには

1. SSH を使用してクラスターのマスターノードに接続します。詳細については、「Amazon EMR 管理ガイド」の「SSH を使用してマスターノードに接続する」を参照してください。

2. マスターノードで TensorBoard を起動するには、次のコマンドを入力します。サマリーライターを使用して概略データの生成と格納を行ったマスターノードのディレクトリで /my/log/directory を置き換えます。

   Amazon EMR 5.19.0 and later

   python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all

   Amazon EMR 5.18.1 and earlier

   python3 -m tensorboard.main --logdir=/my/log/dir

   デフォルトでは、マスターノードはポート 6006 とマスターパブリック DNS TensorBoard 名を使用してホストします。起動すると TensorBoard、次の例に示すように TensorBoard、接続に使用できる URL がコマンドライン出力に表示されます。

   TensorBoard 1.9.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)

3. 信頼できるクライアントからマスターノードのウェブインターフェイスへのアクセスを設定します。詳細については、「Amazon EMR 管理ガイド」の「Amazon EMR クラスターでホストされているウェブインターフェイスの表示」を参照してください。

4. TensorBoard で開くhttp://master-public-dns-name:6006.