TensorFlow - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

TensorFlow

TensorFlow é uma biblioteca matemática simbólica de código aberto para aplicativos de inteligência de máquina e aprendizado profundo. Para obter mais informações, consulte o TensorFlow site. TensorFlow está disponível com a EMR versão 5.17.0 e posterior da Amazon.

A tabela a seguir lista a versão TensorFlow incluída na versão mais recente da série Amazon EMR 7.x, junto com os componentes com os quais a Amazon é EMR instalada. TensorFlow

Para a versão dos componentes instalados TensorFlow nesta versão, consulte Versões de componentes da versão 7.2.0.

TensorFlow informações sobre a versão do emr-7.2.0
Gravadora EMR de lançamento da Amazon TensorFlow Versão Componentes instalados com TensorFlow

emr-7.2.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

A tabela a seguir lista a versão TensorFlow incluída na versão mais recente da série EMR 6.x da Amazon, junto com os componentes com os quais a Amazon é EMR instalada. TensorFlow

Para a versão dos componentes instalados TensorFlow nesta versão, consulte Versões de componentes da versão 6.15.0.

TensorFlow informações da versão do emr-6.15.0
Gravadora EMR de lançamento da Amazon TensorFlow Versão Componentes instalados com TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

A tabela a seguir lista a versão TensorFlow incluída na versão mais recente da série Amazon EMR 5.x, junto com os componentes com os quais a Amazon é EMR instalada. TensorFlow

Para a versão dos componentes instalados TensorFlow nesta versão, consulte Versões de componentes da versão 5.36.2.

TensorFlow informações da versão do emr-5.36.2
Gravadora EMR de lançamento da Amazon TensorFlow Versão Componentes instalados com TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow compilações por tipo de EC2 instância da Amazon

A Amazon EMR usa diferentes versões da TensorFlow biblioteca, dependendo dos tipos de instância que você escolher para o seu cluster. A tabela a seguir lista as compilações por tipo de instância.

EC2tipos de instância TensorFlow construir

M5 e C5

Tensorflow 1.9.0 com otimização Intel MKL

P2

Tensorflow 1.9.0 com 9.2, com CUDA 7.1 DNN

P3

Tensorflow 1.9.0 com CUDA 9.2, cu 7.1, 2.2.13 DNN NCCL

A Nvidia NCCL está disponível somente em instâncias P3. Contrato de licença de usuário final (EULA): Ao usar componentes da Nvidia na AmazonEMR, você concorda com os termos e condições descritos no produto. EULA

Todos os outros

Tensorflow 1.9.0

Segurança

Além de seguir as orientações em Como usar TensorFlow com segurança, recomendamos que você execute seu cluster em uma sub-rede privada para ajudá-lo a limitar o acesso a fontes confiáveis. Para obter mais informações, consulte VPCas opções da Amazon no Guia EMR de gerenciamento da Amazon.

Usando TensorBoard

TensorBoard é um conjunto de ferramentas de visualização para TensorFlow programas. Para obter mais informações, consulte TensorBoard: Aprendizado visualizado no site do Tensorflow.

Para usar TensorBoard com a AmazonEMR, você deve começar TensorBoard no nó principal do cluster.

Para usar o tensorboard com o Tensorflow na Amazon EMR
  1. Conecte-se ao nó principal do cluster usandoSSH. Para obter mais informações, consulte Conecte-se ao nó principal usando SSH o Amazon EMR Management Guide.

  2. Digite o seguinte comando para iniciar o Tensorboard no nó principal. Substitua /my/log/directory por um diretório no nó principal o qual você tiver gerado e armazenado os dados de resumo usando um gravador de resumo.

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    Por padrão, o nó principal hospeda TensorBoard usando a porta 6006 e o DNS nome público principal. Depois de iniciar TensorBoard, a saída da linha de comando apresenta o URL que pode ser usado para se conectar TensorBoard, conforme mostrado no exemplo a seguir:

    TensorBoard 1.9.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. Configure o acesso a interfaces web no nó principal a partir de clientes confiáveis. Para obter mais informações, consulte Exibir interfaces web hospedadas em EMR clusters da Amazon no Amazon EMR Management Guide.

  4. Aberto TensorBoard emhttp://master-public-dns-name:6006.