TensorFlow

TensorFlow é uma biblioteca matemática simbólica de código aberto para aplicativos de inteligência de máquina e aprendizado profundo. Para obter mais informações, consulte o TensorFlow site. TensorFlow está disponível com a EMR versão 5.17.0 e posterior da Amazon.

A tabela a seguir lista a versão TensorFlow incluída na versão mais recente da série Amazon EMR 7.x, junto com os componentes com os quais a Amazon é EMR instalada. TensorFlow

Para a versão dos componentes instalados TensorFlow nesta versão, consulte Versões de componentes da versão 7.5.0.

TensorFlow informações sobre a versão do emr-7.5.0

Gravadora EMR de lançamento da Amazon	TensorFlow Versão	Componentes instalados com TensorFlow
emr-7.5.0	TensorFlow 2.16.1	emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

A tabela a seguir lista a versão TensorFlow incluída na versão mais recente da série EMR 6.x da Amazon, junto com os componentes com os quais a Amazon é EMR instalada. TensorFlow

Para a versão dos componentes instalados TensorFlow nesta versão, consulte Versões de componentes da versão 6.15.0.

TensorFlow informações da versão do emr-6.15.0

Gravadora EMR de lançamento da Amazon	TensorFlow Versão	Componentes instalados com TensorFlow
emr-6.15.0	TensorFlow 2.11.0	emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

A tabela a seguir lista a versão TensorFlow incluída na versão mais recente da série Amazon EMR 5.x, junto com os componentes com os quais a Amazon é EMR instalada. TensorFlow

Para a versão dos componentes instalados TensorFlow nesta versão, consulte Versões de componentes da versão 5.36.2.

TensorFlow informações da versão do emr-5.36.2

Gravadora EMR de lançamento da Amazon	TensorFlow Versão	Componentes instalados com TensorFlow
emr-5.36.2	TensorFlow 2.4.1	emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow compilações por tipo de EC2 instância da Amazon

A Amazon EMR usa diferentes versões da TensorFlow biblioteca, dependendo dos tipos de instância que você escolher para o seu cluster. A Amazon EMR oferece suporte TensorFlow para clusters com tipos de instância aarch64 (Graviton) para EMR -7.5.0 e superior. A tabela a seguir lista as compilações por tipo de instância.

Tipos de instâncias do EC2	TensorFlow construir
M5 e C5	Tensorflow 2.16.1 com otimização Intel MKL
P2, P4D, P5, G4DN, G5, G6 e GR6	Tensorflow 2.16.1 com 12.3, com 8.9.7.29 CUDA DNN
P3, P3DN, G3 e G3S	Tensorflow 2.16.1 com CUDA 12.3, com 8.9.7.29, 2.20.3-1 DNN NCCL A Nvidia NCCL está disponível somente em instâncias P3. Contrato de licença de usuário final (EULA): Ao usar componentes da Nvidia na AmazonEMR, você concorda com os termos e condições descritos no produto. EULA
Todos os outros, exceto instâncias do Graviton	Tensorflow 2.16.1

Segurança

Além de seguir as orientações em Como usar TensorFlow com segurança, recomendamos que você inicie seu cluster em uma sub-rede privada para ajudá-lo a limitar o acesso a fontes confiáveis. Para obter mais informações, consulte VPCas opções da Amazon no Guia EMR de gerenciamento da Amazon.

Usando TensorBoard

TensorBoard é um conjunto de ferramentas de visualização para TensorFlow programas. Para obter mais informações, consulte TensorBoard: Aprendizado visualizado no site do Tensorflow.

Para usar TensorBoard com a AmazonEMR, você deve começar TensorBoard no nó principal do cluster.

Para usar o tensorboard com o Tensorflow na Amazon EMR

1. Conecte-se ao nó principal do cluster usandoSSH. Para obter mais informações, consulte Conecte-se ao nó principal usando SSH o Amazon EMR Management Guide.

2. Digite o seguinte comando para iniciar o Tensorboard no nó principal. Substitua /my/log/directory por um diretório no nó principal o qual você tiver gerado e armazenado os dados de resumo usando um gravador de resumo.

   Amazon EMR 5.19.0 and later

   python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all

   Amazon EMR 5.18.1 and earlier

   python3 -m tensorboard.main --logdir=/my/log/dir

   Por padrão, o nó principal hospeda TensorBoard usando a porta 6006 e o DNS nome público principal. Depois de iniciar TensorBoard, a saída da linha de comando apresenta o URL que pode ser usado para se conectar TensorBoard, conforme mostrado no exemplo a seguir:

   TensorBoard 2.16.1 at http://master-public-dns-name:6006 (Press CTRL+C to quit)

3. Configure o acesso a interfaces web no nó principal a partir de clientes confiáveis. Para obter mais informações, consulte Exibir interfaces web hospedadas em EMR clusters da Amazon no Amazon EMR Management Guide.

4. Aberto TensorBoard emhttp://master-public-dns-name:6006.