TensorFlow

PDFRSS

TensorFlow é uma biblioteca matemática simbólica de código aberto para aplicativos de inteligência de máquina e aprendizado profundo. Para obter mais informações, consulte o TensorFlow site. TensorFlow está disponível com a versão 5.17.0 e posterior do Amazon EMR.

A tabela a seguir lista a versão TensorFlow incluída na versão mais recente da série 7.x do Amazon EMR, junto com os componentes com os quais o Amazon EMR é instalado. TensorFlow

Para a versão dos componentes instalados TensorFlow nesta versão, consulte Versões de componentes da versão 7.7.0.

TensorFlow informações da versão do emr-7.7.0

Rótulo de versão do Amazon EMR	TensorFlow Versão	Componentes instalados com TensorFlow
emr-7.7.0	TensorFlow 2.16.1	emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

A tabela a seguir lista a versão TensorFlow incluída na versão mais recente da série 6.x do Amazon EMR, junto com os componentes com os quais o Amazon EMR é instalado. TensorFlow

Para a versão dos componentes instalados TensorFlow nesta versão, consulte Versões de componentes da versão 6.15.0.

TensorFlow informações da versão do emr-6.15.0

Rótulo de versão do Amazon EMR	TensorFlow Versão	Componentes instalados com TensorFlow
emr-6.15.0	TensorFlow 2.11.0	emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

A tabela a seguir lista a versão TensorFlow incluída na versão mais recente da série 5.x do Amazon EMR, junto com os componentes com os quais o Amazon EMR é instalado. TensorFlow

Para a versão dos componentes instalados TensorFlow nesta versão, consulte Versões de componentes da versão 5.36.2.

TensorFlow informações da versão do emr-5.36.2

Rótulo de versão do Amazon EMR	TensorFlow Versão	Componentes instalados com TensorFlow
emr-5.36.2	TensorFlow 2.4.1	emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow compilações por tipo de EC2 instância da Amazon

O Amazon EMR usa diferentes versões da TensorFlow biblioteca, dependendo dos tipos de instância que você escolher para o seu cluster. O Amazon EMR oferece suporte TensorFlow para clusters com tipos de instância aarch64 (Graviton) para EMR-7.5.0 e superior. A tabela a seguir lista as compilações por tipo de instância.

EC2 tipos de instância	TensorFlow construir
M5 e C5	Tensorflow 2.16.1 com otimização do Intel MKL
P2, P4D, P5, G4DN, G5, G6 e GR6	Tensorflow 2.16.1 com CUDA 12.3, cuDNN 8.9.7.29
P3, P3DN, G3 e G3S	Tensorflow 2.16.1 com CUDA 12.3, cuDNN 8.9.7.29, NCCL 2.20.3-1 O Nvidia NCCL só está disponível apenas em instâncias P3. Contrato de licença do usuário final (EULA): ao usar componentes Nvidia no Amazon EMR, você aceita os termos e condições descritos no EULA do produto.
Todos os outros, exceto instâncias do Graviton	Tensorflow 2.16.1

Segurança

Além de seguir as orientações em Como usar TensorFlow com segurança, recomendamos que você execute seu cluster em uma sub-rede privada para ajudá-lo a limitar o acesso a fontes confiáveis. Para obter mais informações, consulte Amazon VPC options no Guia de gerenciamento do Amazon EMR.

Usando TensorBoard

TensorBoard é um conjunto de ferramentas de visualização para TensorFlow programas. Para obter mais informações, consulte TensorBoard: Aprendizado visualizado no site do Tensorflow.

Para usar TensorBoard com o Amazon EMR, você deve começar TensorBoard no nó principal do cluster.

Usar o Tensorboard com o Tensorflow no Amazon EMR

1. Conecte-se ao nó principal do cluster usando SSH. Para obter mais informações, consulte Conectar-se ao nó principal usando SSH no Guia de gerenciamento do Amazon EMR.

2. Digite o seguinte comando para iniciar o Tensorboard no nó principal. Substitua /my/log/directory por um diretório no nó principal o qual você tiver gerado e armazenado os dados de resumo usando um gravador de resumo.

   Amazon EMR 5.19.0 and later

   python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all

   Amazon EMR 5.18.1 and earlier

   python3 -m tensorboard.main --logdir=/my/log/dir

   Por padrão, o nó principal hospeda TensorBoard usando a porta 6006 e o nome DNS público principal. Depois de iniciar TensorBoard, a saída da linha de comando apresenta a URL que pode ser usada para se conectar TensorBoard, conforme mostrado no exemplo a seguir:

   TensorBoard 2.16.1 at http://master-public-dns-name:6006 (Press CTRL+C to quit)

3. Configure o acesso a interfaces web no nó principal a partir de clientes confiáveis. Para obter mais informações, consulte Visualizar interfaces da Web hospedadas em clusters do Amazon EMR no Guia de gerenciamento do Amazon EMR.

4. Aberto TensorBoard emhttp://master-public-dns-name:6006.