TensorFlow - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

TensorFlow

TensorFlow 기계 지능 및 딥 러닝 애플리케이션을 위한 오픈 소스 기호 수학 라이브러리입니다. 자세한 내용은 웹 사이트를 참조하십시오. TensorFlow TensorFlow Amazon EMR 릴리스 버전 5.17.0 이상에서 사용할 수 있습니다.

다음 표에는 Amazon EMR 7.x 시리즈의 최신 릴리스에 TensorFlow 포함된 버전과 Amazon EMR이 설치하는 데 함께 사용되는 구성 요소가 나열되어 있습니다. TensorFlow

이번 TensorFlow 릴리스에 설치된 구성 요소 버전은 릴리스 7.1.0 구성 요소 버전을 참조하십시오.

TensorFlow emr-7.1.0의 버전 정보
Amazon EMR 릴리스 레이블 TensorFlow 버전 다음과 함께 설치된 구성 요소 TensorFlow

emr-7.1.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

다음 표에는 Amazon EMR 6.x 시리즈의 최신 릴리스에 TensorFlow 포함된 버전과 Amazon EMR이 설치할 때 함께 사용하는 구성 요소가 나열되어 있습니다. TensorFlow

이 TensorFlow 릴리스에 설치된 구성 요소 버전은 릴리스 6.15.0 구성 요소 버전을 참조하십시오.

TensorFlow emr-6.15.0의 버전 정보
Amazon EMR 릴리스 레이블 TensorFlow 버전 다음과 함께 설치된 구성 요소 TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

다음 표에는 Amazon EMR 5.x 시리즈의 최신 릴리스에 TensorFlow 포함된 버전과 Amazon EMR이 설치할 때 함께 사용하는 구성 요소가 나열되어 있습니다. TensorFlow

이번 TensorFlow 릴리스에 설치된 구성 요소 버전은 릴리스 5.36.2 구성 요소 버전을 참조하십시오.

TensorFlow emr-5.36.2의 버전 정보
Amazon EMR 릴리스 레이블 TensorFlow 버전 다음과 함께 설치된 구성 요소 TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow Amazon EC2 인스턴스 유형으로 구축

Amazon EMR은 클러스터에 대해 선택한 인스턴스 유형에 따라 다양한 TensorFlow 라이브러리 빌드를 사용합니다. 다음 표에는 인스턴스 유형별 빌드가 나와 있습니다.

EC2 인스턴스 유형 TensorFlow 빌드

M5 및 C5

Intel MKL 최적화가 적용된 Tensorflow 1.9.0

P2

CUDA 9.2, cuDNN 7.1이 적용된 Tensorflow 1.9.0

P3

CUDA 9.2, cuDNN 7.1, NCCL 2.2.13이 적용된 Tensorflow 1.9.0

Nvidia NCCL은 P3 인스턴스에서만 사용할 수 있습니다. 최종 사용자 라이선스 계약(EULA): Amazon EMR에서 Nvidia 구성 요소를 사용하면 제품 EULA에 나와 있는 이용 약관에 동의하는 것입니다.

기타 모두

Tensorflow 1.9.0

보안

TensorFlow 안전한 사용의 지침을 따르는 것 외에도 신뢰할 수 있는 소스에 대한 액세스를 제한하는 데 도움이 되도록 프라이빗 서브넷에서 클러스터를 시작하는 것이 좋습니다. 자세한 내용은 Amazon EMR 관리 안내서에서 Amazon VPC 옵션을 참조하세요.

사용 TensorBoard

TensorBoard TensorFlow 프로그램을 위한 시각화 도구 모음입니다. 자세한 내용은 Tensorflow 웹 사이트의 시각화 학습을 TensorBoard 참조하십시오.

Amazon TensorBoard EMR과 함께 사용하려면 클러스터 마스터 TensorBoard 노드에서 시작해야 합니다.

Amazon EMR에서 Tensorboard를 Tensorflow와 함께 사용하는 방법
  1. SSH를 사용하여 클러스터의 마스터 노드에 연결합니다. 자세한 내용은 Amazon EMR 관리 안내서에서 SSH를 사용하여 프라이머리 노드에 연결을 참조하세요.

  2. 다음 명령을 입력하여 마스터 노드에서 Tensorboard를 시작합니다. 요약 쓰기를 사용하여 요약 데이터를 생성하고 저장한 마스터 노드의 디렉터리로 /my/log/directory를 바꿉니다.

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    기본적으로 마스터 노드는 포트 6006과 마스터 퍼블릭 DNS 이름을 TensorBoard 사용하여 호스팅합니다. 시작한 TensorBoard 후 명령줄 출력에는 다음 예와 같이 연결에 TensorBoard 사용할 수 있는 URL이 표시됩니다.

    TensorBoard 1.9.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. 신뢰할 수 있는 클라이언트의 마스터 노드에서 웹 인터페이스에 액세스하도록 설정합니다. 자세한 내용은 Amazon EMR 관리 안내서에서 Amazon EMR 클러스터에 호스팅된 웹 인터페이스 보기를 참조하세요.

  4. TensorBoard 에서 엽니다http://master-public-dns-name:6006.