TensorFlow

PDFRSS

TensorFlow는 머신 인텔리전스 및 딥 러닝 애플리케이션을 위한 오픈 소스 기호 수학 라이브러리입니다. 자세한 내용은 TensorFlow 웹 사이트를 참조하세요. TensorFlow는 Amazon EMR 릴리스 버전 5.17.0 이상에서 사용할 수 있습니다.

다음 테이블에는 Amazon EMR이 TensorFlow를 통해 설치하는 구성 요소와 함께 Amazon EMR 7.x 시리즈의 최신 릴리스에 포함된 TensorFlow의 버전이 나열되어 있습니다.

이 릴리스에서 TensorFlow와 함께 설치된 구성 요소의 버전은 릴리스 7.7.0 구성 요소 버전을 참조하세요.

emr-7.7.0에 대한 TensorFlow 버전 정보

Amazon EMR 릴리스 레이블	TensorFlow 버전	TensorFlow와 함께 설치된 구성 요소
emr-7.7.0	TensorFlow 2.16.1	emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

다음 테이블에는 Amazon EMR이 TensorFlow를 통해 설치하는 구성 요소와 함께 Amazon EMR 6.x 시리즈의 최신 릴리스에 포함된 TensorFlow의 버전이 나열되어 있습니다.

이 릴리스에서 TensorFlow와 함께 설치된 구성 요소의 버전은 릴리스 6.15.0 구성 요소 버전을 참조하세요.

emr-6.15.0용 TensorFlow 버전 정보

Amazon EMR 릴리스 레이블	TensorFlow 버전	TensorFlow와 함께 설치된 구성 요소
emr-6.15.0	TensorFlow 2.11.0	emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

다음 테이블에는 Amazon EMR이 TensorFlow를 통해 설치하는 구성 요소와 함께 Amazon EMR 5.x 시리즈의 최신 릴리스에 포함된 TensorFlow의 버전이 나열되어 있습니다.

이 릴리스에서 TensorFlow와 함께 설치된 구성 요소의 버전은 릴리스 5.36.2 구성 요소 버전을 참조하세요.

emr-5.36.2용 TensorFlow 버전 정보

Amazon EMR 릴리스 레이블	TensorFlow 버전	TensorFlow와 함께 설치된 구성 요소
emr-5.36.2	TensorFlow 2.4.1	emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

Amazon EC2 인스턴스 유형별 TensorFlow 빌드

Amazon EMR은 클러스터에 대해 선택한 인스턴스 유형에 따라 다른 빌드의 TensorFlow 라이브러리를 사용합니다. Amazon EMR은 EMR-7.5.0 이상에 대한 aarch64(Graviton) 인스턴스 유형이 있는 클러스터에 TensorFlow를 지원합니다. 다음 표에는 인스턴스 유형별 빌드가 나와 있습니다.

EC2 인스턴스 유형	TensorFlow 빌드
M5 및 C5	Intel MKL 최적화가 적용된 Tensorflow 2.16.1
P2, P4D, P5, G4DN, G5, G6, GR6	CUDA 12.3, cuDNN 8.9.7.29가 적용된 Tensorflow 2.16.1
P3, P3DN, G3, G3S	CUDA 12.3, cuDNN 8.9.7.29, NCCL 2.20.3-1이 적용된 Tensorflow 2.16.1 Nvidia NCCL은 P3 인스턴스에서만 사용할 수 있습니다. 최종 사용자 라이선스 계약(EULA): Amazon EMR에서 Nvidia 구성 요소를 사용하면 제품 EULA에 나와 있는 이용 약관에 동의하는 것입니다.
Graviton 인스턴스를 제외한 기타 모든 항목	Tensorflow 2.16.1

보안

Using TensorFlow securely의 지침을 따르고 프라이빗 서브넷에서 클러스터를 시작하여 신뢰할 수 있는 출처로 액세스를 제한하는 것이 좋습니다. 자세한 내용은 Amazon EMR 관리 안내서에서 Amazon VPC 옵션을 참조하세요.

TensorBoard 사용

TensorBoard는 TensorFlow 프로그램용 시각화 도구 제품군입니다. 자세한 내용은 Tensorflow 웹 사이트에서 TensorBoard: Visualized learning을 참조하세요.

TensorBoard를 Amazon EMR과 함께 사용하려면 클러스터 프라이머리 노드에서 TensorBoard를 시작해야 합니다.

Amazon EMR에서 Tensorboard를 Tensorflow와 함께 사용하는 방법

1. SSH를 사용하여 클러스터의 마스터 노드에 연결합니다. 자세한 내용은 Amazon EMR 관리 안내서에서 SSH를 사용하여 프라이머리 노드에 연결을 참조하세요.

2. 다음 명령을 입력하여 마스터 노드에서 Tensorboard를 시작합니다. 요약 쓰기를 사용하여 요약 데이터를 생성하고 저장한 마스터 노드의 디렉터리로 /my/log/directory를 바꿉니다.

   Amazon EMR 5.19.0 and later

   python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all

   Amazon EMR 5.18.1 and earlier

   python3 -m tensorboard.main --logdir=/my/log/dir

   기본적으로 마스터 노드는 포트 6006과 마스터 퍼블릭 DNS 이름을 사용하여 TensorBoard를 호스팅합니다. TensorBoard를 시작한 후 다음 예제와 같이 TensorBoard에 연결하는 데 사용할 수 있는 URL이 명령줄 출력에 표시됩니다.

   TensorBoard 2.16.1 at http://master-public-dns-name:6006 (Press CTRL+C to quit)

3. 신뢰할 수 있는 클라이언트의 마스터 노드에서 웹 인터페이스에 액세스하도록 설정합니다. 자세한 내용은 Amazon EMR 관리 안내서에서 Amazon EMR 클러스터에 호스팅된 웹 인터페이스 보기를 참조하세요.

4. http://master-public-dns-name:6006에서 TensorBoard를 엽니다.