AWS 딥 러닝 AMI 사용
아래 단계는 다음 AWS 딥 러닝 AMI 중 하나로 시작하는 데 도움이 됩니다.
-
딥 러닝 AMI(Amazon Linux 2)
-
딥 러닝 AMI(Ubuntu 20.04)
자세한 내용은 AWS Deep Learning AMI 사용 설명서를 참조하세요.
참고
p3dn.24xlarge
및 p4d.24xlarge
인스턴스 유형만 지원됩니다.
목차
1단계: EFA를 사용한 보안 그룹 준비
EFA에는 보안 그룹 자체 내의 모든 인바운드 및 아웃바운드 트래픽을 허용하는 보안 그룹이 필요합니다. 다음 절차에서는 자체적으로 들어오고 나가는 모든 인바운드 및 아웃바운드 트래픽을 허용하고 SSH 연결을 위해 모든 IPv4 주소의 인바운드 SSH 트래픽을 허용하는 보안 그룹을 생성합니다.
중요
이 보안 그룹은 테스트 목적으로만 사용됩니다. 프로덕션 환경에서는 컴퓨터의 IP 주소 또는 로컬 네트워크의 IP 주소 범위와 같이 연결하려는 IP 주소로부터의 트래픽만 허용하는 인바운드 SSH 규칙을 생성하는 것이 좋습니다.
다른 시나리오는 다양한 사용 사례에 대한 보안 그룹 규칙 섹션을 참조하세요.
EFA 사용 보안 그룹을 생성하려면
https://console.aws.amazon.com/ec2/
에서 Amazon EC2 콘솔을 엽니다. -
탐색 창에서 보안 그룹(Security Groups)을 선택한 다음, 보안 그룹 생성(Create security group)을 선택합니다.
-
보안 그룹 생성(Create security group) 창에서 다음을 수행합니다.
-
보안 그룹 이름의 경우
EFA-enabled security group
과 같은 보안 그룹의 고유한 이름을 입력합니다. -
(선택 사항) 설명에 보안 그룹에 대한 간략한 설명을 입력합니다.
-
VPC에서는 EFA 사용 인스턴스를 시작하려는 VPC를 선택합니다.
-
보안 그룹 생성을 선택합니다.
-
-
생성한 보안 그룹을 선택하고 세부 정보(Details) 탭에서 보안 그룹 ID(Security group ID)를 복사합니다.
-
보안 그룹을 선택한 상태에서 작업(Actions), 인바운드 규칙 편집(Edit inbound rules)을 선택한 후 다음을 수행합니다.
-
[Add another rule]을 선택합니다.
-
유형(Type)에서 모든 트래픽(All traffic)을 선택합니다.
-
소스 유형(Source type)에서 사용자 지정(Custom)을 선택하고 복사한 보안 그룹 ID를 필드에 붙여넣습니다.
-
규칙 추가를 선택합니다.
-
Type(유형)에서 SSH를 선택합니다.
-
소스 유형(Source type)에서 어디서나 - IPv4(Anywhere - IPv4)를 선택합니다.
-
규칙 저장을 선택합니다.
-
-
보안 그룹을 선택한 상태에서 작업(Actions), 아웃바운드 규칙 편집(Edit outbound rules)을 선택한 후 다음을 수행합니다.
-
[Add another rule]을 선택합니다.
-
유형(Type)에서 모든 트래픽(All traffic)을 선택합니다.
-
대상 유형(Destination type)에서 사용자 지정(Custom)을 선택하고 복사한 보안 그룹 ID를 필드에 붙여넣습니다.
-
규칙 저장을 선택합니다.
-
2단계: 임시 인스턴스 시작
EFA 소프트웨어 구성 요소를 설치하고 구성하는 데 사용할 수 있는 임시 인스턴스를 실행합니다. 이 인스턴스를 사용해 EFA를 사용한 AMI을 생성하여 EFA를 사용한 인스턴스를 실행할 수 있습니다.
임시 인스턴스를 실행합니다.
https://console.aws.amazon.com/ec2/
에서 Amazon EC2 콘솔을 엽니다. -
탐색 창에서 Instances(인스턴스)를 선택한 다음에 Launch Instances(인스턴스 시작)를 선택하여 새 인스턴스 시작 마법사를 엽니다.
-
(선택 사항)이름 및 태그(Name and tags) 섹션에서 인스턴스의 이름(예:
EFA-instance
)을 제공합니다. 이름은 인스턴스에 리소스 태그(Name=
)로 할당됩니다.EFA-instance
-
애플리케이션 및 OS 이미지(Application and OS Images) 섹션에서 지원되는 AWS Deep Learning AMI 버전 25.0 이상을 선택합니다.
-
인스턴스 유형(Instance type) 섹션에서.
p3dn.24xlarge
또는p4d.24xlarge
를 선택합니다 -
키 페어(Key pair) 섹션에서 인스턴스에 사용할 키 페어를 선택합니다.
-
네트워크 설정(Network settings) 섹션에서 편집(Edit)을 선택하고 다음과 같이 수행합니다.
-
서브넷(Subnet)에서 인스턴스를 시작할 서브넷을 선택합니다. 서브넷을 선택하지 않으면 EFA에 대해 인스턴스를 활성화할 수 없습니다.
-
방화벽(보안 그룹)의 경우 기존 보안 그룹 선택(Select existing security group)을 선택한 다음에 이전 단계에서 생성한 보안 그룹을 선택합니다.
-
고급 네트워크 구성(Advanced network configuration) 섹션을 확장하고 Elastic Fabric Adapter의 경우 사용(Enable)을 선택합니다.
-
-
스토리지(Storage) 섹션에서 필요에 따라 볼륨을 구성합니다.
참고
Nvidia CUDA 도구 키트에 사용할 10~20GiB의 스토리지를 추가로 프로비저닝해야 합니다. 스토리지를 충분히 프로비저닝하지 않으면 Nvidia 드라이버 및 CUDA 도구 키트를 설치하려고 할 때
insufficient disk space
오류가 발생합니다. -
오른쪽의 요약(Summary) 패널에서 인스턴스 시작(Launch instance)을 선택합니다.
3단계: EFA 및 NCCL 구성 테스트
테스트를 실행하여 임시 인스턴스가 EFA 및 NCCL에 대해 올바르게 구성되었는지 확인합니다.
EFA 및 NCCL 구성을 테스트하려면
-
테스트를 실행할 호스트를 지정하는 호스트 파일을 생성합니다. 다음 명령은 인스턴스 자체에 대한 참조를 포함하는
my-hosts
라는 호스트 파일을 생성합니다. -
테스트를 실행하고 호스트 파일(
--hostfile
) 및 사용할 GPU 수(-n
)를 지정합니다. 다음 명령은 인스턴스 자체의 8개 GPU에서all_reduce_perf
테스트를 실행하고 다음 환경 변수를 지정합니다.-
FI_EFA_USE_DEVICE_RDMA=1
- (p4d.24xlarge
만 해당) 단방향 및 양방향 전송을 위해 디바이스의 RDMA 기능을 사용합니다. -
NCCL_DEBUG=INFO
- 세부 디버깅 출력을 사용합니다. 또한VERSION
을 지정하여 테스트 시작 시 NCCL 버전만 인쇄하거나WARN
을 지정하여 오류 메시지만 수신할 수 있습니다.
NCCL 테스트 알고리즘에 대한 자세한 내용은 공식 nccl-tests 리포지토리에서 NCCL Tests README
를 참조하세요. -
p3dn.24xlarge
$
/opt/amazon/openmpi/bin/mpirun \ -x LD_LIBRARY_PATH=/opt/nccl/build/lib:/usr/local/cuda/lib64:/opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:$LD_LIBRARY_PATH \ -x NCCL_DEBUG=INFO \ --hostfile my-hosts -n 8 -N 8 \ --mca pml ^cm --mca btl tcp,self --mca btl_tcp_if_exclude lo,docker0 --bind-to none \ $HOME/nccl-tests/build/all_reduce_perf -b 8 -e 1G -f 2 -g 1 -c 1 -n 100 -
p4d.24xlarge
$
/opt/amazon/openmpi/bin/mpirun \ -x FI_EFA_USE_DEVICE_RDMA=1 \ -x LD_LIBRARY_PATH=/opt/nccl/build/lib:/usr/local/cuda/lib64:/opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:$LD_LIBRARY_PATH \ -x NCCL_DEBUG=INFO \ --hostfile my-hosts -n 8 -N 8 \ --mca pml ^cm --mca btl tcp,self --mca btl_tcp_if_exclude lo,docker0 --bind-to none \ $HOME/nccl-tests/build/all_reduce_perf -b 8 -e 1G -f 2 -g 1 -c 1 -n 100
-
-
NCCL_DEBUG
로그가 인쇄될 때 EFA가 NCCL의 기본 공급자로 활성화되어 있는지 확인할 수 있습니다.ip-192-168-2-54:14:14 [0] NCCL INFO NET/OFI Selected Provider is efa*
p4d.24xlarge
인스턴스를 사용할 때 다음과 같은 추가 정보가 표시됩니다.ip-192-168-2-54:14:14 [0] NCCL INFO NET/OFI Running on P4d platform, Setting NCCL_TOPO_FILE environment variable to /home/ec2-user/install/plugin/share/aws-ofi-nccl/xml/p4d-24xl-topo.xml
4단계: 기계 학습 애플리케이션 설치
기계 학습 애플리케이션을 임시 인스턴스에 설치합니다. 설치 절차는 기계 학습 애플리케이션에 따라 다릅니다. Linux 인스턴스에 소프트웨어를 설치하는 데 대한 자세한 내용은 Linux 인스턴스에서 소프트웨어 관리를 참조하세요.
참고
설치 지침은 기계 학습 애플리케이션의 설명서를 참조하세요.
5단계: EFA 및 NCCL 지원 AMI 생성
필수 소프트웨어 구성 요소를 설치한 뒤 AMI를 사용하여 EFA 사용 인스턴스를 재사용하고 시작합니다.
임시 인스턴스에서 AMI를 생성하려면
https://console.aws.amazon.com/ec2/
에서 Amazon EC2 콘솔을 엽니다. -
탐색 창에서 Instances(인스턴스)를 선택합니다.
-
생성한 임시 인스턴스를 선택하고 [작업(Actions)], [이미지(Image)], [이미지 생성(Create image)]을 선택합니다.
-
[이미지 생성(Create image)]에서 다음을 수행합니다.
-
[이미지 이름(Image name)]에 AMI를 설명하는 이름을 입력합니다.
-
(선택 사항) [이미지 설명(Image description)]에 AMI의 용도에 대한 간략한 설명을 입력합니다.
-
이미지 생성(Create image)을 선택합니다.
-
-
탐색 창에서 AMI를 선택합니다.
-
목록에서 생성한 AMI를 찾습니다. 상태가
pending
에서available
로 바뀔 때까지 기다린 후 다음 단계를 계속합니다.
6단계: 임시 인스턴스 종료
이 단계에서는 시작한 임시 인스턴스가 더 이상 필요하지 않습니다. 추가 요금이 발생하지 않도록 해당 인스턴스를 종료할 수 있습니다.
임시 인스턴스 종료
https://console.aws.amazon.com/ec2/
에서 Amazon EC2 콘솔을 엽니다. -
탐색 창에서 Instances(인스턴스)를 선택합니다.
-
생성한 임시 인스턴스를 선택하고 작업(Actions), 인스턴스 상태(Instance state), 인스턴스 종료(Terminate instance)를 선택합니다.
-
확인 메시지가 나타나면 종료(Terminate)를 선택합니다.
7단계: 클러스터 배치 그룹에 EFA 및 NCCL 지원 인스턴스 시작
앞서 생성한 EFA 사용 AMI 및 EFA 사용 보안 그룹을 사용하여 클러스터 배치 그룹으로 EFA 및 NCCL 사용 인스턴스를 시작합니다.
참고
-
클러스터 placementgroup으로 EFA 지원 인스턴스를 시작할 필요는 없습니다. 그러나 EFA가 지원되는 인스턴스를 클러스터 배치 그룹에서 실행하면 단일 가용 영역의 지연율이 낮은 그룹 인스턴스를 시작하기 때문에 권장합니다.
-
클러스터 인스턴스를 확장할 때 용량을 사용할 수 있도록 하려면 클러스터 배치 그룹에 대한 용량 예약을 생성할 수 있습니다. 자세한 내용은 클러스터 배치 그룹의 용량 예약 단원을 참조하십시오.
8단계: 암호 없는 SSH 사용
클러스터의 모든 인스턴스에서 실행하도록 애플리케이션을 활성화하려면 리더 노드에서 멤버 노드로의 암호 없는 SSH 액세스를 사용해야 합니다. 리더 노드는 애플리케이션을 실행할 인스턴스입니다. 클러스터의 나머지 인스턴스는 멤버 노드입니다,
클러스터의 인스턴스 간에 암호 없는 SSH를 사용하려면
-
클러스터의 인스턴스 1개를 리더 노드로 선택하고 연결합니다.
-
strictHostKeyChecking
을 비활성화하고 리더 노드에서ForwardAgent
를 활성화합니다. 원하는 텍스트 편집기를 사용하여~/.ssh/config
를 열고 다음을 추가합니다.Host * ForwardAgent yes Host * StrictHostKeyChecking no
-
RSA 키 페어 생성:
$
ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa키 페어는
$HOME/.ssh/
디렉터리에 생성됩니다. -
리더 노드에서 프라이빗 키의 사용 권한을 변경합니다.
$
chmod 600 ~/.ssh/id_rsa chmod 600 ~/.ssh/config -
원하는 텍스트 편집기를 사용하여
~/.ssh/id_rsa.pub
를 열고 키를 추가합니다. -
클러스터의 각 멤버 노드에 대해 다음을 수행합니다.
-
인스턴스에 연결합니다.
-
원하는 텍스트 편집기를 사용하여
~/.ssh/authorized_keys
를 열고 앞에서 복사한 퍼블릭 키를 추가합니다.
-
-
암호 없는 SSH가 예상대로 작동하는지 테스트하려면 리더 노드에 연결하고 다음 명령을 실행합니다.
$
sshmember_node_private_ip
키 또는 암호를 입력하라는 메시지가 표시되지 않은 상태에서 멤버 노드에 연결해야 합니다.