Linux 액셀러레이티드 컴퓨팅 인스턴스 - Amazon Elastic Compute Cloud

Linux 액셀러레이티드 컴퓨팅 인스턴스

액셀러레이티드 컴퓨팅 인스턴스는 하드웨어 액셀러레이터나 코프로세서를 사용하여 부동 소수점 계산, 그래픽 처리, 데이터 패턴 매칭 등과 같은 일부 기능을 CPU에서 실행하는 소프트웨어에서 수행하는 것보다 더 효율적으로 수행합니다. 이러한 인스턴스는 컴퓨팅 집약적 워크로드에서 더 높은 처리량을 위한 병렬 처리를 활성화합니다.

높은 처리 기능이 필요한 경우 GPU(그래픽 처리 장치), FPGA(필드 프로그래머블 게이트 어레이), AWS Inferentia와 같은 하드웨어 기반 컴퓨팅 액셀러레이터에 대한 액세스를 제공하는 액셀러레이티드 컴퓨팅 인스턴스를 사용하면 도움이 됩니다.

GPU 인스턴스

GPU 기반 인스턴스는 수천 개의 컴퓨팅 코어로 NVIDIA GPU에 대한 액세스를 제공합니다. 이러한 인스턴스로 CUDA(Compute Unified Device Architecture) 또는 OpenCL(Open Computing Language) 병렬 컴퓨팅 프레임워크를 활용하여 GPU 기반 과학, 공학 및 렌더링 애플리케이션의 속도를 높일 수 있습니다. 게임 스트리밍, 3-D 애플리케이션 스트리밍 등의 그래픽 애플리케이션 및 기타 그래픽 워크로드에 활용할 수도 있습니다.

G4 인스턴스

G4 인스턴스는 NVIDIA Tesla GPU를 사용하며 DirectX 또는 OpenGL을 사용하는 그래픽 애플리케이션과 함께 CUDA 또는 기계 학습 프레임워크를 사용하여 범용 GPU 컴퓨팅을 위한 경제적인 고성능 플랫폼을 제공합니다. G4 인스턴스는 INT8 및 INT4 정밀도와 함께 고대역폭 네트워킹, 강력한 반정밀도 및 단정밀도 부동 소수점 기능을 제공합니다. 각 GPU에는 16GiB의 GDDR6 메모리가 있으므로 G4 인스턴스는 기계 학습 추론, 비디오 트랜스코딩, 원격 그래픽 워크스테이션 및 클라우드에서의 게임 스트리밍과 같은 그래픽 애플리케이션에 적합합니다.

자세한 내용은 Amazon EC2 G4 인스턴스를 참조하십시오.

G4 인스턴스는 NVIDIA GRID 가상 워크스테이션을 지원합니다. 자세한 내용은 NVIDIA Marketplace 제품군을 참조하십시오.

G3 인스턴스

G3 인스턴스는 NVIDIA Tesla M60 GPU를 사용하며 DirectX 또는 OpenGL을 사용하는 그래픽 애플리케이션을 위한 경제적이고도 높은 성능의 플랫폼을 제공합니다. 또한 G3 인스턴스는 해상도가 최대 4096x2160인 모니터 4대와 NVIDIA GRID 가상 애플리케이션을 지원하는 등 NVIDIA GRID 가상 워크스테이션 기능도 제공합니다. G3 인스턴스는 3D 가상화, 그래픽 집약적인 원격 워크스테이션, 3D 렌더링, 비디오 인코딩, 가상 현실 및 기타 서버 측 그래픽 워크로드 같이 뛰어난 병렬 처리 성능이 필요한 애플리케이션에 적합합니다.

자세한 내용은 Amazon EC2 G3 인스턴스를 참조하십시오.

G3 인스턴스는 NVIDIA GRID 가상 워크스테이션 및 NVIDIA GRID 가상 애플리케이션을 지원합니다. 이러한 기능들 중 하나를 활성화하는 방법은 NVIDIA GRID 가상 애플리케이션 활성화 단원을 참조하십시오.

G2 인스턴스

G2 인스턴스는 NVIDIA GRID K520 GPU를 사용하며 DirectX 또는 OpenGL을 사용하는 그래픽 애플리케이션을 위한 경제적이고도 높은 성능의 플랫폼을 제공합니다. 또한 NVIDIA GRID GPU는 NVIDIA의 빠른 캡처 기능을 지원하고 API 연산을 인코딩합니다. 애플리케이션의 예로는 비디오 제작 서비스, 3D 가상화, 스트리밍 그래픽 집약적 애플리케이션 및 기타 서버 측 그래픽 워크로드 등을 들 수 있습니다.

P3 인스턴스

P3 인스턴스는 NVIDIA Tesla V100 GPU를 사용하며, CUDA 또는 OpenCL 프로그래밍 모델을 사용하거나 머신 러닝 프레임워크를 통해 범용 GPU 컴퓨팅에 맞게 설계되었습니다. P3 인스턴스는 고대역 네트워킹, 강력한 반정밀도, 단정밀도 및 배정밀도 부동 소수점 기능, GPU당 최대 32GiB의 메모리를 제공하므로, 딥 러닝, 전산 유체 역학(CFD), 계산 금융(Computational Finance), 내진 해석, 분자 모델링, 유전체학, 렌더링 및 기타 서버 측 GPU 컴퓨팅 워크로드에 이상적입니다. Tesla V100 GPU는 그래픽 모드를 지원하지 않습니다.

자세한 내용은 Amazon EC2 P3 인스턴스를 참조하십시오.

P3 인스턴스는 NVIDIA NVLink 피어 투 피어 전송을 지원합니다. 자세한 내용은 NVIDIA NVLink 단원을 참조하십시오.

P2 인스턴스

P2 인스턴스는 NVIDIA Tesla K80 GPU를 사용하며, CUDA 또는 OpenCL 프로그래밍 모델을 사용하는 일반 GPU 컴퓨팅에 맞게 설계되었습니다. P2 인스턴스는 고대역 네트워킹, 강력한 단일 정밀도 및 배정밀도 부동 소수점 기능, GPU당 12GiB의 메모리를 제공하므로, 딥 러닝, 그래프 데이터베이스, 고성능 데이터베이스, 전산 유체 역학(CFD), 계산 금융(Computational Finance), 내진 해석, 분자 모델링, 유전체학, 렌더링 및 기타 서버 GPU 컴퓨팅 워크로드에 이상적입니다.

P2 인스턴스는 NVIDIA GPUDirect 피어 투 피어 전송을 지원합니다. 자세한 내용은 NVIDIA GPUDirect 단원을 참조하십시오.

AWS Inferentia를 사용한 인스턴스

이러한 인스턴스는 Amazon의 사용자 지정 AI/ML 칩인 AWS Inferentia를 사용하여 기계 학습을 가속화하도록 설계되었습니다. 이 칩은 지연 시간이 짧은 고성능 기계 학습 추론을 제공합니다. 이러한 인스턴스는 자연어 처리, 객체 감지 및 분류, 콘텐츠 개인화 및 필터링, 음성 인식과 같은 애플리케이션에 대한 딥 러닝(DL) 모델을 배포하는 데 최적화되어 있습니다.

시작할 수 있는 다양한 방법이 있습니다.

  • 기계 학습 모델을 시작하는 가장 쉬운 방법으로 완전 관리형 서비스인 SageMaker을 사용합니다. 자세한 내용은 github의 Inf1 인스턴스에 TensorFlow 모델 컴파일 및 배포를 참조하십시오.

  • 딥 러닝 AMI를 사용하여 Inf1 인스턴스를 시작합니다. 자세한 내용은 AWS Deep Learning AMI 개발자 안내서DLAMI가 포함된 AWS Inferentia를 참조하십시오.

  • 자체 AMI를 사용하여 Inf1 인스턴스를 시작하고 AWS Neuron SDK를 설치하면 AWS Inferentia용 딥 러닝 모델을 컴파일, 실행 및 프로파일링할 수 있습니다.

  • Inf1 인스턴스 및 Amazon ECS 최적화 AMI를 사용하여 컨테이너 인스턴스를 시작합니다. 자세한 내용은 Amazon Elastic Container Service Developer GuideAmazon Linux 2(Inferentia) AMI를 참조하십시오.

  • Inf1 인스턴스를 실행하는 노드가 있는 Amazon EKS 클러스터를 생성합니다. 자세한 내용은 Amazon EKS 사용 설명서Inferentia 지원을 참조하십시오.

자세한 내용은 AWS 기반 기계 학습을 참조하십시오.

Inf1 인스턴스

Inf1 인스턴스는 AWS Inferentia 기계 학습 추론 칩을 사용합니다. 규모에 관계없이 매우 비용 효과적이고 지연 시간이 짧은 추론 성능을 구현하기 위해 Inferentia가 개발되었습니다.

자세한 내용은 Amazon EC2 Inf1 인스턴스를 참조하십시오.

FPGA 인스턴스

FPGA 기반 인스턴스는 수백만 개의 병렬 시스템 로직 셀로 대용량 FPGA에 대한 액세스를 제공합니다. FPGA 기반 액셀러레이티드 컴퓨팅 인스턴스를 사용하여 사용자 지정 하드웨어 액셀러레이션 활용을 통해 게놈, 재무 분석, 실시간 비디오 프로세싱, 빅 데이터 분석 및 보안 워크로드와 같은 워크로드를 가속화할 수 있습니다. Verilog 또는 VHDL과 같은 하드웨어 설명 언어를 사용하거나 OpenCL 병렬 컴퓨팅 프레임워크와 같은 상위 수준의 언어를 사용하여 이러한 액셀러레이션을 개발할 수 있습니다. 자체 하드웨어 액셀러레이션 코드를 개발하거나 AWS Marketplace를 통해 하드웨어 액셀러레이션을 구매할 수 있습니다.

FPGA 개발자 AMI는 AFI를 개발, 테스트 및 빌드할 수 있는 도구를 제공합니다. 시스템 메모리가 최소 32GB인 모든 EC2 인스턴스(예: C5, M4, R4 인스턴스)에 FPGA 개발자 AMI를 사용할 수 있습니다.

자세한 내용은 AWS FPGA 하드웨어 개발 키트 설명서를 참조하십시오.

F1 인스턴스

F1 인스턴스는 Xilinx UltraScale+ VU9P FPGA를 사용하고 범용 CPU에는 적합하지 않은 데이터 흐름 또는 고도로 병렬적인 작업과 같은 컴퓨팅 집약적 알고리즘을 가속화하도록 설계되었습니다. F1 인스턴스의 각 FPGA에는 약 250만 개의 로직 요소와 약 6,800개의 DSP(Digital Signal Processing) 엔진이 포함되어 있고 전용 PCIe Gen3 x16 연결로 인스턴스에 연결된 로컬 DDR ECC 보호 메모리 64GiB가 있습니다. F1 인스턴스는 로컬 NVMe SSD 볼륨을 제공합니다.

개발자는 FPGA 개발자 AMI 및 AWS 하드웨어 개발자 키트를 사용하여 F1 인스턴스에 사용할 사용자 지정 하드웨어 액셀러레이션을 생성할 수 있습니다. FPGA 개발자AMI에는 클라우드의 전체 주기 FPGA 개발용 개발 도구가 포함됩니다. 이러한 도구를 사용하여 개발자는 F1 인스턴스의 FPGA에 로드할 수 있는 Amazon FPGA 이미지(AFI)를 생성 및 공유할 수 있습니다.

자세한 내용은 Amazon EC2 F1 인스턴스를 참조하십시오.

하드웨어 사양

다음은 액셀러레이티드 컴퓨팅 인스턴스용 하드웨어 사양의 요약 설명입니다.

인스턴스 유형 기본 vCPU 메모리(GiB) 액셀러레이터
p2.xlarge 4 61 1
p2.8xlarge 32 488 8
p2.16xlarge 64 732 16
p3.2xlarge 8 61 1
p3.8xlarge 32 244 4
p3.16xlarge 64 488 8
p3dn.24xlarge 96 768 8
g2.2xlarge 8 15 1
g2.8xlarge 32 60 4
g3s.xlarge 4 30.5 1
g3.4xlarge 16 122 1
g3.8xlarge 32 244 2
g3.16xlarge 64 488 4
g4dn.xlarge 4 16 1
g4dn.2xlarge 8 32 1
g4dn.4xlarge 16 64 1
g4dn.8xlarge 32 128 1
g4dn.12xlarge 48 192 4
g4dn.16xlarge 64 256 1
g4dn.metal 96 384 8
f1.2xlarge 8 122 1
f1.4xlarge 16 244 2
f1.16xlarge 64 976 8
inf1.xlarge 4 8 1
inf1.2xlarge 8 16 1
inf1.6xlarge 24 48 4
inf1.24xlarge 96 192 16

Amazon EC2 인스턴스 유형별 하드웨어 사양에 대한 자세한 내용은 Amazon EC2 인스턴스 유형을 참조하십시오.

CPU 옵션 지정에 대한 자세한 내용은 CPU 옵션 최적화 단원을 참조하십시오.

인스턴스 성능

인스턴스에서 최고의 성능을 달성하기 위해 수행할 수 있는 몇 가지 GPU 설정 최적화가 있습니다. 자세한 내용은 GPU 설정 최적화 단원을 참조하십시오.

EBS에 최적화된 인스턴스를 사용하면 Amazon EBS I/O와 인스턴스의 다른 네트워크 간의 경합을 제거하여 EBS 볼륨에 대해 일관되게 우수한 성능을 제공할 수 있습니다. 일부 액셀러레이티드 컴퓨팅 인스턴스는 추가 비용 없이도 EBS에 최적화할 수 있게 기본 설정되어 있습니다. 자세한 내용은 Amazon EBS–최적화 인스턴스 단원을 참조하십시오.

일부 액셀러레이티드 컴퓨팅 인스턴스 유형은 Linux에서 프로세서 C 상태 및 P 상태를 제어할 수 있는 기능을 제공합니다. C 상태는 유휴 상태일 때 코어가 진입하는 절전 수준을 제어하고, P 상태는 코어의 성능(CPU 주파수)을 제어합니다. 자세한 내용은 EC2 인스턴스에 대한 프로세서 상태 제어 단원을 참조하십시오.

네트워크 성능

지원되는 인스턴스 유형에 대해 향상된 네트워킹을 활성화하면 지연 시간을 줄이고 네트워크 지터를 낮추며 PPS(Packet Per Second) 성능을 높일 수 있습니다. 대부분의 애플리케이션은 항시 높은 수준의 네트워크 성능을 필요로 하지 않지만, 데이터를 주고 받을 때 증가된 대역폭에 액세스할 수 있을 경우 유익할 수 있습니다. 자세한 내용은 Linux에서 향상된 네트워킹 단원을 참조하십시오.

다음은 향상된 네트워킹을 지원하는 액셀러레이티드 컴퓨팅 인스턴스를 위한 네트워크 성능의 요약 설명입니다.

인스턴스 유형 네트워크 성능 향상된 네트워킹
f1.2xlarge | f1.4xlarge | g3.4xlarge | p3.2xlarge 최대 10Gbps † ENA
g3s.xlarge | g3.8xlarge | p2.8xlarge | p3.8xlarge 10Gbps ENA
g4dn.xlarge | g4dn.2xlarge | g4dn.4xlarge | inf1.xlarge | inf1.2xlarge 최대 25Gbps † ENA
f1.16xlarge | g3.16xlarge | inf1.6xlarge | p2.16xlarge | p3.16xlarge 25Gbps ENA
g4dn.8xlarge | g4dn.12xlarge | g4dn.16xlarge 50Gbps ENA
g4dn.metal | inf1.24xlarge | p3dn.24xlarge 100Gbps ENA

† 이러한 인스턴스는 네트워크 I/O 크레딧 메커니즘을 이용해 평균 대역폭 활용도를 기준으로 인스턴스에 네트워크 대역폭을 할당합니다. 해당 대역폭이 기준 대역폭 미만으로 떨어지면 크레딧이 발생하는데, 이 크레딧은 네트워크 데이터를 전송할 때 사용할 수 있습니다. 자세한 내용은 지원 사례를 개설하여 관심 있는 특정 인스턴스 유형의 기준 대역폭에 대해 문의하십시오.

인스턴스 기능

액셀러레이티드 컴퓨팅 인스턴스를 위한 기능의 요약 설명입니다.

EBS 전용 NVMe EBS 인스턴스 스토어 배치 그룹

G2

아니요

아니요

SSD

G3

아니요

아니요

G4

아니요

NVMe *

Inf1

아니요

아니요

P2

아니요

아니요

P3

24xlarge: 아니요

기타 모든 크기: 예

24xlarge: 예

기타 모든 크기: 아니요

24xlarge: NVMe *

SharePoint용 F1

아니요

아니요

NVMe *

* 루트 디바이스 볼륨은 Amazon EBS 볼륨이어야 합니다.

자세한 내용은 다음 단원을 참조하십시오.

릴리스 정보

  • HVM AMI를 사용해서 I 인스턴스를 실행해야 합니다.

  • Nitro 시스템에 구축된 인스턴스에는 다음과 같은 요구 사항이 있습니다.

    다음 Linux AMI는 이러한 요구 사항을 충족합니다.

    • Amazon Linux 2

    • Amazon Linux AMI 2018.03

    • Ubuntu 14.04(linux-aws 커널) 이상

    • Red Hat Enterprise Linux 7.4 이상

    • SUSE Linux Enterprise Server 12 SP2 이상

    • CentOS 7.4.1708 이상

    • FreeBSD 11.1 이상

    • Debian GNU/Linux 9 이상

  • GPU 기반 인스턴스는 NVIDIA 드라이버를 설치해야 GPU에 액세스할 수 있습니다. 자세한 내용은 Linux 인스턴스에 NVIDIA 드라이버 설치 단원을 참조하십시오.

  • 베어 메탈 인스턴스를 시작하면 기본 서버가 부팅되는데, 이때 모든 하드웨어 및 펌웨어 구성 요소를 확인합니다. 즉, 인스턴스가 실행 상태가 되어 네트워크를 통해 사용할 수 있게 될 때까지 20분이 걸릴 수 있습니다.

  • 베어 메탈 인스턴스에서 EBS 볼륨 또는 보조 네트워크 인터페이스를 연결 또는 분리하려면 PCIe 기본 핫플러그 지원이 필요합니다. Amazon Linux 2 및 최신 Amazon Linux AMI 버전에서는 PCIe 기본 핫플러그를 지원하지만 이전 버전에서는 지원하지 않습니다. 다음 Linux 커널 구성 옵션을 활성화해야 합니다.

    CONFIG_HOTPLUG_PCI_PCIE=y CONFIG_PCIEASPM=y
  • 베어 메탈 인스턴스에서는 I/O 포트 기반 직렬 디바이스가 아닌 PCI 기반 직렬 디바이스를 사용합니다. 업스트림 Linux 커널 및 최신 Amazon Linux AMI에서는 이 디바이스를 지원합니다. 베어 메탈 인스턴스도 시스템에서 PCI 기반 직렬 디바이스를 자동으로 사용할 수 있게 해주는 ACPI SPCR 테이블을 제공합니다. 최신 Windows AMI에서는 PCI 기반 직렬 디바이스를 자동으로 사용합니다.

  • 리전당 100개의 AFI 제한이 있습니다.

  • 한 리전에서 시작할 수 있는 총 인스턴스 수에는 제한이 있으며, 일부 인스턴스 유형에는 또 다른 제한이 있습니다. 자세한 내용은 Amazon EC2 FAQ에서 Amazon EC2에서 실행 가능한 인스턴스 수를 참조하십시오.