Linux 가속 컴퓨팅 인스턴스 - Amazon Elastic Compute Cloud

Linux 가속 컴퓨팅 인스턴스

참고

자세한 인스턴스 유형 사양은 Amazon EC2 인스턴스 유형 가이드를 참조하세요. 요금 내용은 Amazon EC2 인스턴스 유형을 참조하세요.

액셀러레이티드 컴퓨팅 인스턴스는 하드웨어 액셀러레이터나 코프로세서를 사용하여 부동 소수점 계산, 그래픽 처리, 데이터 패턴 매칭 등과 같은 일부 기능을 CPU에서 실행하는 소프트웨어에서 수행하는 것보다 더 효율적으로 수행합니다. 이러한 인스턴스는 컴퓨팅 집약적 워크로드에서 더 높은 처리량을 위한 병렬 처리를 활성화합니다.

높은 처리 기능이 필요한 경우 GPU(그래픽 처리 장치), AWSFPGA(필드 프로그래머블 게이트 어레이), Inferentia와 같은 하드웨어 기반 컴퓨팅 액셀러레이터에 대한 액세스를 제공하는 액셀러레이티드 컴퓨팅 인스턴스를 사용하면 도움이 됩니다.

GPU 인스턴스

GPU 기반 인스턴스는 수천 개의 컴퓨팅 코어로 NVIDIA GPU에 대한 액세스를 제공합니다. 이러한 인스턴스로 CUDA(Compute Unified Device Architecture) 또는 OpenCL(Open Computing Language) 병렬 컴퓨팅 프레임워크를 활용하여 GPU 기반 과학, 공학 및 렌더링 애플리케이션의 속도를 높일 수 있습니다. 게임 스트리밍, 3-D 애플리케이션 스트리밍 등의 그래픽 애플리케이션 및 기타 그래픽 워크로드에 활용할 수도 있습니다.

G5 인스턴스

G5 인스턴스는 NVIDIA A10G GPU를 사용하며 원격 워크스테이션, 비디오 렌더링, 클라우드 게임과 같은 그래픽 집약적인 애플리케이션에 고성능을 제공하고, 자연어 처리, 컴퓨터 비전 및 추천 엔진과 같은 애플리케이션을 위한 딥 러닝 모델을 제공합니다. 이 인스턴스는 최대 8개의 NVIDIA A10G GPU, 2세대 AMD EPYC 프로세서, 최대 100Gbps의 네트워크 대역폭 및 최대 7.6TB의 로컬 NVMe SSD 스토리지를 갖추고 있습니다.

자세한 내용은 Amazon EC2 G5 인스턴스를 참조하세요.

G5g 인스턴스

G5g 인스턴스는 NVIDIA T4G GPU를 사용하며 OpenGL. Vulkan 등의 업계 표준 API를 활용하는 게임 스트리밍 및 렌더링과 같은 그래픽 집약적 애플리케이션에 고성능을 제공합니다. 이러한 인스턴스는 자연어 처리 및 컴퓨터 비전과 같은 애플리케이션을 위한 딥 러닝 모델을 실행하는 데에도 적합합니다. 이 인스턴스는 최대 2개의 NVIDIA T4G 텐서 코어 GPU, AWSGraviton2 프로세서 및 최대 25Gbps의 네트워크 대역폭을 제공합니다.

자세한 내용은 Amazon EC2 G5g 인스턴스를 참조하세요.

G4ad 및 G4dn 인스턴스

G4ad 인스턴스는 AMD Radeon Pro V520 GPU 및 2세대 AMD EPYC 프로세서를 사용하며 원격 그래픽 워크스테이션, 게임 스트리밍 및 렌더링과 같이 업계 표준 API(OpenGL, DirectX 및 Vulkan)를 활용하는 그래픽 애플리케이션에 적합합니다. 최대 4개의 AMD Radeon Pro V520 GPU, vCPU 64개, 25Gbps 네트워킹 및 2.4TB 로컬 NVMe 기반 SSD 스토리지를 제공합니다.

G4dn 인스턴스는 NVIDIA Tesla GPU를 사용하며 DirectX 또는 OpenGL을 사용하는 그래픽 애플리케이션과 함께 CUDA 또는 기계 학습 프레임워크를 사용하여 범용 GPU 컴퓨팅을 위한 경제적인 고성능 플랫폼을 제공합니다. 이러한 인스턴스는 INT8 및 INT4 정밀도와 함께 고대역폭 네트워킹, 강력한 반정밀도 및 단정밀도 부동 소수점 기능을 제공합니다. 각 GPU에는 16GiB의 GDDR6 메모리가 있으므로 G4dn 인스턴스는 기계 학습 추론, 비디오 트랜스코딩, 원격 그래픽 워크스테이션 및 클라우드에서의 게임 스트리밍과 같은 그래픽 애플리케이션에 적합합니다.

자세한 내용은 Amazon EC2 G4 인스턴스를 참조하세요.

G4dn 인스턴스는 NVIDIA GRID 가상 워크스테이션을 지원합니다. 자세한 내용은 NVIDIA Marketplace 제품군을 참조하세요.

G3 인스턴스

이러한 인스턴스는 NVIDIA Tesla M60 GPU를 사용하며 DirectX 또는 OpenGL을 사용하는 그래픽 애플리케이션을 위한 경제적이고도 높은 성능의 플랫폼을 제공합니다. 또한 G3 인스턴스는 해상도가 최대 4096x2160인 모니터 4대와 NVIDIA GRID 가상 애플리케이션을 지원하는 등 NVIDIA GRID 가상 워크스테이션 기능도 제공합니다. G3 인스턴스는 3D 가상화, 그래픽 집약적인 원격 워크스테이션, 3D 렌더링, 비디오 인코딩, 가상 현실 및 기타 서버 측 그래픽 워크로드 같이 뛰어난 병렬 처리 성능이 필요한 애플리케이션에 적합합니다.

자세한 내용은 Amazon EC2 G3 인스턴스를 참조하세요.

G3 인스턴스는 NVIDIA GRID 가상 워크스테이션 및 NVIDIA GRID 가상 애플리케이션을 지원합니다. 이러한 기능들 중 하나를 활성화하는 방법은 NVIDIA GRID 가상 애플리케이션 활성화 섹션을 참조하세요.

G2 인스턴스

이러한 인스턴스는 NVIDIA GRID K520 GPU를 사용하며 DirectX 또는 OpenGL을 사용하는 그래픽 애플리케이션을 위한 경제적이고도 높은 성능의 플랫폼을 제공합니다. 또한 NVIDIA GRID GPU는 NVIDIA의 빠른 캡처 기능을 지원하고 API 연산을 인코딩합니다. 애플리케이션의 예로는 비디오 제작 서비스, 3D 가상화, 스트리밍 그래픽 집약적 애플리케이션 및 기타 서버 측 그래픽 워크로드 등을 들 수 있습니다.

P5 인스턴스

P5 인스턴스는 NVIDIA H100 GPU 8개와 640GB의 고대역폭 GPU 메모리를 제공합니다. 3세대 AMD EPYC 프로세서를 탑재하고 있으며 2TB 시스템 메모리, 30TB 로컬 NVMe 인스턴스 스토리지, 3,200Gps의 집계된 네트워크 대역폭 및 GPUDirect RDMA 지원을 제공합니다. 또한 P5 인스턴스는 EFA를 사용하여 지연 시간을 줄이고 네트워크 성능을 향상시키는 Amazon EC2 UltraCluster 기술을 지원합니다. 기계 학습 및 HPC 워크로드의 경우 P5 인스턴스는 이전 세대 GPU 인스턴스보다 최대 6배 더 높은 성능을 제공합니다.

P5 인스턴스는 광범위한 GPU 지원 워크로드를 가속화할 수 있으며 대규모 분산 기계 학습 및 고성능 컴퓨팅 애플리케이션에 적합합니다.

자세한 내용은 Amazon EC2 P5 인스턴스를 참조하세요.

P4d 인스턴스

이러한 인스턴스는 NVIDIA A100 GPU를 사용하며 기계 학습 및 HPC 워크로드를 위한 고성능 플랫폼을 제공합니다. P4d 인스턴스는 400Gbps의 집계 네트워크 대역폭 처리량을 제공하며 Elastic Fabric Adapter(EFA)(EFA)를 지원합니다. 이 인스턴스는 여러 네트워크 카드를 제공하는 최초의 EC2 인스턴스입니다.

자세한 내용은 Amazon EC2 P4d 인스턴스를 참조하세요.

P4d 인스턴스는 NVIDIA NVSwitch GPU interconnect와 NVIDIA GPUDirect RDMA를 지원합니다.

P4de 인스턴스에서 NVIDIA 80GB-A100s GPU 제공

P3 인스턴스

이러한 인스턴스는 NVIDIA Tesla V100 GPU를 사용하며, CUDA 또는 OpenCL 프로그래밍 모델을 사용하거나 기계 학습 프레임워크를 통해 범용 GPU 컴퓨팅에 적합하도록 설계되었습니다. P3 인스턴스는 고대역 네트워킹, 강력한 반정밀도, 단정밀도 및 배정밀도 부동 소수점 기능, GPU당 최대 32GiB의 메모리를 제공하므로, 딥 러닝, 전산 유체 역학(CFD), 계산 금융(Computational Finance), 내진 해석, 분자 모델링, 유전체학, 렌더링 및 기타 서버 측 GPU 컴퓨팅 워크로드에 이상적입니다. Tesla V100 GPU는 그래픽 모드를 지원하지 않습니다.

자세한 내용은 Amazon EC2 P3 인스턴스를 참조하세요.

P3 인스턴스는 NVIDIA NVLink 피어 투 피어 전송을 지원합니다. 자세한 내용은 NVIDIA NVLink 섹션을 참조하세요.

P2 인스턴스

P2 인스턴스는 NVIDIA Tesla K80 GPU를 사용하며, CUDA 또는 OpenCL 프로그래밍 모델을 사용하는 일반 GPU 컴퓨팅에 맞게 설계되었습니다. P2 인스턴스는 고대역 네트워킹, 강력한 단일 정밀도 및 배정밀도 부동 소수점 기능, GPU당 12GiB의 메모리를 제공하므로, 딥 러닝, 그래프 데이터베이스, 고성능 데이터베이스, 전산 유체 역학(CFD), 계산 금융(Computational Finance), 내진 해석, 분자 모델링, 유전체학, 렌더링 및 기타 서버 GPU 컴퓨팅 워크로드에 이상적입니다.

P2 인스턴스는 NVIDIA GPUDirect 피어 투 피어 전송을 지원합니다. 자세한 내용은 NVIDIA GPUDirect 섹션을 참조하세요.

AWS Trainium이 있는 인스턴스

AWS Trainium을 기반으로 하는 Amazon EC2 Trn1 및 Trn1n 인스턴스는 비용 효율적인 고성능 딥 러닝 훈련을 위해 특별히 개발되었습니다. Trn1 및 Trn1n 인스턴스를 사용하면 음성 인식, 추천, 사기 탐지, 이미지 및 동영상 분류와 같은 광범위한 애플리케이션 세트 전반에서 사용되는 자연어 처리, 컴퓨터 비전 및 추천 모델을 훈련할 수 있습니다. PyTorch 및 TensorFlow와 같이 널리 사용되는 ML 프레임워크에서 기존 워크플로우를 사용할 수 있습니다. AWS Neuron SDK는 이러한 프레임워크와 원활하게 통합됩니다. 따라서 몇 줄의 코드 변경만으로 시작할 수 있습니다.

자세한 내용은 Amazon EC2 Trn1 인스턴스를 참조하세요.

AWS Inferentia가 있는 인스턴스

이러한 인스턴스는 Amazon의 사용자 지정 AI/ML 칩인 AWS Inferentia를 사용하여 기계 학습을 가속화하도록 설계되었습니다. 이 칩은 지연 시간이 짧은 고성능 기계 학습 추론을 제공합니다. 이러한 인스턴스는 자연어 처리, 객체 감지 및 분류, 콘텐츠 개인화 및 필터링, 음성 인식과 같은 애플리케이션에 대한 딥 러닝(DL) 모델을 배포하는 데 최적화되어 있습니다.

시작할 수 있는 다양한 방법이 있습니다.

  • 기계 학습 모델을 시작하는 가장 쉬운 방법으로 완전 관리형 서비스인 SageMaker를 사용합니다. 자세한 내용은 Amazon SageMaker 개발자 안내서Get Started with SageMaker(SageMaker 시작하기)를 참조하세요.

  • 딥 러닝 AMI를 사용하여 Inf1 또는 Inf2 인스턴스를 시작합니다. 자세한 내용은 AWS Deep Learning AMI 개발자 안내서에서 DLAMI가 포함된 AWS Inferentia를 참조하세요.

  • 자체 AMI를 사용하여 Inf1 또는 Inf2 인스턴스를 시작하고 AWS Neuron SDK를 설치하면 AWS Inferentia용 딥 러닝 모델을 컴파일, 실행 및 프로파일링할 수 있습니다.

  • Inf1 또는 Inf2 인스턴스 및 Amazon ECS 최적화 AMI를 사용하여 컨테이너 인스턴스를 시작합니다. 자세한 내용은 Amazon Elastic Container Service 개발자 안내서Amazon Linux 2(Inferentia) AMI를 참조하세요.

  • Inf1 인스턴스를 실행하는 노드가 있는 Amazon EKS 클러스터를 생성합니다. 자세한 내용은 Amazon EKS 사용 설명서에서 Inferentia 지원을 참조하세요.

자세한 내용은 AWS 기반 기계 학습을 참조하세요.

Inf1 인스턴스

Inf1 인스턴스는 AWS Inferentia 기계 학습 추론 칩을 사용합니다. 규모에 관계없이 매우 비용 효과적이고 지연 시간이 짧은 추론 성능을 구현하기 위해 Inferentia가 개발되었습니다.

자세한 내용은 Amazon EC2 Inf1 인스턴스를 참조하세요.

Inf2 인스턴스

Inf2 인스턴스는 AWS Inferentia2 기계 학습 추론 칩을 사용합니다. 이러한 2세대 인스턴스는 Inf1 인스턴스에 비해 추론당 비용이 최대 25% 향상되고 비교군인 Amazon EC2 인스턴스에 비해 최대 70% 더 나은 추론당 비용을 보여줍니다. 이러한 인스턴스는 딥 러닝 모델을 사용하는 다양한 워크로드에 적합합니다.

자세한 내용은 Amazon EC2 Inf2 인스턴스를 참조하세요.

Habana 액셀러레이터가 있는 인스턴스

이러한 인스턴스는 딥 러닝 모델(DL) 훈련 워크로드를 가속화하도록 설계되었습니다. 인텔 회사인 Habana Labs의 액셀러레이터를 사용합니다. 이러한 인스턴스는 이미지 인식, 물체 감지 및 분류, 추천 시스템과 같은 애플리케이션을 위한 DL 모델에 최적화되어 있습니다.

자세한 내용은 AWS 기반 기계 학습을 참조하세요.

DL1 인스턴스

DL1 인스턴스는 Habana Gaudi 액셀러레이터를 사용합니다. 액셀러레이터당 32GB의 고대역폭 메모리(HBM)와 함께 최대 400Gbps의 전체 네트워크 대역폭을 제공합니다. DL1 인스턴스는 딥 러닝 모델을 훈련하는 데 높은 성능과 비용 효율성을 제공하도록 설계되었습니다.

시작할 수 있는 다양한 방법이 있습니다.

  • Habana 딥 러닝 AMI를 사용하여 DL1 인스턴스를 시작합니다.

  • 자체 AMI를 사용하여 DL1 인스턴스를 시작하고 Habana 드라이버 및 Habana SynapseAI SDK를 설치합니다.

  • DL1 인스턴스 및 Amazon ECS 최적화 AMI를 사용하여 컨테이너 인스턴스를 시작합니다.

  • DL1 인스턴스를 실행하는 노드로 Amazon EKS 클러스터를 생성합니다.

자세한 내용은 Amazon EC2 DL1 인스턴스를 참조하세요.

Qualcomm 액셀러레이터가 있는 인스턴스

DL2q

DL2q 인스턴스는 7세대 Qualcomm Edge AI 코어를 갖춘 Qualcomm AI100 추론 액셀러레이터를 사용합니다. 이를 사용하여 클라우드에 딥 러닝(DL) 워크로드를 비용 효율적으로 배포하거나 Qualcomm 엣지 디바이스에 배포될 DL 워크로드의 성능과 정확성을 검증할 수 있습니다.

DL2q 인스턴스는 8개의 Qualcomm AI100 액셀러레이터, 듀얼 인텔 Cascade Lake CPU 전체의 96개 vCPU, 768GB 시스템 메모리 및 100Gbps의 네트워크 대역폭을 통해 최대 1.4페타플롭스의 기계 학습 성능을 지원합니다. 각 Qualcomm AI100 액셀러레이터는 최대 175테라플롭스의 FP16 성능과 16GB의 액셀러레이터 메모리를 제공합니다.

DL2q 인스턴스는 스마트폰, 자동차, 로봇 및 확장 현실 헤드셋에 배포하기 전에 엣지 AI 워크로드를 검증하는 데 이상적입니다. 또한 콘텐츠 생성, 이미지 분석, 텍스트 요약, 가상 도우미 등의 인기 있는 DL 애플리케이션을 실행하기 위한 클라우드 추론을 지원합니다.

DL2q 인스턴스를 시작하려면 Qualcomm 앱 및 플랫폼 소프트웨어 개발 키트(SDK)와 함께 사전 패키지로 제공되는 AWS 딥 러닝 AMI(DLAMI)와 PyTorch, Tensorflow 등의 인기 있는 기계 학습 프레임워크를 사용하는 것이 좋습니다.

자세한 내용은 Amazon EC2 DL2q 인스턴스를 참조하세요.

비디오 트랜스코딩 인스턴스

이러한 인스턴스는 라이브 브로드캐스트, 화상 회의 및 Just-in-Time 트랜스코딩과 같은 비디오 트랜스코딩 워크로드를 가속화하도록 설계되었습니다.

VT1 인스턴스

VT1 인스턴스는 Xilinx Alveo U30 미디어 액셀러레이터를 지원하며 라이브 비디오 트랜스코딩 워크로드를 위해 설계되었습니다. 이러한 인스턴스는 최대 8개의 Xilinx Alveo U30 가속 카드를 제공하며, 최대 192GB의 시스템 메모리 및 최대 25Gbps의 네트워크 대역폭을 제공합니다. VT1 인스턴스는 H.264/AVC 및 H.265/HEVC 코덱을 지원하며 멀티 스트림 비디오 트랜스코딩을 위해 최대 4K UHD 해상도를 지원합니다.

시작할 수 있는 다양한 방법이 있습니다.

  • AWS Marketplace에서 Xilinx U30 AMI를 사용하여 VT1 인스턴스를 시작합니다.

  • 자체 AMI를 사용하여 VT1 인스턴스를 시작하고 Xilinx U30 드라이버 및 Xilinx 비디오 SDK를 설치합니다.

  • VT1 인스턴스 및 Amazon ECS 최적화 AMI를 사용하여 컨테이너 인스턴스를 시작합니다.

  • VT1 인스턴스를 실행하는 노드가 있는 Amazon EKS 클러스터를 생성합니다.

자세한 내용은 Amazon EC2 VT1 인스턴스를 참조하세요.

FPGA 인스턴스

FPGA 기반 인스턴스는 수백만 개의 병렬 시스템 로직 셀로 대용량 FPGA에 대한 액세스를 제공합니다. FPGA 기반 액셀러레이티드 컴퓨팅 인스턴스를 사용하여 사용자 지정 하드웨어 액셀러레이션 활용을 통해 게놈, 재무 분석, 실시간 비디오 프로세싱, 빅 데이터 분석 및 보안 워크로드와 같은 워크로드를 가속화할 수 있습니다. Verilog 또는 VHDL과 같은 하드웨어 설명 언어를 사용하거나 OpenCL 병렬 컴퓨팅 프레임워크와 같은 상위 수준의 언어를 사용하여 이러한 액셀러레이션을 개발할 수 있습니다. 자체 하드웨어 액셀러레이션 코드를 개발하거나 AWS Marketplace을(를) 통해 하드웨어 액셀러레이션을 구매할 수 있습니다.

FPGA 개발자 AMI는 AFI를 개발, 테스트 및 빌드할 수 있는 도구를 제공합니다. 시스템 메모리가 최소 32GB인 모든 EC2 인스턴스(예: C5, M4, R4 인스턴스)에 FPGA 개발자 AMI를 사용할 수 있습니다.

자세한 내용은 AWSFPGA 하드웨어 개발 키트 설명서를 참조하세요.

F1 인스턴스

F1 인스턴스는 Xilinx UltraScale+ VU9P FPGA를 사용하고 범용 CPU에는 적합하지 않은 데이터 흐름 또는 고도로 병렬적인 작업과 같은 컴퓨팅 집약적 알고리즘을 가속화하도록 설계되었습니다. F1 인스턴스의 각 FPGA에는 약 250만 개의 로직 요소와 약 6,800개의 DSP(Digital Signal Processing) 엔진이 포함되어 있고 전용 PCIe Gen3 x16 연결로 인스턴스에 연결된 로컬 DDR ECC 보호 메모리 64GiB가 있습니다. F1 인스턴스는 로컬 NVMe SSD 볼륨을 제공합니다.

개발자는 FPGA 개발자 AMI 및 AWS 하드웨어 개발자 키트를 사용하여 F1 인스턴스에 사용할 사용자 지정 하드웨어 액셀러레이션을 생성할 수 있습니다. FPGA 개발자 AMI에는 클라우드의 전체 주기 FPGA 개발용 개발 도구가 포함됩니다. 이러한 도구를 사용하여 개발자는 F1 인스턴스의 FPGA에 로드할 수 있는 Amazon FPGA 이미지(AFI)를 생성 및 공유할 수 있습니다.

자세한 내용은 Amazon EC2 F1 인스턴스를 참조하세요.

하드웨어 사양

다음은 액셀러레이티드 컴퓨팅 인스턴스용 하드웨어 사양의 요약 설명입니다. 가상 중앙 처리 장치(vCPU)는 가상 머신(VM)에 할당된 물리적 CPU의 일부를 나타냅니다. x86 인스턴스의 경우 코어당 두 개의 vCPU가 있습니다. Graviton 인스턴스의 경우 코어당 하나의 vCPU가 있습니다.

인스턴스 타입 기본 vCPU 메모리(GiB) 액셀러레이터
dl1.24xlarge 96 768.00 GPU 8개
dl2q.24xlarge 96 768.00 추론 액셀러레이터 8개
f1.2xlarge 8 122.00 FPGA 1개
f1.4xlarge 16 244.00 FPGA 2개
f1.16xlarge 64 976.00 FPGA 8개
g2.2xlarge 8 15.00 GPU 1개
g2.8xlarge 32 60.00 GPU 4개
g3.4xlarge 16 122.00 GPU 1개
g3.8xlarge 32 244.00 GPU 2개
g3.16xlarge 64 488.00 GPU 4개
g4ad.xlarge 4 16.00 GPU 1개
g4dn.2xlarge 8 32.00 GPU 1개
g4ad.4xlarge 16 64.00 GPU 1개
g4ad.8xlarge 32 128.00 GPU 2개
g4ad.16xlarge 64 256.00 GPU 4개
g4dn.xlarge 4 16.00 GPU 1개
g4dn.2xlarge 8 32.00 GPU 1개
g4dn.4xlarge 16 64.00 GPU 1개
g4dn.8xlarge 32 128.00 GPU 1개
g4dn.12xlarge 48 192.00 GPU 4개
g4dn.16xlarge 64 256.00 GPU 1개
g4dn.metal 96 384.00 GPU 8개
g5.xlarge 4 16.00 GPU 1개
g5.2xlarge 8 32.00 GPU 1개
g5.4xlarge 16 64.00 GPU 1개
g5.8xlarge 32 128.00 GPU 1개
g5.12xlarge 48 192.00 GPU 4개
g5.16xlarge 64 256.00 GPU 1개
g5.24xlarge 96 384.00 GPU 4개
g5.48xlarge 192 768.00 GPU 8개
g5g.xlarge 4 8.00 GPU 1개
g5g.2xlarge 8 16.00 GPU 1개
g5g.4xlarge 16 32.00 GPU 1개
g5g.8xlarge 32 64.00 GPU 1개
g5g.16xlarge 64 128.00 GPU 2개
g5g.metal 64 128.00 GPU 2개
inf1.xlarge 4 8.00 추론 액셀러레이터 1개
inf1.2xlarge 8 16.00 추론 액셀러레이터 1개
inf1.6xlarge 24 48.00 추론 액셀러레이터 4개
inf1.24xlarge 96 192.00 추론 액셀러레이터 16개
inf2.xlarge 4 16.00 추론 액셀러레이터 1개
inf2.8xlarge 32 128.00 추론 액셀러레이터 1개
inf2.24xlarge 96 384.00 추론 액셀러레이터 6개
inf2.48xlarge 192 768.00 추론 액셀러레이터 12개
p2.xlarge 4 61.00 GPU 1개
p2.8xlarge 32 488.00 GPU 8개
p2.16xlarge 64 732.00 GPU 16개
p3.2xlarge 8 61.00 GPU 1개
p3.8xlarge 32 244.00 GPU 4개
p3.16xlarge 64 488.00 GPU 8개
p3dn.24xlarge 96 768.00 GPU 8개
p4d.24xlarge 96 1152.00 GPU 8개
p4de.24xlarge 96 1152.00 GPU 8개
p5.48xlarge 192 2048.00 GPU 8개
trn1.2xlarge 8 32.00
trn1.32xlarge 128 512.00
trn1n.32xlarge 128 512.00
vt1.3xlarge 12 24.00
vt1.6xlarge 24 48.00
vt1.24xlarge 96 192.00
참고

trn1n.32xlarge 인스턴스에는 16개의 Trainium Accelerator가 탑재되어 있습니다.

Trn1 인스턴스에서는 다음과 같은 수의 Trainium Accelerator가 제공됩니다.

  • trn1.2xlarge — 1

  • trn1.32xlarge — 16

VT1 인스턴스에서는 다음과 같은 수의 U30 Accelerator가 제공됩니다.

  • vt1.3xlarge — 1

  • vt1.6xlarge — 2

  • vt1.24xlarge — 16

가속 컴퓨팅 인스턴스는 다음 프로세서를 사용합니다.

AWS Graviton 프로세서
  • AWS Graviton2: G5g

AMD 프로세서
  • 2세대 AMD EPYC 프로세서(AMD EPYC 7R32): G4ad, G5

  • 3세대 AMD EPYC 프로세서(AMD EPYC 7R13): P5

인텔 프로세서
  • 인텔 제온 스케일러블 프로세서(Broadwell E5-2686 v4): F1, G3, P2, P3

  • 인텔 제온 스케일러블 프로세서(Skylake 8175): P3dn

  • 2세대 인텔 제온 스케일러블 프로세서(Cascade Lake P-8275CL): DL1, P4d, P4de

  • 2세대 인텔 제온 스케일러블 프로세서(Cascade Lake P-8259CL): DL2q, G4dn, Inf1, VT1

  • 3세대 인텔 제온 스케일러블 프로세서(Cascade Lake 8375C): Trn1

자세한 인스턴스 유형 사양은 Amazon EC2 인스턴스 유형 가이드를 참조하세요. 요금 내용은 Amazon EC2 인스턴스 유형을 참조하세요.

인스턴스 성능

인스턴스에서 최고의 성능을 달성하기 위해 수행할 수 있는 몇 가지 GPU 설정 최적화가 있습니다. 자세한 내용은 GPU 설정을 최적화하려면 섹션을 참조하세요.

EBS에 최적화된 인스턴스를 사용하면 Amazon EBS I/O와 인스턴스의 다른 네트워크 간의 경합을 제거하여 EBS 볼륨에 대해 일관되게 우수한 성능을 제공할 수 있습니다. 일부 액셀러레이티드 컴퓨팅 인스턴스는 추가 비용 없이도 EBS에 최적화할 수 있게 기본 설정되어 있습니다. 자세한 내용은 Amazon EBS 최적화 인스턴스 섹션을 참조하세요.

일부 액셀러레이티드 컴퓨팅 인스턴스 유형은 Linux에서 프로세서 C 상태 및 P 상태를 제어할 수 있는 기능을 제공합니다. C 상태는 유휴 상태일 때 코어가 진입하는 절전 수준을 제어하고, P 상태는 코어의 성능(CPU 주파수)을 제어합니다. 자세한 내용은 EC2 인스턴스에 대한 프로세서 상태 제어 섹션을 참조하세요.

네트워크 성능

지원되는 인스턴스 유형에 대해 향상된 네트워킹을 활성화하면 지연 시간을 줄이고 네트워크 지터를 낮추며 PPS(Packet Per Second) 성능을 높일 수 있습니다. 대부분의 애플리케이션은 항시 높은 수준의 네트워크 성능을 필요로 하지 않지만, 데이터를 주고 받을 때 증가된 대역폭에 액세스할 수 있을 경우 유익할 수 있습니다. 자세한 내용은 Linux에서 향상된 네트워킹 사용 섹션을 참조하세요.

다음은 향상된 네트워킹을 지원하는 액셀러레이티드 컴퓨팅 인스턴스를 위한 네트워크 성능의 요약 설명입니다.

참고

로 표시된 인스턴스 유형에는 기본 대역폭이 있으며 네트워크 I/O 크레딧 메커니즘을 사용하여 최선의 노력을 기준으로 기준 대역폭을 초과할 수 있습니다. 자세한 내용은 인스턴스 네트워크 대역폭을 참조하세요.

인스턴스 타입 네트워크 성능 향상된 네트워킹 기능
dl1.24xlarge 4x 100기가비트 ENA | EFA
dl2q.24xlarge 100기가비트 ENA | EFA
f1.2xlarge 최대 10기가비트 ENA
f1.4xlarge 최대 10기가비트 ENA
f1.16xlarge 25기가비트 ENA
g2.2xlarge 보통 지원되지 않음
g2.8xlarge 높음 지원되지 않음
g3.4xlarge 최대 10기가비트 ENA
g3.8xlarge 10기가비트 ENA
g3.16xlarge 25기가비트 ENA
g4ad.xlarge 최대 10기가비트 ENA
g4ad.2xlarge 최대 10기가비트 ENA
g4ad.4xlarge 최대 10기가비트 ENA
g4ad.8xlarge 15기가비트 ENA
g4ad.16xlarge 25기가비트 ENA
g4dn.xlarge 최대 25기가비트 ENA
g4dn.2xlarge 최대 25기가비트 ENA
g4dn.4xlarge 최대 25기가비트 ENA
g4dn.8xlarge 50기가비트 ENA | EFA
g4dn.12xlarge 50기가비트 ENA | EFA
g4dn.16xlarge 50기가비트 ENA | EFA
g4dn.metal 100기가비트 ENA | EFA
g5.xlarge 최대 10기가비트 ENA
g5.2xlarge 최대 10기가비트 ENA
g5.4xlarge 최대 25기가비트 ENA
g5.8xlarge 25기가비트 ENA | EFA
g5.12xlarge 40기가비트 ENA | EFA
g5.16xlarge 25기가비트 ENA | EFA
g5.24xlarge 50기가비트 ENA | EFA
g5.48xlarge 100기가비트 ENA | EFA
g5g.xlarge 최대 10기가비트 ENA
g5g.2xlarge 최대 10기가비트 ENA
g5g.4xlarge 최대 10기가비트 ENA
g5g.8xlarge 12기가비트 ENA
g5g.16xlarge 25기가비트 ENA
g5g.metal 25기가비트 ENA
inf1.xlarge 최대 25기가비트 ENA
inf1.2xlarge 최대 25기가비트 ENA
inf1.6xlarge 25기가비트 ENA
inf1.24xlarge 100기가비트 ENA | EFA
inf2.xlarge 최대 15기가비트 ENA
inf2.8xlarge 최대 25기가비트 ENA
inf2.24xlarge 50기가비트 ENA
inf2.48xlarge 100기가비트 ENA
p2.xlarge 높음 ENA
p2.8xlarge 10기가비트 ENA
p2.16xlarge 25기가비트 ENA
p3.2xlarge 최대 10기가비트 ENA
p3.8xlarge 10기가비트 ENA
p3.16xlarge 25기가비트 ENA
p3dn.24xlarge 100기가비트 ENA | EFA
p4d.24xlarge 4x 100기가비트 ENA | EFA
p4de.24xlarge 4x 100기가비트 ENA | EFA
p5.48xlarge 3200기가비트 ENA | EFA
trn1.2xlarge 최대 12.5기가비트 ENA
trn1.32xlarge 8x 100기가비트 ENA | EFA
trn1n.32xlarge 16x 100기가비트 ENA | EFA
vt1.3xlarge 3.12기가비트 ENA
vt1.6xlarge 6.25기가비트 ENA
vt1.24xlarge 25기가비트 ENA | EFA

다음 표는 네트워크 I/O 크레딧 메커니즘을 사용하여 기준 대역폭을 초과하여 버스트하는 인스턴스 유형에 대한 기준 및 버스트 대역폭을 보여줍니다.

인스턴스 타입 기준 대역폭(Gbps) 버스트 대역폭(Gbps)
f1.2xlarge 2.5 10
f1.4xlarge 5 10
g3.4xlarge 5 10
g4ad.xlarge 2.0 10.0
g4ad.2xlarge 4.167 10.0
g4ad.4xlarge 8.333 10.0
g4dn.xlarge 5.0 25.0
g4dn.2xlarge 10.0 25.0
g4dn.4xlarge 20.0 25.0
g5.xlarge 2.5 10.0
g5.2xlarge 5.0 10.0
g5.4xlarge 10.0 25.0
g5g.xlarge 1.25 10.0
g5g.2xlarge 2.5 10.0
g5g.4xlarge 5.0 10.0
inf1.xlarge 5.0 25.0
inf1.2xlarge 5.0 25.0
inf2.xlarge 2.083 15.0
inf2.8xlarge 16.667 25.0
trn1.2xlarge 3.125 12.5

Amazon EBS I/O 성능

Amazon EBS 최적화 인스턴스는 최적화된 구성 스택을 사용하며 Amazon EBS I/O를 위한 전용 용량을 추가로 제공합니다. 이 최적화는 Amazon EBS I/O와 인스턴스의 다른 트래픽 간의 경합을 최소화하여 Amazon EBS 볼륨에 최상의 성능을 제공합니다.

자세한 내용은 Amazon EBS 최적화 인스턴스 단원을 참조하십시오.

SSD 기반 인스턴스 스토어 볼륨 I/O 성능

커널 버전이 4.4 이상인 Linux AMI를 사용하고 인스턴스에서 사용 가능한 모든 SSD 기반의 인스턴스 스토어 볼륨을 활용하는 경우, 다음 표와 같은 IOPS(블록 크기 4,096바이트) 성능까지 얻을 수 있습니다(대기열 깊이 포화 상태에서). 그러지 않을 경우 IOPS 성능이 더 낮아집니다.

인스턴스 크기 100% 임의 읽기 IOPS IOPS 쓰기
dl1.24xlarge 1000000 800000
g4ad.xlarge 10417 8333
g4ad.2xlarge 20833 16667
g4ad.4xlarge 41667 33333
g4ad.8xlarge 83333 66667
g4ad.16xlarge 166666 133332
g4dn.xlarge 42500 32500
g4dn.2xlarge 42500 32500
g4dn.4xlarge 85000 65000
g4dn.8xlarge 250000 200000
g4dn.12xlarge 250000 200000
g4dn.16xlarge 250000 200000
g4dn.metal 500000 400000
g5.xlarge 40625 20313
g5.2xlarge 40625 20313
g5.4xlarge 125000 62500
g5.8xlarge 250000 125000
g5.12xlarge 312500 156250
g5.16xlarge 250000 125000
g5.24xlarge 312500 156250
g5.48xlarge 625000 312500
p3dn.24xlarge 700000 340000
p4d.24xlarge 2000000 1600000
p4de.24xlarge 2000000 1600000
p5.48xlarge 4400000 2200000
trn1.2xlarge 107500 45000
trn1.32xlarge 1720000 720000
trn1n.32xlarge 1720000 720000

인스턴스에 대한 SSD 기반 인스턴스 스토어 볼륨에 데이터가 있는 경우, 달성 가능한 쓰기 IOPS의 수는 감소합니다. 이는 SSD 컨트롤러가 가용 공간을 찾고 기존 데이터를 다시 쓰고 미사용 공간을 삭제하여 다시 쓸 수 있는 공간을 마련하기 위해 추가적인 작업을 해야 하기 때문입니다. 이러한 폐영역 회수 과정은 SSD에 대한 내부 쓰기 작업이 증폭되는 결과를 낳게 되며, 이런 결과는 사용자 쓰기 작업에 대한 SSD 쓰기 작업의 비로 표현됩니다. 이러한 성능 감소는 쓰기 작업이 4096바이트의 배수들 또는 4096바이트 경계에 정렬되지 않은 상태로 수행되는 경우에 더 심해질 수 있습니다. 정렬되지 않은 바이트를 소량으로 쓰기 작업하는 경우, SSD 컨트롤러는 쓰려는 부분의 주변 데이터를 읽고 그 결과도 새 위치에 저장해야 합니다. 이런 패턴으로 인해 쓰기 작업이 크게 증폭되고 지연 시간 증가와 I/O 성능의 급격한 감소를 초래합니다.

SSD 컨트롤러는 여러 전략을 사용해서 쓰기 작업 증폭의 영향을 감쇄할 수 있습니다. 그 중 하나의 전력은 SSD 인스턴스 스토리지에 예약 공간을 마련해서 SSD 컨트롤러가 쓰기 작업에 사용 가능한 공간을 보다 효율적으로 관리할 수 있게 하는 것입니다. 이를 오버-프로비저닝이라고 합니다. 인스턴스에 제공된 SSD 기반 인스턴스 스토어 볼륨은 오버-프로비저닝을 위한 예약 공간을 가지고 있지 않습니다. 쓰기 작업 증폭의 영향 감쇄를 위해 최소한 볼륨의 10%를 파티션 처리되지 않은 상태로 두어서 SSD 컨트롤러가 이를 오버-프로비저닝에 사용할 수 있도록 하는 것이 좋습니다. 그러면 사용할 수 있는 스토리지는 줄어들지만, 디스크를 전체 용량에 가깝게 사용하더라도 성능은 향상됩니다.

TRIM을 지원하는 인스턴스 스토어 볼륨의 경우, TRIM 명령을 사용하여 작성한 데이터가 더 이상 필요하지 않음을 SSD 컨트롤러에 알릴 수 있습니다. 이를 통해 컨트롤러에 더 많은 여유 공간이 제공되므로 쓰기 작업 증폭을 줄이고 성능을 향상시킬 수 있습니다. 자세한 내용은 인스턴스 스토어 볼륨 TRIM 지원 섹션을 참조하세요.

릴리스 정보

  • P5 인스턴스에서 최상의 성능을 얻으려면 다음을 수행하는 것이 좋습니다.

  • HVM AMI를 사용해서 I 인스턴스를 실행해야 합니다.

  • Nitro 시스템에 구축된 인스턴스에는 다음과 같은 요구 사항이 있습니다.

    다음 Linux AMI는 이러한 요구 사항을 충족합니다.

    • AL2023년

    • Amazon Linux 2

    • Amazon Linux AMI 2018.03 이상

    • Ubuntu 14.04 이상(linux-aws 커널 포함)

      참고

      Ubuntu 18.04 이상(linux-aws 커널 포함)이 필요한 AWS Graviton 기반 인스턴스 유형

    • Red Hat Enterprise Linux 7.4 이상

    • SUSE Linux Enterprise Server 12 SP2 이상

    • CentOS 7.4.1708 이상

    • FreeBSD 11.1 이상

    • Debian GNU/Linux 9 이상

  • GPU 기반 인스턴스는 NVIDIA 드라이버를 설치해야 GPU에 액세스할 수 있습니다. 자세한 내용은 Linux 인스턴스에 NVIDIA 드라이버 설치 섹션을 참조하세요.

  • 베어 메탈 인스턴스를 시작하면 기본 서버가 부팅되는데, 이때 모든 하드웨어 및 펌웨어 구성 요소를 확인합니다. 즉, 인스턴스가 실행 상태가 되어 네트워크를 통해 사용할 수 있게 될 때까지 20분이 걸릴 수 있습니다.

  • 베어 메탈 인스턴스에서 EBS 볼륨 또는 보조 네트워크 인터페이스를 연결 또는 분리하려면 PCIe 기본 핫플러그 지원이 필요합니다. Amazon Linux 2 및 최신 버전의 Amazon Linux AMI는 PCIe 기본 핫플러그를 지원하지만 이전 버전은 지원하지 않습니다. 다음 Linux 커널 구성 옵션을 활성화해야 합니다.

    CONFIG_HOTPLUG_PCI_PCIE=y CONFIG_PCIEASPM=y
  • 베어 메탈 인스턴스에서는 I/O 포트 기반 직렬 디바이스가 아닌 PCI 기반 직렬 디바이스를 사용합니다. 업스트림 Linux 커널 및 최신 Amazon Linux AMI에서는 이 디바이스를 지원합니다. 베어 메탈 인스턴스도 시스템에서 PCI 기반 직렬 디바이스를 자동으로 사용할 수 있게 해주는 ACPI SPCR 테이블을 제공합니다. 최신 Windows AMI에서는 PCI 기반 직렬 디바이스를 자동으로 사용합니다.

  • 리전당 100개의 AFI 제한이 있습니다.

  • 한 리전에서 시작할 수 있는 총 인스턴스 수에는 제한이 있으며, 일부 인스턴스 유형에는 또 다른 제한이 있습니다. 자세한 내용은 Amazon EC2 FAQ의 Amazon EC2에서 실행할 수 있는 인스턴스 수는 몇 개입니까?를 참조하세요.