Linux 加速運算執行個體 - Amazon Elastic Compute Cloud

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Linux 加速運算執行個體

注意

如需詳細的執行個體類型規格,請參閱 Amazon EC2 執行個體類型指南。如需定價資訊,請參閱 Amazon EC2 執行個體類型

加速運算執行個體會使用硬體加速器或協同處理器來執行某些功能,例如浮點數計算、圖形處理或資料模式匹配,比起在 CPU 上執行的軟體更有效率。這些執行個體可為佔用大量運算的工作負載所需之較高的輸送量,帶來更優良的平行處理。

如果您需要高效處理的功能,使用加速運算執行個體非常有助益,因為其可提供對圖形處理器 (GPU)、現場可程式化閘陣列 (FPGA) 或 AWS Inferentia 等硬體式運算加速器的存取。

GPU 執行個體

GPU 執行個體可讓您存取含數千個運算核心的 NVIDIA GPU。您可以使用這些執行個體,藉由運用 CUDA 或開放運算語言 (OpenCL) 平行運算架構來加速科學、工程和算圖應用程式。您也可以將它們用於圖形應用程式,包括遊戲串流、3D 應用程式串流和其他圖形工作負載。

G5 執行個體

G5 執行個體使用 NVIDIA A10G GPU,並為圖形密集型應用程式 (例如遠端工作站、視訊轉譯和雲端遊戲) 提供高效能,以及為自然語言處理、電腦視覺和推薦引擎等應用程式提供深度學習模型。這些執行個體配備多達 8 個 NVIDIA A10G GPU、第二代 AMD EPYC 處理器、高達 100 Gbps 的網路頻寬,以及高達 7.6 TB 的本機 NVMe SSD 儲存體。

如需詳細資訊,請參閱 Amazon EC2 G5 執行個體

G5g 執行個體

G5g 執行個體使用 NVIDIA T4G GPU,並為需要圖形密集型應用程式提供高效能,例如運用 OpenGL 和 Vulkan 等業界標準 API 的遊戲串流和轉譯。這些執行個體也適合為自然語言處理和電腦視覺等應用程式執行深度學習模型。這些執行個體配備高達 2 個 NVIDIA T4G 張量核心 GPU、 AWS 重力 2 處理器,以及高達 25 Gbps 的網路頻寬。

如需詳細資訊,請參閱 Amazon EC2 G5g 執行個體

G4ad 和 G4dn 執行個體

G4ad 執行個體使用 AMD Radeon Pro V520 GPU 和第 2 代 AMD EPYC 處理器,非常適合繪圖應用程式,例如遠端圖形工作站、遊戲串流,以及利用業界標準 API (例如 OpenGL、DirectX 和 Vulkan) 的繪圖應用程式。它們提供高達 4 個 AMD Radeon Pro V520 GPU、64 個 vCPU、25 Gbps 連網,以及 2.4 TB 的本機 NVME SSD 儲存裝置。

G4dn 執行個體使用 NVIDIA Tesla GPU,並提供具成本效益、高效能平台,用於使用 CUDA 或機器學習架構的一般用途 GPU 運算,以及使用 DirectX 或 OpenGL 的圖形應用程式。這些執行個體可提供高頻寬網路,功能強大的半個和單一精確度浮點功能,以及 INT8 和 INT4 精確度。每個 GPU 有 16 GiB 的 GDDR6 記憶體,使得 G4dn 執行個體很適合機器學習推論、影片轉碼和圖形應用程式,例如遠端圖形工作站和雲端中的遊戲串流。

如需詳細資訊,請參閱 Amazon EC2 G4 執行個體

G4dn 執行個體支援 NVIDIA GRID 虛擬工作站。如需詳細資訊,請參閱 NVIDIA Marketplace 產品

G3 執行個體

這些執行個體使用 NVIDIA Tesla M60 GPU,並為使用 DirectX 或 OpenGL 的圖形應用程式提供符合成本效益、高效能的平台。G3 執行個體也提供 NVIDIA GRID 虛擬工作站功能,例如支援四部解析度最高至 4096x2160 的顯示器,以及 NVIDIA GRID 虛擬應用程式。G3 執行個體也非常適合下列應用程式:3D 視覺化、圖形密集型遠端工作站、3D 算圖、視訊編碼和虛擬實境,以及其他需要大量平行處理效能的伺服器端圖形工作負載。

如需詳細資訊,請參閱 Amazon EC2 G3 執行個體

G3 執行個體支援 NVIDIA GRID 虛擬工作站和 NVIDIA GRID 虛擬應用程式。若要啟用上述任一功能,請參閱啟用 NVIDIA GRID 虛擬應用程式

G2 執行個體

這些執行個體使用 NVIDIA GRID K520 GPU,並為使用 DirectX 或 OpenGL 的圖形應用程式提供符合成本效益、高效能的平台。NVIDIA GRID GPU 也支援 NVIDIA 的快速擷取和編碼 API 操作。範例應用程式包括視訊建立服務、3D 視覺化、串流圖形密集型應用程式和其他伺服器端圖形工作負載。

P5 執行個體

P5 執行個體提供 8 個 NVIDIA H100 GPU 以及 640 GB 的高頻寬 GPU 記憶體。它們配備有第三代 AMD EPYC 處理器,並提供 2 TB 的系統記憶體、30 TB 的本機 NVMe 執行個體儲存空間、3,200 個 Gps 聚合網路頻寬,以及 GPUDirect RDMA 支援。P5 執行個體也支援 Amazon EC2 UltraCluster 技術,使用 EFA 提供更低的延遲和改善的網路效能。對於機器學習和 HPC 工作負載,P5 執行個體所提供的效能比前一代 GPU 執行個體高出 6 倍。

P5 執行個體可加速各種支援 GPU 的工作負載,並且非常適合大規模的分散式機器學習和高效能運算應用。

如需詳細資訊,請參閱 Amazon EC2 P5 執行個體

P4d 執行個體

這些執行個體會使用 NVIDIA A100 GPU,並為機器學習和 HPC 工作負載提供高效能平台。P4d 執行個體提供 400 Gbps 的彙總網路頻寬輸送量和支援及 Elastic Fabric Adapter (EFA)。這些是最先提供多個網路卡的 EC2 執行個體。

如需詳細資訊,請參閱 Amazon EC2 P4d 執行個體

P4d 執行個體支援 NVIDIA NVSwitch GPU 互連和 NVIDIA GPUDirect RDMA。

P4de 執行個體提供 NVIDIA 80GB-A100s GPU

P3 執行個體

這些執行個體會使用 NVIDIA Tesla V100 GPU,且專為一般用途 GPU 運算 (利用 CUDA 或 OpenCL 程式設計模型或透過機器學習架構) 而設計。P3 執行個體可提供高頻寬聯網、強大的半精確度、單精確度和雙精確度浮點數功能,以及每 GPU 最多 32 GiB 的記憶體,適用於深度學習、計算流體動力學、計算金融學、地震分析、分子建模、基因體學、算圖和其他伺服器端 GPU 運算工作負載。Tesla V100 GPU 不支援圖形模式。

如需詳細資訊,請參閱 Amazon EC2 P3 執行個體

P3 執行個體支援 NVIDIA NVLink 點對點傳輸。如需詳細資訊,請參閱 NVIDIA NVLink

P2 執行個體

P2 執行個體會使用 NVIDIA Tesla K80 GPU,且專為一般用途 GPU 運算 (利用 CUDA 或 OpenCL 程式設計模型) 而設計。P2 執行個體可提供高頻寬聯網、強大的單精確度和雙精確度浮點數功能,以及每 GPU 12 GiB 的記憶體,適用於深度學習、圖形資料庫、高效能資料庫、計算流體動力學、計算金融學、地震分析、分子建模、基因體學、算圖和其他伺服器端 GPU 運算工作負載。

P2 執行個體支援 NVIDIA GPUDirect 點對點傳輸。如需詳細資訊,請參閱 NVIDIA GPUDirect

帶有翠玉的 AWS 實例

採用 AWS Trainium 技術的 Amazon EC2 Trn1 和 Trn1n 執行個體專為提供高效能、符合成本效益的深度學習訓練而建置。您可以使用 Trn1 和 Trn1n 執行個體來訓練自然語言處理、電腦視覺以及廣泛應用情形 (例如語音辨識、建議、詐騙偵測以及影像和影片分類) 所使用的推薦模型。在常見的 ML 架構中使用您現有的工作流程,例如 PyTorch 和 TensorFlow。AWS Neuron SDK 與這些架構無縫整合,因此您只需變更幾行程式碼即可開始使用。

如需詳細資訊,請參閱 Amazon EC2 Trn1 執行個體

具有 AWS 推論的執行個體

這些執行個體旨在使用 AWS Inferentia 來加速機器學習,這是來自 Amazon 的自訂 AI/ML 晶片,可提供高效能和低延遲的機器學習推論。這些執行個體已進行最佳化,適用於部署不同應用的深度學習 (DL) 模型,例如自然語言處理、物件偵測與分類、內容個人化與篩選,以及語音辨識等應用。

您可以透過多種方式開始使用:

  • 使用完全受管理的服務 SageMaker,是開始使用機器學習模型的最簡單方法。如需詳細資訊,請參閱 Amazon SageMaker 發人員指南 SageMaker中的入門使用。

  • 使用深度學習 AMI 啟動 Inf1 或 Inf2 執行個體。如需詳細資訊,請參閱 AWS Deep Learning AMI 開發人員指南中的具有 DLAMI 的AWS Inferentia

  • 使用您自己的 AMI 啟動 Inf1 或 Inf2 執行個體,並安裝 AWS Neuron SDK,以便能夠編譯、執行和分析 AWS Inferentia 的深度學習模型。

  • 使用 Inf1 或 Inf2 執行個體和最佳化 Amazon ECS 的 AMI 啟動容器執行個體。若要取得更多資訊,請參閱 Amazon Elastic Container Service Developer Guide中的 Amazon Linux 2 (Inferentia) AMI

  • 建立具有執行 Inf1 執行個體之節點的 Amazon EKS 叢集。如需詳細資訊,請參閱 Amazon EKS 使用者指南中的 Inferentia 支援

如需詳細資訊,請參閱上的 Machine Learning AWS

Inf1 執行個體

Inf1 執行個體使用 AWS 推論機器學習推論晶片。Inferentia 是為了在任何規模下達到高成本效益的低延遲推論效能而開發的。

如需詳細資訊,請參閱 Amazon EC2 Inf1 執行個體

Inf2 執行個體

Inf2 執行個體使用 AWS 推論 2 機器學習推論晶片。這些第二代執行個體在 InF1 執行個體中 cost-per-inference提供高達 25% 的改善,比同類的 Amazon EC2 執行 cost-per-inference 個體高出 70%。這些執行個體非常適合使用深度學習模型的各種工作負載。

如需詳細資訊,請參閱 Amazon EC2 Inf2 執行個體

具有 Habana 加速器的執行個體

這些執行個體旨在加速深度學習模型 (DL) 訓練工作負載。他們使用 Intel 公司的 Habana 實驗室的加速器。這些執行個體已進行最佳化,適用於不同應用的 DL 模型,例如影像辨識、物件偵測和分類,以及建議系統等應用。

如需詳細資訊,請參閱上的 Machine Learning AWS

DL1 執行個體

DL1 執行個體使用 Habana Gaudi 加速器。其提供高達 400 Gbps 的彙總網路頻寬,以及每個加速器 32 GB 的高頻寬記憶體 (HBM)。DL1 執行個體旨在提供高效能和具成本效益的訓練深度學習模型。

您可以透過多種方式開始使用:

如需詳細資訊,請參閱 Amazon EC2 DL1 執行個體

使用 Qualcomm 加速器的執行個體

DL2q

DL2q 執行個體使用搭載第七代 Qualcomm Edge AI 核心的 Qualcomm AI100 推論加速器。可用於以符合成本效益的方式在雲端部署深度學習 (DL) 工作負載,或針對將部署在 Qualcomm 邊緣裝置上的 DL 工作負載驗證效能和準確性。

DL2q 執行個體支援高達 1.4 petaFLOPS 的機器學習效能,搭載 8 個 Qualcomm AI100 加速器、使用雙 Intel Cascade Lake CPU 的 96 個 vCPU、768 GB 的系統記憶體,以及 100 Gbps 的網路頻寬。每個 Qualcomm AI100 加速器提供高達 175 TFLOPs 的 FP16 效能和 16 GB 的加速器記憶體。

DL2q 執行個體非常適合用來在智慧型手機、汽車、機器人和擴增實境頭戴式裝置部署邊緣 AI 工作負載之前,驗證邊緣 AI 工作負載。同時也支援雲端推論以執行常用的 DL 應用程式,例如內容產生、影像分析、文字摘要和虛擬助理。

若要開始使用 DL2q 執行個體,我們建議您使用 AWS 深度學習 AMI (DLAMI),它隨附於高通應用程式和平台軟體開發套件 (SDK),以及熱門的機器學習架構,例如和。 PyTorch TensorFlow

如需詳細資訊,請參閱 Amazon EC2 DL2q 執行個體

影片轉碼執行個體

這些執行個體專為加速視訊轉碼工作負載而設計,例如即時廣播、視訊會議和 just-in-time 轉碼。

VT1 執行個體

VT1 執行個體具有 Xilinx Alveo U30 媒體加速器的功能,專為即時影片轉碼工作負載而設計。這些執行個體最多可提供 8 張 Xilinx Alveo U30 加速卡,可提供高達 192 GB 的系統記憶體,以及高達 25 Gbps 的網路頻寬。VT1 執行個體具有 H.264/AVC 和 H.265/HEVC 編解碼器的功能,並支援高達 4K UHD 解析度,可支援多重串流影片轉碼。

您可以透過多種方式開始使用:

  • 使用賽靈思 U30 AMI 開啟啟動 VT1 執行個體。 AWS Marketplace

  • 使用您自己的 AMI 啟動 VT1 執行個體,並安裝 Xilinx U30 驅動程式及 Xilinx 影片軟體開發套件

  • 使用 VT1 執行個體和最佳化 Amazon ECS 的 AMI 來啟動容器執行個體。

  • 建立具有執行 VT1 執行個體之節點的 Amazon EKS 叢集。

如需詳細資訊,請參閱 Amazon EC2 VT1 執行個體

FPGA 執行個體

FPGA 執行個體可讓您存取含有數百萬個平行系統邏輯單元的大型 FPGA。您可以使用 FPGA 加速運算執行個體,藉由運用自訂的硬體加速來加速基因體、財務分析、即時視訊處理、大數據分析和安全性等工作負載。若要開發這類加速,您可以使用硬體描述語言 (如 Verilog 或 VHDL) 或更高等級的語言 (如 OpenCL 平行運算架構)。您可以開發自己的硬體加速程式碼或透過 AWS Marketplace 購買硬體加速。

FPGA 開發人員 AMI 提供了用於開發、測試和建置 AFI 的工具。在任何至少含 32 GB 系統記憶體的 EC2 執行個體 (例如 C5、M4 和 R4 執行個體) 上,您都可以使用 FPGA 開發人員 AMI。

如需詳細資訊,請參閱 AWS FPGA 硬體開發套件的文件。

F1 執行個體

F1 執行個體使用 Xilinx UltraScale + VU9P FPGA,專為加速運算密集型演算法而設計,例如資料流程或不適用於一般用途 CPU 的高度 parallel 作業。F1 執行個體中的每個 FPGA 都包含約 250 萬個邏輯元素和約 6,800 個數位訊號處理 (DSP) 引擎,以及 64 GiB 的本機 DDR ECC 受保護記憶體,由專用的 PCIe Gen3 x16 連線連線至執行個體。F1 執行個體提供本機 NVMe SSD 磁碟機。

開發人員可以使用 FPGA 開發人員 AMI 和 AWS 硬體開發人員套件建立自訂硬體加速,以便在 F1 執行個體上使用。FPGA 開發人員 AMI 包括可在雲端中進行完整週期 FPGA 開發的開發工具。開發人員可以使用上述工具建立和共享 Amazon FPGA Image (AFI),以載入 F1 執行個體的 FPGA。

如需詳細資訊,請參閱 Amazon EC2 F1 執行個體

硬體規格

以下為加速運算執行個體的硬體規格摘要。虛擬中央處理單元 (vCPU) 代表一部分分配給虛擬機器 (VM) 的實體 CPU。針對 x86 執行個體,每個核心有兩個 vCPU。針對 Graviton 執行個體,每個核心有一個 vCPU。

執行個體類型 預設 vCPU 記憶體 (GiB) 加速器
dl1.24xlarge 96 768.00 8 GPU
dl2q.24xlarge 96 768.00 8 個推論加速器
f1.2xlarge 8 122.00 1 FPGA
f1.4xlarge 16 244.00 2 FPGA
f1.16xlarge 64 976.00 8 FPGA
g2.2xlarge 8 15.00 1 GPU
g2.8xlarge 32 60.00 4 GPU
g3.4xlarge 16 122.00 1 GPU
g3.8xlarge 32 244.00 2 GPU
g3.16xlarge 64 488.00 4 GPU
g4ad.xlarge 4 16.00 1 GPU
g4ad.2xlarge 8 32.00 1 GPU
g4ad.4xlarge 16 64.00 1 GPU
g4ad.8xlarge 32 128.00 2 GPU
g4ad.16xlarge 64 256.00 4 GPU
g4dn.xlarge 4 16.00 1 GPU
g4dn.2xlarge 8 32.00 1 GPU
g4dn.4xlarge 16 64.00 1 GPU
g4dn.8xlarge 32 128.00 1 GPU
g4dn.12xlarge 48 192.00 4 GPU
g4dn.16xlarge 64 256.00 1 GPU
g4dn.metal 96 384.00 8 GPU
g5.xlarge 4 16.00 1 GPU
g5.2xlarge 8 32.00 1 GPU
g5.4xlarge 16 64.00 1 GPU
g5.8xlarge 32 128.00 1 GPU
g5.12xlarge 48 192.00 4 GPU
g5.16xlarge 64 256.00 1 GPU
g5.24xlarge 96 384.00 4 GPU
g5.48xlarge 192 768.00 8 GPU
g5g.xlarge 4 8.00 1 GPU
g5g.2xlarge 8 16.00 1 GPU
g5g.4xlarge 16 32.00 1 GPU
g5g.8xlarge 32 64.00 1 GPU
g5g.16xlarge 64 128.00 2 GPU
g5g.metal 64 128.00 2 GPU
inf1.xlarge 4 8.00 1 推論加速器
inf1.2xlarge 8 16.00 1 推論加速器
inf1.6xlarge 24 48.00 4 推論加速器
inf1.24xlarge 96 192.00 16 推論加速器
inf2.xlarge 4 16.00 1 推論加速器
inf2.8xlarge 32 128.00 1 推論加速器
inf2.24xlarge 96 384.00 6 個推論加速器
inf2.48xlarge 192 768.00 12 個推論加速器
p2.xlarge 4 61.00 1 GPU
p2.8xlarge 32 488.00 8 GPU
p2.16xlarge 64 732.00 16 GPU
p3.2xlarge 8 61.00 1 GPU
p3.8xlarge 32 244.00 4 GPU
p3.16xlarge 64 488.00 8 GPU
p3dn.24xlarge 96 768.00 8 GPU
p4d.24xlarge 96 1152.00 8 GPU
p4de.24xlarge 96 1152.00 8 GPU
p5.48xlarge 192 2048.00 8 GPU
trn1.2xlarge 8 32.00
trn1.32xlarge 128 512.00
trn1n.32xlarge 128 512.00
vt1.3xlarge 12 24.00
vt1.6xlarge 24 48.00
vt1.24xlarge 96 192.00
注意

trn1n.32xlarge 執行個體具有 16 個 Trainium 加速器。

Trn1 執行個體具有以下數量的 Trainium Accelerator。

  • trn1.2xlarge — 1

  • trn1.32xlarge — 16

VT1 執行個體具有以下數量的 U30 Accelerator。

  • vt1.3xlarge — 1

  • vt1.6xlarge — 2

  • vt1.24xlarge — 16

加速運算執行個體使用以下處理器。

AWS 重力子處理器
  • AWS 重力二:G5G

AMD 處理器
  • 第二代 AMD EPYC 處理器 (AMD EPYC 7R32):G4ad、G5

  • 第三代 AMD EPYC 處理器 (AMD EPYC 7R13):P5

Intel 處理器
  • Intel Xeon 可擴充處理器 (Broadwell E5-2686 v4)F1、G3、P2、P3

  • Intel Xeon 可擴充處理器 (Skylake 8175):P3dn

  • 第二代 Intel Xeon 可擴充處理器 (Cascade Lake P-8275CL):DL1、P4d、P4de

  • 第二代 Intel Xeon 可擴充處理器 (Cascade Lake P-8259CL):DL2q、G4dn、Inf1、VT1

  • 第三代 Intel Xeon 可擴充處理器 (Cascade Lake 8375C):Trn1

如需詳細的執行個體類型規格,請參閱 Amazon EC2 執行個體類型指南。如需定價資訊,請參閱 Amazon EC2 執行個體類型

執行個體效能

您可以執行數種 GPU 設定最佳化,讓您的執行個體發揮最佳效能。如需詳細資訊,請參閱 最佳化 GPU 設定

EBS 最佳化執行個體藉由免除 Amazon EBS I/O 和您執行個體的其他網路流量之間的競爭,確保您的 EBS 磁碟區擁有一致的高效能。有些加速運算執行個體預設為 EBS 最佳化,無須額外成本。如需詳細資訊,請參閱 Amazon EBS – 最佳化執行個體

有些加速運算執行個體類型可供您控制 Linux 上的處理器 C-state 和 P-state。C-state 可控制核心在非使用時要進入的休眠等級,而 P-state 可控制所需的核心效能 (CPU 頻率)。如需詳細資訊,請參閱 您的 EC2 執行個體處理器狀態控制

網路效能

您可以在支援的執行個體類型上啟用增強型聯網,以降低延遲、降低網路抖動和更高的 packet-per-second (PPS) 效能。大多數的應用程式不會一致需要高度的網路效能,但仍可在傳送或接收資料時,享有可存取增加的頻寬這項優點。如需詳細資訊,請參閱 Amazon Linux 上的增強型網路

以下為支援增強聯網之加速運算執行個體的網路效能摘要。

注意

表示的執行個體類型具有基準頻寬,並且可使用網路輸入/輸出額度機制,來盡可能實現超越基準頻寬的高載頻寬。如需詳細資訊,請參閱執行個體網路頻寬

執行個體類型 網路效能 增強型聯網功能
dl1.24xlarge 4x 100 GB ENA | EFA
dl2q.24xlarge 100 GB ENA | EFA
f1.2xlarge 最多 10 GB ENA
f1.4xlarge 最多 10 GB ENA
f1.16xlarge 25 GB ENA
g2.2xlarge 適中 不支援
g2.8xlarge 不支援
g3.4xlarge 最多 10 GB ENA
g3.8xlarge 10 GB ENA
g3.16xlarge 25 GB ENA
g4ad.xlarge 最多 10 GB ENA
g4ad.2xlarge 最多 10 GB ENA
g4ad.4xlarge 最多 10 GB ENA
g4ad.8xlarge 15 GB ENA
g4ad.16xlarge 25 GB ENA
g4dn.xlarge 最多 25 GB ENA
g4dn.2xlarge 最多 25 GB ENA
g4dn.4xlarge 最多 25 GB ENA
g4dn.8xlarge 50 GB ENA | EFA
g4dn.12xlarge 50 GB ENA | EFA
g4dn.16xlarge 50 GB ENA | EFA
g4dn.metal 100 GB ENA | EFA
g5.xlarge 最多 10 GB ENA
g5.2xlarge 最多 10 GB ENA
g5.4xlarge 最多 25 GB ENA
g5.8xlarge 25 GB ENA | EFA
g5.12xlarge 40 GB ENA | EFA
g5.16xlarge 25 GB ENA | EFA
g5.24xlarge 50 GB ENA | EFA
g5.48xlarge 100 GB ENA | EFA
g5g.xlarge 最多 10 GB ENA
g5g.2xlarge 最多 10 GB ENA
g5g.4xlarge 最多 10 GB ENA
g5g.8xlarge 12 GB ENA
g5g.16xlarge 25 GB ENA
g5g.metal 25 GB ENA
inf1.xlarge 最多 25 GB ENA
inf1.2xlarge 最多 25 GB ENA
inf1.6xlarge 25 GB ENA
inf1.24xlarge 100 GB ENA | EFA
inf2.xlarge 最多 15 GB ENA
inf2.8xlarge 最多 25 GB ENA
inf2.24xlarge 50 GB ENA
inf2.48xlarge 100 GB ENA
p2.xlarge ENA
p2.8xlarge 10 GB ENA
p2.16xlarge 25 GB ENA
p3.2xlarge 最多 10 GB ENA
p3.8xlarge 10 GB ENA
p3.16xlarge 25 GB ENA
p3dn.24xlarge 100 GB ENA | EFA
p4d.24xlarge 4x 100 GB ENA | EFA
p4de.24xlarge 4x 100 GB ENA | EFA
p5.48xlarge 3200 GB ENA | EFA
trn1.2xlarge 最多 12.5 GB ENA
trn1.32xlarge 8x 100 GB ENA | EFA
trn1n.32xlarge 16x 100 GB ENA | EFA
vt1.3xlarge 3.12 GB ENA
vt1.6xlarge 6.25 GB ENA
vt1.24xlarge 25 GB ENA | EFA

下表顯示使用網路 I/O 抵用金機制來超越其基準頻寬之執行個體類型的基準頻寬和高載頻寬。

執行個體類型 基準頻寬 (Gbps) 高載頻寬 (Gbps)
f1.2xlarge 2.5 10
f1.4xlarge 5 10
g3.4xlarge 5 10
g4ad.xlarge 2.0 10.0
g4ad.2xlarge 4.167 10.0
g4ad.4xlarge 8.333 10.0
g4dn.xlarge 5.0 25.0
g4dn.2xlarge 10.0 25.0
g4dn.4xlarge 20.0 25.0
g5.xlarge 2.5 10.0
g5.2xlarge 5.0 10.0
g5.4xlarge 10.0 25.0
g5g.xlarge 1.25 10.0
g5g.2xlarge 2.5 10.0
g5g.4xlarge 5.0 10.0
inf1.xlarge 5.0 25.0
inf1.2xlarge 5.0 25.0
inf2.xlarge 2.083 15.0
inf2.8xlarge 16.667 25.0
trn1.2xlarge 3.125 12.5

Amazon EBS I/O 效能

Amazon EBS 最佳化執行個體使用最佳化組態堆疊,並為 Amazon EBS I/O 提供額外專用容量。此最佳化透過減少 Amazon EBS I/O 與執行個體的其他流量之間的爭用情況,為您的 Amazon EBS 磁碟區提供最佳效能。

如需詳細資訊,請參閱 Amazon EBS – 最佳化執行個體

SSD 型執行個體儲存體磁碟區 I/O 效能

如果您使用核心版本 4.4 或更新版本的 Linux AMI,並使用您執行個體可用的所有 SSD 執行個體存放區磁碟區,您可以達到下表中的 IOPS (4,096 位元組區塊大小) 效能 (在佇列深度飽和下)。否則,您將得到更低的 IOPS 效能。

執行個體大小 100% 隨機讀取 IOPS 寫入 IOPS
dl1.24xlarge 1000000 800000
g4ad.xlarge 10417 8333
g4ad.2xlarge 20833 16667
g4ad.4xlarge 41667 33333
g4ad.8xlarge 83333 66667
g4ad.16xlarge 166666 133332
g4dn.xlarge 42500 32500
g4dn.2xlarge 42500 32500
g4dn.4xlarge 85000 65000
g4dn.8xlarge 250000 200000
g4dn.12xlarge 250000 200000
g4dn.16xlarge 250000 200000
g4dn.metal 500000 400000
g5.xlarge 40625 20313
g5.2xlarge 40625 20313
g5.4xlarge 125000 62500
g5.8xlarge 250000 125000
g5.12xlarge 312500 156250
g5.16xlarge 250000 125000
g5.24xlarge 312500 156250
g5.48xlarge 625000 312500
p3dn.24xlarge 700000 340000
p4d.24xlarge 2000000 1600000
p4de.24xlarge 2000000 1600000
p5.48xlarge 4400000 2200000
trn1.2xlarge 107500 45000
trn1.32xlarge 1720000 720000
trn1n.32xlarge 1720000 720000

隨著執行個體的 SSD 執行個體存放區磁碟區越來越滿,可達到的寫入 IOPS 次數將下降。這是因為 SSD 控制器必須執行額外的工作,去尋找可用的空間、重寫現有資料,以及清除未使用的空間以供重寫。這個收集廢棄項目的程序會造成 SSD 的內部寫入放大,也就是 SSD 寫入操作與使用者寫入操作的比例放大。假如寫入操作不是 4,096 位元組的倍數或未符合 4,096 位元組的邊界,效能下降的幅度會更明顯。因為當您寫入少量位元組或未符合的位元組時,SSD 控制器必須讀取週圍的資料並將結果存放到新的位置,此模式會造成寫入放大大幅增加,提高延遲,因而使 I/O 效能巨幅下降。

SSD 控制器利用多項策略來減少寫入放大的影響。其中一項策略,就是在 SSD 執行個體儲存體內保留空間,讓控制器能更有效管理寫入操作可用的空間。此策略稱為過度佈建。提供給執行個體的 SSD 執行個體存放區磁碟區不會保留任何過度佈建的空間。為了減少寫入放大,建議讓 10% 磁碟區保留為未分割,如此 SSD 控制器便不會將其用於過度佈建。這樣做雖然會減少可用的儲存空間,但可提高效能,即使磁碟即將用完所有容量。

使用支援 TRIM 的執行個體儲存體磁碟區時,當不再需要已寫入的資料時,可以利用 TRIM 指令來通知 SSD 控制器。這會讓控制器有更多的可用空間能夠使用,可減少寫入放大現象,並提升效能。如需詳細資訊,請參閱 執行個體存放區磁碟區 TRIM 支援

版本備註

  • 為了獲得 P5 執行個體的最佳效能,建議您執行下列動作:

  • 您必須使用 HVM AMI 來啟動執行個體。

  • 建置在 Nitro 系統上的執行個體具有以下要求:

    下列 Linux AMI 符合這些需求:

    • AL2023

    • Amazon Linux 2

    • Amazon Linux AMI 2018.03 及更新版本

    • Ubuntu 14.04 或更新版本 (帶 linux-aws 核心)

      注意

      AWS 以重力為基礎的執行個體類型需要 Ubuntu 18.04 或更新版本搭配核心 linux-aws

    • Red Hat Enterprise Linux 7.4 或更新版本

    • SUSE Linux Enterprise Server 12 SP2 或更新版本

    • CentOS 7.4.1708 或更新版本

    • FreeBSD 11.1 或更新版本

    • Debian GNU/Linux 9 或更新版本

  • 除非已安裝 NVIDIA 驅動程式,否則 GPU 執行個體無法存取 GPU。如需詳細資訊,請參閱 在 Linux 執行個體上安裝 NVIDIA 驅動程式

  • 啟動裸機執行個體會將基礎伺服器開機,包括驗證所有硬體和韌體元件。這表示從執行個體進入執行中狀態到可在網路上供使用為止,可能需要 20 分鐘。

  • 若要從裸機執行個體連接或卸離 EBS 磁碟區或輔助網路介面,需要 PCIe 原生熱插拔支援。Amazon Linux 2 和最新版的 Amazon Linux AMI 支援 PCIe 原生熱插拔,但舊版本不支援此功能。您必須啟用下列 Linux 核心組態選項:

    CONFIG_HOTPLUG_PCI_PCIE=y CONFIG_PCIEASPM=y
  • 裸機執行個體使用 PCI 型序列裝置,而非 I/O 連接埠型序列裝置。上游 Linux 核心和最新的 Amazon Linux AMI 支援此裝置。裸機執行個體還提供 ACPI SPCR 資料表,可讓系統自動使用 PCI 型序列裝置。最新的 Windows AMI 會自動使用 PCI 型序列裝置。

  • 每個區域的 AFI 上限為 100。

  • 您在區域內能夠啟動的執行個體總數有所限制,並且某些執行個體類型有額外的限制。如需詳細資訊,請參閱 Amazon EC2 一般常見問答集中的我可以在 Amazon EC2 中執行多少個執行個體