Linux 加速運算執行個體 - Amazon Elastic Compute Cloud

Linux 加速運算執行個體

加速運算執行個體會使用硬體加速器或協同處理器來執行某些功能,例如浮點數計算、圖形處理或資料模式匹配,比起在 CPU 上執行的軟體更有效率。這些執行個體可為佔用大量運算的工作負載所需之較高的輸送量,帶來更優良的平行處理。

如果您需要高效處理的功能,使用加速運算執行個體非常有助益,其可供從取圖形處理器 (GPU)、現場可程式化閘陣列 (FPGA) 或 AWS Inferentia 等硬體式運算加速器。

GPU 執行個體

GPU 執行個體可讓您存取含數千個運算核心的 NVIDIA GPU。您可以使用這些執行個體,藉由運用 CUDA 或開放運算語言 (OpenCL) 平行運算架構來加速科學、工程和算圖應用程式。您也可以將它們用於圖形應用程式,包括遊戲串流、3D 應用程式串流和其他圖形工作負載。

G4 執行個體

G4 執行個體使用 NVIDIA Tesla GPU,並提供具成本效益、高效能平台,用於使用 CUDA 或機器學習架構的一般用途 GPU 運算,以及使用 DirectX 或 OpenGL 的圖形應用程式。G4 執行個體可提供高頻寬網路,功能強大的半個和單一精確度浮點功能,以及 INT8 和 INT4 精確度。每個 GPU 有 16 GiB 的 GDDR6 記憶體,使得 G4 執行個體很適合機器學習推論、影片轉碼和圖形應用程式,例如遠端圖形工作站和雲端中的遊戲串流。

如需詳細資訊,請參閱 Amazon EC2 G4 執行個體

G4 執行個體支援 NVIDIA GRID 虛擬工作站。如需詳細資訊,請參閱 NVIDIA Marketplace 產品

G3 執行個體

G3 執行個體使用 NVIDIA Tesla M60 GPU,並為使用 DirectX 或 OpenGL 的圖形應用程式提供符合成本效益、高效能的平台。G3 執行個體也提供 NVIDIA GRID 虛擬工作站功能,例如支援四部解析度最高至 4096x2160 的顯示器,以及 NVIDIA GRID 虛擬應用程式。G3 執行個體也非常適合下列應用程式:3D 視覺化、圖形密集型遠端工作站、3D 算圖、視訊編碼和虛擬實境,以及其他需要大量平行處理效能的伺服器端圖形工作負載。

如需詳細資訊,請參閱 Amazon EC2 G3 執行個體

G3 執行個體支援 NVIDIA GRID 虛擬工作站和 NVIDIA GRID 虛擬應用程式。若要啟用上述任一功能,請參閱啟用 NVIDIA GRID 虛擬應用程式

G2 執行個體

G2 執行個體使用 NVIDIA GRID K520 GPU,並為使用 DirectX 或 OpenGL 的圖形應用程式提供符合成本效益、高效能的平台。NVIDIA GRID GPU 也支援 NVIDIA 的快速擷取和編碼 API 操作。範例應用程式包括視訊建立服務、3D 視覺化、串流圖形密集型應用程式和其他伺服器端圖形工作負載。

P3 執行個體

P3 執行個體會使用 NVIDIA Tesla V100 GPU,且專為一般用途 GPU 運算 (利用 CUDA 或 OpenCL 程式設計模型或透過機器學習架構) 而設計。P3 執行個體可提供高頻寬聯網、強大的半精確度、單精確度和雙精確度浮點數功能,以及每 GPU 最多 32 GiB 的記憶體,適用於深度學習、計算流體動力學、計算金融學、地震分析、分子建模、基因體學、算圖和其他伺服器端 GPU 運算工作負載。Tesla V100 GPU 不支援圖形模式。

如需詳細資訊,請參閱 Amazon EC2 P3 執行個體

P3 執行個體支援 NVIDIA NVLink 點對點傳輸。如需詳細資訊,請參閱 NVIDIA NVLink

P2 執行個體

P2 執行個體會使用 NVIDIA Tesla K80 GPU,且專為一般用途 GPU 運算 (利用 CUDA 或 OpenCL 程式設計模型) 而設計。P2 執行個體可提供高頻寬聯網、強大的單精確度和雙精確度浮點數功能,以及每 GPU 12 GiB 的記憶體,適用於深度學習、圖形資料庫、高效能資料庫、計算流體動力學、計算金融學、地震分析、分子建模、基因體學、算圖和其他伺服器端 GPU 運算工作負載。

P2 執行個體支援 NVIDIA GPUDirect 點對點傳輸。如需詳細資訊,請參閱 NVIDIA GPUDirect

具有 AWS Inferentia 的執行個體

這些執行個體旨在使用 AWS Inferentia 來加快機器學習,這是來自 Amazon 的自訂 AI/ML 晶片,可提供高效能和低延遲的機器學習推論。這些執行個體已針對應用程式部署深度學習 (DL) 模型進行最佳化,例如自然語言處理、物件偵測與分類、內容個人化與篩選,以及語音辨識。

您可以透過多種方式開始使用:

  • 使用 SageMaker,這是一個完整受管理的服務,是開始使用機器學習模型的最簡單方式。如需詳細資訊,請參閱在 github 上的 Compile and deploy a TensorFlow model on Inf1 instances

  • 使用深度學習 AMI 啟動 Inf1 執行個體。如需詳細資訊,請參閱 AWS Deep Learning AMI 開發人員指南 中的 具有DLAMI 的 AWS Inferentia

  • 使用您自己的 AMI 啟動 Inf1 執行個體,並安裝 AWS Neuron 開發套件,讓您能夠編譯、執行和分析 AWS Inferentia 的深度學習模型。

  • 使用 Inf1 執行個體和最佳化 Amazon ECS 的 AMI 啟動容器執行個體。若要取得更多資訊,請參閱 Amazon Elastic Container Service Developer Guide中的 Amazon Linux 2 (Inferentia) AMI

  • 建立具有執行 Inf1 執行個體之節點的 Amazon EKS 叢集。若要取得更多資訊,請參閱 Amazon EKS 使用者指南中的 Inferentia 支援

如需詳細資訊,請參閱 AWS 上的機器學習

Inf1 執行個體

Inf1 執行個體使用 AWS Inferentia 機器學習推論晶片。Inferentia 是為了在任何規模下達到高成本效益的低延遲推論效能而開發的。

如需詳細資訊,請參閱 Amazon EC2 Inf1 執行個體

FPGA 執行個體

FPGA 執行個體可讓您存取含有數百萬個平行系統邏輯單元的大型 FPGA。您可以使用 FPGA 加速運算執行個體,藉由運用自訂的硬體加速來加速基因體、財務分析、即時視訊處理、大數據分析和安全性等工作負載。若要開發這類加速,您可以使用硬體描述語言 (如 Verilog 或 VHDL) 或更高等級的語言 (如 OpenCL 平行運算架構)。您可以開發自己的硬體加速程式碼或透過 AWS Marketplace 購買硬體加速。

FPGA 開發人員 AMI 提供了用於開發、測試和建置 AFI 的工具。在任何至少含 32 GB 系統記憶體的 EC2 執行個體 (例如 C5、M4 和 R4 執行個體) 上,您都可以使用 FPGA 開發人員 AMI。

如需詳細資訊,請參閱 AWS FPGA 硬體開發套件的文件。

F1 執行個體

F1 執行個體會使用 Xilinx UltraScale+ VU9P FPGA,且專為加速密集運算的演算法而設計,例如不太適合一般用途 CPU 的資料流程或高度平行操作。F1 執行個體中的每個 FPGA 都包含約 250 萬個邏輯元素和約 6,800 個數位訊號處理 (DSP) 引擎,以及 64 GiB 的本機 DDR ECC 受保護記憶體,由專用的 PCIe Gen3 x16 連線連線至執行個體。F1 執行個體提供本機 NVMe SSD 磁碟機。

開發人員可以使用 FPGA 開發人員 AMI 和 AWS 硬體開發人員套件來建立自訂硬體加速,以在 F1 執行個體上使用。FPGA 開發人員 AMI 包括可在雲端中進行完整週期 FPGA 開發的開發工具。開發人員可以使用上述工具建立和共享 Amazon FPGA Image (AFI),以載入 F1 執行個體的 FPGA。

如需詳細資訊,請參閱 Amazon EC2 F1 執行個體

硬體規格

以下為加速運算執行個體的硬體規格摘要。

執行個體類型 預設 vCPU 記憶體 (GiB) 加速器
p2.xlarge 4 61 1
p2.8xlarge 32 488 8
p2.16xlarge 64 732 16
p3.2xlarge 8 61 1
p3.8xlarge 32 244 4
p3.16xlarge 64 488 8
p3dn.24xlarge 96 768 8
g2.2xlarge 8 15 1
g2.8xlarge 32 60 4
g3s.xlarge 4 30.5 1
g3.4xlarge 16 122 1
g3.8xlarge 32 244 2
g3.16xlarge 64 488 4
g4dn.xlarge 4 16 1
g4dn.2xlarge 8 32 1
g4dn.4xlarge 16 64 1
g4dn.8xlarge 32 128 1
g4dn.12xlarge 48 192 4
g4dn.16xlarge 64 256 1
g4dn.metal 96 384 8
f1.2xlarge 8 122 1
f1.4xlarge 16 244 2
f1.16xlarge 64 976 8
inf1.xlarge 4 8 1
inf1.2xlarge 8 16 1
inf1.6xlarge 24 48 4
inf1.24xlarge 96 192 16

如需各 Amazon EC2 執行個體類型的硬體規格詳細資訊,請參閱 Amazon EC2 執行個體類型

如需指定 CPU 選項的詳細資訊,請參閱最佳化 CPU 選項

執行個體效能

您可以執行數種 GPU 設定最佳化,讓您的執行個體發揮最佳效能。如需詳細資訊,請參閱 最佳化 GPU 設定

EBS 最佳化執行個體藉由免除 Amazon EBS I/O 和您執行個體的其他網路流量之間的競爭,確保您的 EBS 磁碟區擁有一致的高效能。有些加速運算執行個體預設為 EBS 最佳化,無須額外成本。如需詳細資訊,請參閱 Amazon EBS 最佳化執行個體

有些加速運算執行個體類型可供您控制 Linux 上的處理器 C-state 和 P-state。C-state 可控制核心在非使用時要進入的休眠等級,而 P-state 可控制所需的核心效能 (CPU 頻率)。如需更多詳細資訊,請參閱 您的 EC2 執行個體處理器狀態控制

網路效能

您可以在支援的執行個體類型上啟用增強型聯網,以提供較低的延遲、較低的網路抖動,以及較高的每秒封包 (PPS) 效能。大多數的應用程式不會一致需要高度的網路效能,但仍可在傳送或接收資料時,享有可存取增加的頻寬這項優點。如需更多詳細資訊,請參閱 Linux 增強型聯網功能

以下為支援增強聯網之加速運算執行個體的網路效能摘要。

執行個體類型 網路效能 增強型聯網
f1.2xlarge | f1.4xlarge | g3.4xlarge | p3.2xlarge 最高 10 Gbps † ENA
g3s.xlarge | g3.8xlarge | p2.8xlarge | p3.8xlarge 10Gbps ENA
g4dn.xlarge | g4dn.2xlarge | g4dn.4xlarge | inf1.xlarge | inf1.2xlarge 最高 25 Gbps † ENA
f1.16xlarge | g3.16xlarge | inf1.6xlarge | p2.16xlarge | p3.16xlarge 25Gbps ENA
g4dn.8xlarge | g4dn.12xlarge | g4dn.16xlarge 50 Gbps ENA
g4dn.metal | inf1.24xlarge | p3dn.24xlarge 100 Gbps ENA

† 這些執行個體使用網路 I/O 點數機制,根據平均頻寬使用率來配置網路頻寬給執行個體。這些執行個體會在其頻寬低於基準頻寬時累算點數,並在執行網路資料傳輸時使用這些點數。如需詳細資訊,請開立支援案例,並詢問您關注的特定執行個體類型的基準頻寬。

執行個體功能

以下為加速運算執行個體的功能摘要。

僅 EBS NVMe EBS 執行個體存放區 置放群組

G2

SSD

G3

G4

NVMe *

Inf1

P2

P3

24xlarge:否

所有其他大小:是

24xlarge:Yes

所有其他大小:否

24xlarge:NVMe *

F1

NVMe *

* 根設備磁碟區必須為 Amazon EBS 磁碟區。

如需詳細資訊,請參閱下列內容:

版本備註

  • 您必須使用 HVM AMI 來啟動執行個體。

  • 建置在 Nitro 系統上的執行個體具有以下要求:

    下列 Linux AMI 符合這些需求:

    • Amazon Linux 2

    • Amazon Linux AMI 2018.03

    • Ubuntu 14.04 (含 linux-aws 核心) 或更新版本

    • Red Hat Enterprise Linux 7.4 或更新版本

    • SUSE Linux Enterprise Server 12 SP2 或更新的版本

    • CentOS 7.4.1708 或更新版本

    • FreeBSD 11.1 或更新版本

    • Debian GNU/Linux 9 或更新版本

  • 除非已安裝 NVIDIA 驅動程式,否則 GPU 執行個體無法存取 GPU。如需更多詳細資訊,請參閱 在 Linux 執行個體上安裝 NVIDIA 驅動程式

  • 啟動裸機執行個體會將基礎伺服器開機,包括驗證所有硬體和韌體元件。這表示從執行個體進入執行中狀態到可在網路上供使用為止,可能需要 20 分鐘。

  • 若要從裸機執行個體連接或卸離 EBS 磁碟區或輔助網路界面,需要 PCIe 原生熱插拔支援。Amazon Linux 2 和最新版的 Amazon Linux AMI 支援 PCIe 原生熱插拔,但舊版本不支援此功能。您必須啟用下列 Linux 核心組態選項:

    CONFIG_HOTPLUG_PCI_PCIE=y CONFIG_PCIEASPM=y
  • 裸機執行個體使用 PCI 型序列裝置,而非 I/O 連接埠型序列裝置。上游 Linux 核心和最新的 Amazon Linux AMI 支援此裝置。裸機執行個體還提供 ACPI SPCR 資料表,可讓系統自動使用 PCI 型序列裝置。最新的 Windows AMI 會自動使用 PCI 型序列裝置。

  • 每個區域的 AFI 上限為 100。

  • 您在區域內能夠啟動的執行個體總數有所限制,並且某些執行個體類型有額外的限制。如需詳細資訊,請參閱 Amazon EC2 FAQ 中的我可以在 Amazon EC2 中執行多少個執行個體?