Windows 高速コンピューティングインスタンス - Amazon Elastic Compute Cloud

Windows 高速コンピューティングインスタンス

高速コンピューティングインスタンスは、ハードウェアアクセラレーターやコプロセッサーを使用して、浮動小数点数計算、グラフィック処理、データパターンマッチングのような機能を CPU で実行されるソフトウェア以上に効率的に実行します。これらのインスタンスでは、大量の演算を行うワークロードでさらに多くの並列処理が可能となり、より高いスループットが得られます。

高度な処理機能が必要な場合は、高速コンピューティングインスタンスを使用すると、Graphics Processing Units (GPU) などのハードウェアベースのコンピューティングアクセラレーターにアクセスできます。

GPU インスタンス

GPU ベースのインスタンスでは、数千のコンピューティングコアを持つ NVIDIA GPU にアクセスできます。これらのインスタンスを使用すると、CUDA または Open Computing Language (OpenCL) パラレルコンピューティングフレームワークを活用することにより、サイエンス、エンジニアリング、およびレンダリングアプリケーションを高速化できます。また、ゲームストリーミング、3D アプリケーションストリーミング、およびその他のグラフィックスワークロードを含む、グラフィックアプリケーションにも使用できます。

アプリケーションがグラフィックアセレレーション用にわずかなグラフィックスアクセラレーションの追加を必要とするが、別のコンピューティング、メモリ、あるいはストレージ仕様のインスタンスタイプにより適する場合には、Elastic Graphics アクセラレーターを代わりに使用します。詳細については、Amazon Elastic Graphics を参照してください。

G5 インスタンス

G5 インスタンスは NVIDIA A10G GPU を使用し、リモートワークステーション、ビデオレンダリング、クラウドゲームなどのグラフィックスを多用するアプリケーション、自然言語処理、コンピュータビジョン、レコメンデーションエンジンなどのアプリケーションの深層学習モデル向けに高いパフォーマンスを提供します。これらのインスタンスは、最大 8 つの NVIDIA A10G GPU、第 2 世代 AMD EPYC プロセッサ、最大 100 Gbps のネットワーク帯域幅、最大 7.6 TB のローカル NVMe SSD ストレージを備えています。

詳細については、「Amazon EC2 G5 インスタンス」を参照してください。

G4ad インスタンスと G4dn インスタンス

G4ad インスタンスは AMD Radeon Pro V520 GPU と第 2 世代 AMD EPYC プロセッサを使用し、リモートグラフィックスワークステーションなどのグラフィックスアプリケーション、ゲームストリーミング、および OpenGL、DirectX、Vulkan などの業界標準の API を活用するレンダリングに最適です。最大 4 つの AMD Radeon Pro V520 GPU、64 の vCPU、25 Gbps ネットワーキング、および 2.4 TB のローカル NVMe ベースの SSD ストレージを提供します。

G4dn インスタンスは NVIDIA Tesla GPU を使用して、汎用 GPU コンピューティング用のコスト効率とパフォーマンスに優れたプラットフォームを CUDA を通じて提供するか、グラフィックアプリケーションを備えた機械学習フレームワークを DirectX または OpenGL を通じて提供します。このようなインスタンスは、高帯域幅ネットワーキング、強力な半精度浮動小数点機能、単精度浮動小数点機能、INT8 精度、および INT4 精度を提供します。各 GPU は 16 GiB の GDDR6 メモリを備えているため、G4dn インスタンスは機械学習推論、動画トランスコード、グラフィックアプリケーション (リモートグラフィックワークステーションやクラウド内のゲームストリーミングなど) に最適です。

詳細については、「Amazon EC2 G4 インスタンス」を参照してください。

G4dn インスタンスは、NVIDIA GRID 仮想ワークステーションをサポートしています。詳細については、NVIDIA Marketplace の提供サービスを参照してください。

G3 インスタンス

このインスタンスは NVIDIA Tesla M60 GPU を使用し、DirectX または OpenGL を使用してグラフィックアプリケーション向けに費用対効果の高パフォーマンスのプラットフォームを提供します。また、G3 インスタンスは、最大 4096x2160 の解像度を持つ 4 つのモニターと NVIDIA GRID 仮想アプリケーションのサポートなど、NVIDIA GRID 仮想ワークステーションの機能も提供します。G3 インスタンスは、アプリケーションの例としては、3D ビジュアライゼーション、グラフィックを多用するリモートワークステーション、3D レンダリング、動画エンコード、仮想リアリティやそのほかの大規模なパラレル処理を必要とするサーバー側のグラフィックワークロードなどのアプリケーションに最適です。

詳細については、「Amazon EC2 G3 インスタンス」を参照してください。

G3 インスタンスは、NVIDIA GRID 仮想ワークステーションと NVIDIA GRID 仮想アプリケーションをサポートします。これらの機能のいずれかを有効にするには、「NVIDIA GRID 仮想アプリケーションの有効化」を参照してください。

G2 インスタンス

このインスタンスは NVIDIA GRID K520 GPU を使用し、DirectX または OpenGL を使用してグラフィックアプリケーション向けに費用対効果の高パフォーマンスのプラットフォームを提供します。NVIDIA GRID GPU は、NVIDIA の高速キャプチャおよびエンコード API オペレーションもサポートします。アプリケーションのサンプルには、動画作成サービス、3D 仮想化、グラフィックを多用したストリーミングアプリケーションなどのサーバー側のグラフィックワークロードが含まれています。

P5 インスタンス

P5 インスタンスは、640 GB の高帯域幅 GPU メモリを搭載した 8 つの NVIDIA H100 GPU を提供します。これらは第 3 世代の AMD EPYC プロセッサを搭載し、2 TB のシステムメモリ、30 TB のローカル NVMe インスタンスストレージ、3,200 Gps の集約ネットワーク帯域幅、および GPUDirect RDMA サポートを提供します。P5 インスタンスは Amazon EC2 UltraCluster テクノロジーもサポートしているため、EFA を使用してレイテンシーを低減し、ネットワークパフォーマンスを向上させることができます。機械学習と HPC のワークロードでは、P5 インスタンスは前世代の GPU インスタンスの最大 6 倍のパフォーマンスを発揮します。

P5 インスタンスは、GPU 対応のさまざまなワークロードを加速でき、大規模な分散機械学習や高性能コンピューティングアプリケーションに適しています。

詳細については、「Amazon EC2 P5 インスタンス」を参照してください。

P4de インスタンスは NVIDIA 80GB-A100s GPU を提供します

P3 インスタンス

このインスタンスは NVIDIA Tesla V100 GPU を使用し、CUDA または OpenCL プログラミングモデルを使用するか、機械学習フレームワークを使用する汎用 GPU コンピューティング用に設計されています。P3 インスタンスは高帯域幅ネットワーキング、強力な半精度、単精度、および倍精度浮動小数点機能、および GPU ごとに最大 32 GiB メモリを提供し、深層学習、数値流体力学、金融工学、耐震解析、分子モデリング、ゲノム解析、レンダリング、その他サーバー側 GPU コンピューティングワークロードに最適です。Tesla V100 GPU はグラフィックモードをサポートしません。

詳細については、「Amazon EC2 P3 インスタンス」を参照してください。

P3 インスタンスは NVIDIA NVLink のピアツーピア転送をサポートします。詳細については、NVIDIA NVLink を参照してください。

P2 インスタンス

P2 インスタンスは NVIDIA Tesla K80 GPU を使用し、CUDA または OpenCL プログラミングモデルを使用する汎用 GPU コンピューティング用に設計されています。P2 インスタンスは高帯域幅ネットワーキング、強力な単精度および倍精度浮動小数点機能、および GPU ごとに 12 GiB メモリを提供し、ディープラーニング、グラフデータベース、高パフォーマンスデータベース、数値流体力学、金融工学、耐震解析、分子モデリング、ゲノム解析、レンダリング、その他サーバー側 GPU コンピューティングワークロードに最適です。

P2 インスタンスは NVIDIA GPUDirect のピアツーピア転送をサポートします。詳細については、NVIDIA GPUDirect を参照してください。

AWS Trainium を含むインスタンス

AWS Trainium を搭載した Amazon EC2 Trn1 および Trn1n インスタンスは、高性能で費用対効果の高い深層学習トレーニングを目的として構築されています。Trn1 および Trn1n インスタンスを使用すると、音声認識、推奨、不正検出、イメージや動画の分類など、幅広いアプリケーションで使用される自然言語処理、コンピュータビジョン、推奨モデルをトレーニングできます。PyTorch や TensorFlow などのよく使用される ML フレームワークで、既存のワークフローを使用できます。AWSNeuron SDK はこれらのフレームワークとシームレスに統合されるため、コードを数行変更するだけで開始できます。

詳細については、「Amazon EC2 Trn1 インスタンス」を参照してください。

ハードウェア仕様

以下に示しているのは、高速コンピューティングインスタンスのハードウェア仕様の要約です。仮想中央処理ユニット (vCPU) は、仮想マシン (VM) に割り当てられた物理 CPU の一部を表します。x86 インスタンスの場合、コアごとに 2 つの vCPU があります。Graviton インスタンスの場合、コアごとに 1 つの vCPU があります。

インスタンスタイプ デフォルト vCPU メモリ (GiB) アクセラレータ
f1.2xlarge 8 122.00 FPGA 1 個
f1.4xlarge 16 244.00 FPGA 2 個
f1.16xlarge 64 976.00 FPGA 8 個
g2.2xlarge 8 15.00 GPU 1 個
g2.8xlarge 32 60.00 GPU 4 個
g3.4xlarge 16 122.00 GPU 1 個
g3.8xlarge 32 244.00 GPU 2 個
g3.16xlarge 64 488.00 GPU 4 個
g4ad.xlarge 4 16.00 GPU 1 個
g4ad.2xlarge 8 32.00 GPU 1 個
g4ad.4xlarge 16 64.00 GPU 1 個
g4ad.8xlarge 32 128.00 GPU 2 個
g4ad.16xlarge 64 256.00 GPU 4 個
g4dn.xlarge 4 16.00 GPU 1 個
g4dn.2xlarge 8 32.00 GPU 1 個
g4dn.4xlarge 16 64.00 GPU 1 個
g4dn.8xlarge 32 128.00 GPU 1 個
g4dn.12xlarge 48 192.00 GPU 4 個
g4dn.16xlarge 64 256.00 GPU 1 個
g4dn.metal 96 384.00 GPU 8 個
g5.xlarge 4 16.00 GPU 1 個
g5.2xlarge 8 32.00 GPU 1 個
g5.4xlarge 16 64.00 GPU 1 個
g5.8xlarge  32 128.00 GPU 1 個
g5.12xlarge 48 192.00 GPU 4 個
g5.16xlarge 64 256.00 GPU 1 個
g5.24xlarge 96 384.00 GPU 4 個
g5.48xlarge 192 768.00 GPU 8 個
p2.xlarge 4 61.00 GPU 1 個
p2.8xlarge 32 488.00 GPU 8 個
p2.16xlarge 64 732.00 GPU 16 個
p3.2xlarge 8 61.00 GPU 1 個
p3.8xlarge 32 244.00 GPU 4 個
p3.16xlarge 64 488.00 GPU 8 個
p3dn.24xlarge 96 768.00 GPU 8 個
注記

trn1n.32xlarge インスタンスには 16 個の Trainium アクセラレータが搭載されています。

Trn1 インスタンスには、以下の数の Trainium アクセラレータが搭載されています。

  • trn1.2xlarge — 1

  • trn1.32xlarge — 16

VT1 インスタンスには、以下の数の U30 アクセラレータが搭載されています。

  • vt1.3xlarge — 1

  • vt1.6xlarge — 2

  • vt1.24xlarge — 16

高速コンピューティングインスタンスでは、次のプロセッサを使用します。

AMD プロセッサ
  • 第 2 世代 AMD EPYC プロセッサ (AMD EPYC 7R32): G4ad、G5

  • 第 3 世代 AMD EPYC プロセッサ (AMD EPYC 7R13): P5

インテルプロセッサ
  • インテル Xeon スケーラブルプロセッサ (Broadwell E5-2686 v4): G3、P2、P3

  • インテル Xeon スケーラブルプロセッサ (Skylake 8175): P3dn

  • 第 2 世代インテル Xeon スケーラブルプロセッサ (Cascade Lake P-8259CL): VT1

  • 第 2 世代インテル Xeon スケーラブルプロセッサ (Cascade Lake P-8259L): G4dn

詳細については、「Amazon EC2 のインスタンスタイプ」を参照してください。

インスタンスのパフォーマンス

EBS 最適化インスタンスは、インスタンスからの Amazon EBS I/O とその他のネットワークトラフィックとの競合を排除することによって、EBS ボリュームの安定した高パフォーマンスを実現できます。一部の高速コンピューティングインスタンスは、追加料金なしでデフォルトで EBS 最適化されています。詳細については、Amazon EBS 最適化インスタンスを使用する を参照してください。

ネットワークパフォーマンス

サポートされているインスタンスタイプで拡張ネットワーキングを有効にすると、レイテンシーとネットワークジッターを低減し、パケット毎秒 (PPS) のパフォーマンスを高めることができます。ほとんどのアプリケーションでは、高いレベルのネットワークパフォーマンスが一貫して必要なわけではありませんが、データの送受信時にアクセスする帯域幅を増やすことでメリットを得られます。詳細については、Windows での拡張ネットワーキング を参照してください。

以下に示しているのは、拡張ネットワーキングをサポートする高速コンピューティングインスタンスのネットワークパフォーマンスの要約です。

注記

を持つインスタンスにはベースライン帯域幅があり、ネットワーク I/O クレジットメカニズムを使用して、ベストエフォートベースでベースライン帯域幅を超えてバーストできます。詳細については、「インスタンスのネットワーク帯域幅」を参照してください。

インスタンスタイプ ネットワークパフォーマンス 拡張ネットワークの機能
f1.2xlarge 最大 10 ギガビット サポート外
f1.4xlarge 最大 10 ギガビット サポート外
f1.16xlarge 25 ギガビット サポート外
g2.2xlarge サポート外
g2.8xlarge サポート外
g3.4xlarge 最大 10 ギガビット ENA
g3.8xlarge 10 ギガビット ENA
g3.16xlarge 25 ギガビット ENA
g4ad.xlarge 最大 10 ギガビット ENA
g4ad.2xlarge 最大 10 ギガビット ENA
g4ad.4xlarge 最大 10 ギガビット ENA
g4ad.8xlarge 15 ギガビット ENA
g4ad.16xlarge 25 ギガビット ENA
g4dn.xlarge 最大 25 ギガビット ENA
g4dn.2xlarge 最大 25 ギガビット ENA
g4dn.4xlarge 最大 25 ギガビット ENA
g4dn.8xlarge 50 ギガビット ENA | EFA
g4dn.12xlarge 50 ギガビット ENA | EFA
g4dn.16xlarge 50 ギガビット ENA | EFA
g4dn.metal 100 ギガビット ENA | EFA
g5.xlarge 最大 10 ギガビット ENA
g5.2xlarge 最大 10 ギガビット ENA
g5.4xlarge 最大 25 ギガビット ENA
g5.8xlarge 25 ギガビット ENA | EFA
g5.12xlarge 40 ギガビット ENA | EFA
g5.16xlarge 25 ギガビット ENA | EFA
g5.24xlarge 50 ギガビット ENA | EFA
g5.48xlarge 100 ギガビット ENA | EFA
p2.xlarge ENA
p2.8xlarge 10 ギガビット ENA
p2.16xlarge 25 ギガビット ENA
p3.2xlarge 最大 10 ギガビット ENA
p3.8xlarge 10 ギガビット ENA
p3.16xlarge 25 ギガビット ENA
p3dn.24xlarge 100 ギガビット ENA | EFA

次の表には、ネットワーク I/O クレジットメカニズムを使用して、ベースライン帯域幅を超えてバーストするインスタンスタイプのベースライン帯域幅とバースト帯域幅を示しています。

インスタンスタイプ ベースライン帯域幅 (Gbps) バースト帯域幅 (Gbps)
g3.4xlarge 5 10
g4ad.xlarge 2.0 10.0
g4ad.2xlarge 4.167 10.0
g4ad.4xlarge 8.333 10.0
g4dn.xlarge 5.0 25.0
g4dn.2xlarge 10.0 25.0
g4dn.4xlarge 20.0 25.0
g5.xlarge 2.5 10.0
g5.2xlarge 5.0 10.0
g5.4xlarge 10.0 25.0

Amazon EBS I/O パフォーマンス

Amazon EBS 最適化インスタンスは、最適化された設定スタックを使用し、Amazon EBS I/O 用に専用のキャパシティを追加で提供します。このように最適化することで、Amazon EBS I/O と、インスタンスからのその他のトラフィックとの間の競合を最小に抑え、Amazon EBS ボリュームの最高のパフォーマンスを実現します。

詳細については、「Amazon EBS 最適化インスタンスを使用する」を参照してください。

SSD ベースのインスタンスストアボリュームの I/O パフォーマンス

インスタンスで利用可能なすべての SSD ベースのインスタンスストアボリュームを使用する場合は、以下の表に示されている IOPS (4,096 バイトブロックサイズ) のパフォーマンスを得ることができます (キューの深さの飽和度において)。それ以外の場合、IOPS パフォーマンスは低下します。

インスタンスサイズ 100% のランダム読み取り時 IOPS 書き込み IOPS
g4ad.xlarge 10417 8333
g4ad.2xlarge 20833 16667
g4ad.4xlarge 41667 33333
g4ad.8xlarge 83333 66667
g4ad.16xlarge 166666 133332
g4dn.xlarge 42500 32500
g4dn.2xlarge 42500 32500
g4dn.4xlarge 85000 65000
g4dn.8xlarge 250000 200000
g4dn.12xlarge 250000 200000
g4dn.16xlarge 250000 200000
g4dn.metal 500000 400000
g5.xlarge 40625 20313
g5.2xlarge 40625 20313
g5.4xlarge 125000 62500
g5.8xlarge 250000 125000
g5.12xlarge 312500 156250
g5.16xlarge 250000 125000
g5.24xlarge 312500 156250
g5.48xlarge 625000 312500
p3dn.24xlarge 700000 340000

インスタンスに SSD ベースのインスタンスストアボリュームを使用するほど、アーカイブできる書き込み IOPS の数は減少します。これは、SSD コントローラーが実行する必要がある追加の作業が原因です。SSD コントローラーは、利用可能な領域を見つけ、既存のデータを再書き込みし、未使用の領域を消去して、再書き込みができるようにします。このガベージコレクションというプロセスにより、SSD への内部的な書き込み増幅が発生し、ユーザーの書き込み操作に対する SSD 書き込み操作の割合として表示されます。書き込み操作が 4,096 バイトの倍数でないか、4,096 バイトの境界に整合していない場合、パフォーマンスの低下はさらに大きくなります。少量のバイト数または整合していないバイト数で書き込む場合、SSD コントローラーは周辺のデータを読み取り、その結果を新しい場所に保存する必要があります。このパターンにより、書き込み増幅が大幅に増え、レイテンシーが増加し、I/O パフォーマンスが大きく低下します。

SSD コントローラーは、複数の方法を利用すると、書き込み増幅の影響を減らすことができます。このような方法の 1 つには、SSD インスタンスストレージに領域を予約し、コントローラーが書き込み操作に利用できる領域をより効率的に管理できるようにすることです。これをオーバープロビジョニングと呼びます。インスタンスに提供された SSD ベースのインスタンスストアボリュームには、オーバープロビジョニングに対して予約された領域がありません。書き込み増幅を減らすには、ボリュームの 10% を未使用の状態のままにし、SSD コントローラーがこれをオーバープロビジョニングに使用できるようにすることをお勧めします これにより、使用できるストレージは減りますが、ディスクが総容量に近づいた場合でもパフォーマンスを向上させることができます。

TRIM をサポートするインスタンスストアボリュームの場合、TRIM コマンドを使用して、書き込んだデータが不要になったときはいつでも SSD コントローラーに通知することができます。これにより、より多くの空き領域がコントローラーに与えられ、その結果書き込み増幅が減り、パフォーマンスが向上します。詳細については、「インスタンスストアボリュームの TRIM のサポート」を参照してください。

リリースノート

  • P5 インスタンスでの最高のパフォーマンスを得るには、次のことを行うことをお勧めします。

    • Linux カーネルバージョン 5.10 以降の AMI を使用します。

  • インスタンスは、HVM AMI を使用して起動する必要があります。

  • Nitro System 上に構築されたインスタンスには、次の要件があります。

    現在の AWS Windows AMI は、これらの要件を満たしています。

  • NVIDIA ドライバーがインストールされていない限り、GPU ベースのインスタンスは GPU にアクセスできません。詳細については、Windows インスタンスへの NVIDIA ドライバーのインストール を参照してください。

  • ベアメタルインスタンスを起動すると、基盤となるサーバーが起動します。これには、すべてのハードウェアやファームウェアコンポーネントの確認が含まれます。つまり、インスタンスが実行状態になってからネットワーク経由で使用できるようになるまでに 20 分かかることがあります。

  • EBS ボリュームまたはセカンダリネットワークインターフェイスを、ベアメタルインスタンスにアタッチ (または、そこからデタッチ) するには、PCIe のネイティブホットプラグがサポートされている必要があります。

  • ベアメタルインスタンスでは、I/O ポートベースのシリアルデバイスではなく、PCI ベースのシリアルデバイスを使用しています。アップストリームの Linux カーネルと最新の Amazon Linux AMI は、このデバイスをサポートしています。また、ベアメタルインスタンスでは、システムが PCI ベースのシリアルデバイスを自動的に使用できるようにする ACPI SPCR テーブルも使用できます。最新の Windows AMI では、自動的に PCI ベースのシリアルデバイスが使用されます。

  • リージョンごとに 100 AFI という制限があります。

  • リージョンで起動できるインスタンスの合計数には制限があります。また、一部のインスタンスタイプにはその他の制限もあります。詳細については、Amazon EC2 の「よくある質問」の「Amazon EC2 で実行できるインスタンス数の上限は」を参照してください。

  • マルチ GPU インスタンスを単一 GPU インスタンスで作成した Windows AMI で起動すると、Windows ですべての GPU の NVIDIA ドライバーが自動的にインストールされません。新しい GPU ハードウェアのドライバーのインストールを許可する必要があります。これは、デバイス マネージャーで [その他] のデバイスカテゴリを開き、手動で修正できます (非アクティブな GPU は [ディスプレイ アダプター] に表示されません)。非アクティブな GPU のそれぞれでコンテキストメニュー (右クリック) を開き、[Update Driver Software] を選択して、デフォルトの [Automatic Update] オプションを選択します。

  • Microsoft リモートデスクトッププロトコル (RDP) を使用すると、WDDM ドライバーモデルを使用している GPU は、高速化されていないリモートデスクトップディスプレイドライバーに置き換えられます。GPU ハードウェアにアクセスするには、Teradici Cloud Access SoftwareNICE Desktop Cloud Visualization (DCV)、または VNC などの別のリモートアクセスツールを使用することをお勧めします。また、AWS Marketplace からいずれかの GPU AMI を使用することもできます。それらの AMI には、3D 高速化をサポートするリモートアクセスツールが用意されているためです。