でDLAMIインスタンスを起動する AWS Neuron

最新の DLAMIは で使用できる状態です。 AWS Inferentia と には、 AWS Neuron APIパッケージ。DLAMI インスタンスを起動するには、「 の起動と設定」を参照してくださいDLAMI。を作成したらDLAMI、以下のステップに従って を確認します。 AWS Inferentia チップと AWS Neuron リソースはアクティブです。

インスタンスの確認

インスタンスを使用する前に、インスタンスが正しくセットアップされ、Neuron で設定されていることを確認します。

識別 AWS Inferentia デバイス

インスタンス上の Inferentia デバイスの数を確認するには、次のコマンドを使用します。

neuron-ls

インスタンスに Inferentia デバイスがアタッチされている場合、出力は次のようになります。

+--------+--------+--------+-----------+--------------+
| NEURON | NEURON | NEURON | CONNECTED |     PCI      |
| DEVICE | CORES  | MEMORY |  DEVICES  |     BDF      |
+--------+--------+--------+-----------+--------------+
| 0      | 4      | 8 GB   | 1         | 0000:00:1c.0 |
| 1      | 4      | 8 GB   | 2, 0      | 0000:00:1d.0 |
| 2      | 4      | 8 GB   | 3, 1      | 0000:00:1e.0 |
| 3      | 4      | 8 GB   | 2         | 0000:00:1f.0 |
+--------+--------+--------+-----------+--------------+

示されている出力は Inf1.6xLarge インスタンスから取得されたものであり、次の列が含まれています。

• NEURON DEVICE: に割り当てられた論理 ID NeuronDevice。この ID は、異なる を使用するように複数のランタイムを設定するときに使用されます NeuronDevices。

• NEURON CORES: NeuronCores に存在する の数 NeuronDevice。

• NEURON MEMORY: のDRAMメモリ量 NeuronDevice。

• CONNECTED DEVICES: NeuronDevices に接続されているその他 NeuronDevice。

• PCI BDF: のPCIバスデバイス関数 (BDF) ID NeuronDevice。

リソースの使用状況の表示

neuron-top コマンドを使用して、 NeuronCore と vCPU の使用率、メモリ使用量、ロードされたモデル、および Neuron アプリケーションに関する有用な情報を表示します。引数neuron-topなしで起動すると、 を利用するすべての機械学習アプリケーションのデータが表示されます NeuronCores。

neuron-top

アプリケーションが 4 つの を使用している場合 NeuronCores、出力は次の図のようになります。

Neuron ベースの推論アプリケーションを監視および最適化するためのリソースの詳細については、Neuron Tools を参照してください。

Neuron Monitor (neuron-monitor) の使用

Neuron Monitor は、システムで実行されている Neuron ランタイムからメトリクスを収集し、収集されたデータを JSON形式で stdout にストリーミングします。これらのメトリクスは、設定ファイルを指定して設定するメトリクスグループに編成されます。Neuron Monitor の詳細については、Neuron Monitor User Guide を参照してください。

Neuron ソフトウェアのアップグレード

内で Neuron SDKソフトウェアを更新する方法についてはDLAMI、「」を参照してください。 AWS Neuron セットアップガイド 。

次のステップ

DLAMI で を使用する AWS Neuron