啟動含有神經元的 DLAMI 執行個體 AWS

最新的 DLAMI 已準備好與 AWS 推論一起使用，並附帶神經元 API 包。 AWS 若要啟動 DLAMI 執行個體，請參閱啟動和設定 DLAMI。取得 DLAMI 之後，請使用此處的步驟來確保您的 AWS 推論晶片和 AWS 神經元資源處於作用中狀態。

驗證您的執行個體

在使用您的執行個體之前，請確認執行個體是否已正確設定並設定 Neuron。

識別 AWS 推論裝置

若要識別執行個體上的 Inferentia 裝置數量，請使用下列指令：

neuron-ls

如果您的執行個體已連接 Inferentia 裝置，您的輸出會類似下列內容：

+--------+--------+--------+-----------+--------------+
| NEURON | NEURON | NEURON | CONNECTED |     PCI      |
| DEVICE | CORES  | MEMORY |  DEVICES  |     BDF      |
+--------+--------+--------+-----------+--------------+
| 0      | 4      | 8 GB   | 1         | 0000:00:1c.0 |
| 1      | 4      | 8 GB   | 2, 0      | 0000:00:1d.0 |
| 2      | 4      | 8 GB   | 3, 1      | 0000:00:1e.0 |
| 3      | 4      | 8 GB   | 2         | 0000:00:1f.0 |
+--------+--------+--------+-----------+--------------+

提供的輸出取自 Inf1.6xLarge 執行個體，並包含下列資料欄：

• 神經元裝置：指派給. NeuronDevice 配置多個運行時使用此 ID 以使用不同 NeuronDevices的運行時。

• 神經元核心:目 NeuronCores 前在 NeuronDevice.

• 神經元記憶體:DRAM 記憶體的 NeuronDevice量.

• 已連接的設備：其他 NeuronDevices 已連接到 NeuronDevice.

• PCI BDF：. 的 PCI 匯流排裝置功能 (BDF) 識別碼。 NeuronDevice

檢視資源使用量

使用指neuron-top令檢視 vCPU 使用率、記憶體使用率、載入的模型和 Neuron 應用程式的有用資訊。 NeuronCore 不neuron-top帶引數的啟動將顯示所有使用的機器學習應用程序的數據 NeuronCores。

neuron-top

當應用程式使用 4 時 NeuronCores，輸出應類似下列影像：

如需監控和最佳化神經元推論應用程式的資源的詳細資訊，請參閱神經元工具。

使用神經元監視器 (神經元監視器)

神經元監視器從系統上運行的神經元運行時收集指標，並以 JSON 格式將收集的數據流式傳輸到 stdout。這些測量結果會組織成您透過提供組態檔來設定的測量結果群組。有關神經元監視器的更多信息，請參閱神經元監視器用戶指南。

升級神經元軟件

有關如何在 DLAMI 中更新神經元 SDK 軟件的信息，請參閱《 AWS 神經元設置指南》。

後續步驟

使用 DLAMI 與神經元 AWS