기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
뉴런을 사용하여 DLAMI 인스턴스 시작 AWS
최신 DLAMI는 AWS Inferentia와 함께 사용할 수 있으며 뉴런 API 패키지와 함께 제공됩니다. AWS DLAMI 인스턴스를 시작하려면 DLAMI 시작 및 구성을 참조하세요. DLAMI를 설정한 후 여기의 단계를 사용하여 Inferentia AWS 칩과 뉴런 리소스가 AWS 활성 상태인지 확인하십시오.
인스턴스 확인
인스턴스를 사용하기 전에 인스턴스가 제대로 설정되고 Neuron으로 구성되어 있는지 확인합니다.
인퍼런시아 디바이스 식별 AWS
인스턴스의 Inferentia 디바이스 수를 식별하려면 다음 명령을 사용합니다.
neuron-ls
인스턴스에 Inferentia 디바이스가 연결되어 있는 경우 다음과 유사하게 출력됩니다.
+--------+--------+--------+-----------+--------------+ | NEURON | NEURON | NEURON | CONNECTED | PCI | | DEVICE | CORES | MEMORY | DEVICES | BDF | +--------+--------+--------+-----------+--------------+ | 0 | 4 | 8 GB | 1 | 0000:00:1c.0 | | 1 | 4 | 8 GB | 2, 0 | 0000:00:1d.0 | | 2 | 4 | 8 GB | 3, 1 | 0000:00:1e.0 | | 3 | 4 | 8 GB | 2 | 0000:00:1f.0 | +--------+--------+--------+-----------+--------------+
제공된 출력은 INF1.6xlarge 인스턴스에서 가져온 것이며 다음 열을 포함합니다.
-
뉴런 디바이스: 에 할당된 논리적 ID입니다. NeuronDevice 이 ID는 여러 런타임을 다르게 사용하도록 구성할 때 사용됩니다. NeuronDevices
-
뉴런 코어: 에 있는 뉴런 코어 수입니다. NeuronCores NeuronDevice
-
뉴런 메모리: 에 있는 DRAM 메모리의 양. NeuronDevice
-
연결된 장치: 기타 장치에 NeuronDevices 연결되어 있습니다. NeuronDevice
-
PCI BDF: 의 PCI 버스 디바이스 함수 (BDF) ID입니다. NeuronDevice
리소스 사용량 보기
명령을 사용하여 vCPU 사용률, 메모리 사용량, 로드된 모델 및 Neuron 애플리케이션에 대한 유용한 정보를 확인합니다. NeuronCore neuron-top 인수 없이 실행하면 neuron-top 이를 활용하는 모든 기계 학습 응용 프로그램의 데이터가 표시됩니다. NeuronCores
neuron-top
애플리케이션이 4개를 사용하는 NeuronCores 경우 출력은 다음 이미지와 비슷해야 합니다.
Neuron 기반 추론 애플리케이션을 모니터링하고 최적화하기 위한 리소스에 대한 자세한 내용은 Neuron 도구
Neuron Monitor 사용(neuron-monitor)
Neuron Monitor는 시스템에서 실행되는 Neuron 런타임에서 지표를 수집하고 수집된 데이터를 JSON 형식의 stdout에 스트리밍합니다. 이러한 지표는구성 파일을 제공하여 구성하는 지표 그룹으로 구성됩니다. Neuron Monitor에 대한 자세한 내용은 Neuron Monitor사용 설명서
Neuron 소프트웨어 업그레이드
DLAMI 내에서 Neuron SDK 소프트웨어를 업데이트하는 방법에 대한 자세한 내용은 뉴런 설정 가이드를 참조하십시오. AWS
다음 단계
