Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Lanzamiento de una instancia DLAMI con Neuron AWS
La última versión de DLAMI está lista para usarse AWS con Inferentia e incluye el paquete de API Neuron. AWS Para iniciar una instancia de la DLAMI, consulte Lanzamiento y configuración de una DLAMI. Una vez que tenga un DLAMI, siga estos pasos para asegurarse de que AWS su chip AWS Inferentia y sus recursos de Neuron estén activos.
Contenido
Comprobación de la instancia
Antes de usar la instancia, compruebe que esté correctamente instalada y configurada con Neuron.
Identificación de los dispositivos de inferencia AWS
Para identificar el número de dispositivos de Inferencia de la instancia, utilice el siguiente comando:
neuron-ls
Si su instancia tiene dispositivos de Inferentia asociados a ella, la salida tendrá un aspecto similar al siguiente:
+--------+--------+--------+-----------+--------------+ | NEURON | NEURON | NEURON | CONNECTED | PCI | | DEVICE | CORES | MEMORY | DEVICES | BDF | +--------+--------+--------+-----------+--------------+ | 0 | 4 | 8 GB | 1 | 0000:00:1c.0 | | 1 | 4 | 8 GB | 2, 0 | 0000:00:1d.0 | | 2 | 4 | 8 GB | 3, 1 | 0000:00:1e.0 | | 3 | 4 | 8 GB | 2 | 0000:00:1f.0 | +--------+--------+--------+-----------+--------------+
El resultado suministrado se toma de una instancia INF1.6xLarge e incluye las siguientes columnas:
-
DISPOSITIVO NEURONAL: el identificador lógico asignado al. NeuronDevice Este ID se usa al configurar varios tiempos de ejecución para usar diferentes. NeuronDevices
-
NÚCLEOS NEURONALES: el número de núcleos NeuronCores presentes en. NeuronDevice
-
MEMORIA NEURONAL: La cantidad de memoria DRAM en el. NeuronDevice
-
DISPOSITIVOS CONECTADOS: Otros NeuronDevices conectados al. NeuronDevice
-
PCI BDF: El identificador de la función de dispositivo de bus PCI (BDF) del. NeuronDevice
Visualización del uso de recursos
Vea información útil sobre NeuronCore el uso de la vCPU, el uso de la memoria, los modelos cargados y las aplicaciones de Neuron con el comando. neuron-top Si se inicia neuron-top sin argumentos, se mostrarán los datos de todas las aplicaciones de aprendizaje automático que se utilicen. NeuronCores
neuron-top
Cuando una aplicación utiliza cuatro NeuronCores, el resultado debe tener un aspecto similar al de la imagen siguiente:
Para obtener más información sobre los recursos para supervisar y optimizar las aplicaciones de inferencia basadas en Neuron, consulte Neuron Tools
Uso de Neuron Monitor (monitor de neuronas)
Neuron Monitor recopila las métricas de los tiempos de ejecución de Neuron que se ejecutan en el sistema y transmite los datos recopilados a la salida estándar en formato JSON. Estas métricas se organizan en grupos de métricas que se configuran proporcionando un archivo de configuración. Para obtener más información sobre Neuron Monitor, consulte la User Guide for Neuron Monitor
Actualización del software Neuron
Paso siguiente
