Selección de instancias para las etapas de Neptune ML

Las diferentes etapas del procesamiento de Neptune ML utilizan distintas instancias de SageMaker. A continuación, explicaremos cómo elegir el tipo de instancia adecuado para cada etapa. Puede encontrar información sobre los tipos de instancia de SageMaker y sus precios en Precios de Amazon SageMaker.

Selección de una instancia para el procesamiento de datos

El paso de procesamiento de datos de SageMaker requiere una instancia de procesamiento que tenga suficiente memoria y almacenamiento en disco para los datos de entrada, intermedios y de salida. La cantidad específica de memoria y almacenamiento en disco que se necesita depende de las características del gráfico de Neptune ML y sus características exportadas.

De forma predeterminada, Neptune ML elige la instancia ml.r5 de menor tamaño cuya memoria sea diez veces mayor que el tamaño de los datos de gráficos exportados en el disco.

Selección de una instancia para el entrenamiento y la transformación de modelos

La selección del tipo de instancia correcto para el entrenamiento de modelos o la transformación de modelos depende del tipo de tarea, el tamaño del gráfico y los requisitos de entrega. Las instancias de GPU proporcionan el mejor rendimiento. Por lo general, recomendamos las instancias de serie p3 y g4dn. También puede usar instancias p2 o p4d.

De forma predeterminada, Neptune ML elige la instancia de GPU de menor tamaño y con más memoria que la que necesitan el entrenamiento y la transformación de modelos. Puede encontrar esta selección en el archivo train_instance_recommendation.json, en la ubicación de salida del procesamiento de datos de Amazon S3. A continuación, se muestra un ejemplo del contenido de un archivo train_instance_recommendation.json:

{ 
  "instance":     "(the recommended instance type for model training and transform)",
  "cpu_instance": "(the recommended instance type for base processing instance)", 
  "disk_size":    "(the estimated disk space required)",
  "mem_size":     "(the estimated memory required)"
}

Selección de una instancia para un punto de conexión de inferencia

La selección del tipo de instancia correcto para un punto de conexión de inferencia depende del tipo de tarea, del tamaño del gráfico y del presupuesto. De forma predeterminada, Neptune ML elige la instancia ml.m5d de menor tamaño y con más memoria que la que necesita el punto de conexión de inferencia.

nota

Si se necesitan más de 384 GB de memoria, Neptune ML usa una instancia ml.r5d.24xlarge.

Puede ver el tipo de instancia que recomienda Neptune ML en el archivo infer_instance_recommendation.json, que se encuentra en la ubicación de Amazon S3 que está utilizando para el entrenamiento de modelos. A continuación, se muestra un ejemplo del contenido de ese archivo:

{ 
  "instance" :   "(the recommended instance type for an inference endpoint)",
  "disk_size" :  "(the estimated disk space required)",
  "mem_size" :   "(the estimated memory required)"
}