Neptune ML 단계의 인스턴스 선택

Neptune ML 처리의 여러 단계는 서로 다른 SageMaker 인스턴스를 사용합니다. 여기서는 각 단계에 적합한 인스턴스 유형을 선택하는 방법을 설명합니다. Amazon SageMaker 요금에서 SageMaker 인스턴스 유형 및 요금에 대한 정보를 찾아볼 수 있습니다.

데이터 처리를 위한 인스턴스 선택

SageMaker 데이터 처리 단계에는 입력, 중간 및 출력 데이터를 위한 충분한 메모리와 디스크 스토리지가 있는 처리 인스턴스가 필요합니다. 필요한 메모리 및 디스크 스토리지의 양은 Neptune ML 그래프의 특성과 내보낸 기능에 따라 달라집니다.

기본적으로 Neptune ML은 디스크에서 내보낸 그래프 데이터 크기보다 10배 큰 메모리가 있는 가장 작은 ml.r5 인스턴스를 선택합니다.

모델 훈련 및 모델 변환용 인스턴스 선택

모델 훈련 또는 모델 변환에 적합한 인스턴스 유형 선택은 작업 유형, 그래프 크기, 반환 요구 사항에 따라 달라집니다. GPU 인스턴스는 최상의 성능을 제공합니다. 일반적으로 p3 및 g4dn 직렬 인스턴스를 사용하는 것이 좋습니다. p2 또는 p4d 인스턴스를 사용할 수도 있습니다.

기본적으로 Neptune ML은 모델 훈련 및 모델 변환에 필요한 것보다 더 많은 메모리를 가진 가장 작은 GPU 인스턴스를 선택합니다. train_instance_recommendation.json 파일의 Amazon S3 데이터 처리 출력 위치에서 해당 선택 내용을 찾을 수 있습니다. 다음은 train_instance_recommendation.json 파일의 콘텐츠에 대한 예입니다.

{ 
  "instance":     "(the recommended instance type for model training and transform)",
  "cpu_instance": "(the recommended instance type for base processing instance)", 
  "disk_size":    "(the estimated disk space required)",
  "mem_size":     "(the estimated memory required)"
}

추론 엔드포인트용 인스턴스 선택

추론 엔드포인트에 적합한 인스턴스 유형 선택은 작업 유형, 그래프 크기, 예산에 따라 달라집니다. 기본적으로 Neptune ML은 추론 엔드포인트에 필요한 것보다 더 많은 메모리를 가진 가장 작은 ml.m5d 인스턴스를 선택합니다.

참고

384GB 이상의 메모리가 필요한 경우 Neptune ML은 ml.r5d.24xlarge 인스턴스를 사용합니다.

모델 훈련에 사용하는 Amazon S3 위치에 있는 infer_instance_recommendation.json 파일에서 Neptune ML이 권장하는 인스턴스 유형을 확인할 수 있습니다. 다음은 이런 파일의 콘텐츠에 대한 예입니다.

{ 
  "instance" :   "(the recommended instance type for an inference endpoint)",
  "disk_size" :  "(the estimated disk space required)",
  "mem_size" :   "(the estimated memory required)"
}