지표 참조

다음 섹션에서는 각 모델 유형에 대해 Amazon SageMaker Canvas에서 사용할 수 있는 지표를 설명합니다.

숫자 예측을 위한 지표

다음 목록에서는 SageMaker Canvas의 숫자 예측을 위한 지표를 정의하고 이를 사용하는 방법에 대한 정보를 제공합니다.

• InferenceLatency - 모델 예측을 요청한 후 모델이 배포되는 실시간 엔드포인트에서 수신하기까지 걸리는 대략적인 시간입니다. 이 지표는 초 단위로 측정되며 앙상블링 모드로 빌드된 모델에서만 사용할 수 있습니다.

• MAE – 평균 절대 오류입니다. 평균적으로 대상 열에 대한 예측은 실제 값의 +/- {MAE}입니다.

  모든 값에 대해 평균을 구했을 때 예측값과 실제 값의 차이를 측정합니다. MAE는 일반적으로 숫자 예측에서 모델 예측 오류를 이해하는 데 사용됩니다. 예측이 선형이면 MAE는 예측선에서 실제 값까지의 평균 거리를 나타냅니다. MAE는 절대 오차의 합계를 관측 숫자로 나눈 값으로 정의됩니다. 값 범위는 0에서 무한대까지이며, 숫자가 작을수록 모델이 데이터에 피팅이 더 좋다는 것을 나타냅니다.

• MAPE - 평균 절대 백분율 오류 평균적으로 대상 열에 대한 예측은 실제 값의 +/- {MAPE}%입니다.

  MAPE는 실제 값과 예측 또는 추정 값 간의 절대 차이의 평균을 실제 값으로 나누고 백분율로 표현한 것입니다. MAPE가 낮을수록 예상 또는 예상 값이 실제 값에 더 가깝기 때문에 성능이 더 좋습니다.

• MSE - 평균 제곱 오차, 즉 예측값과 실제 값의 차이를 제곱한 평균값입니다.

  MSE 값은 항상 양수입니다. 모델이 실제 값을 더 잘 예측할수록 MSE 값은 작아집니다.

• R2 - 입력 열로 설명할 수 있는 대상 열의 차이의 백분율입니다.

  모델이 종속 변수의 분산을 설명할 수 있는 양을 정량화합니다. 값의 범위는 1에서 -1까지입니다. 숫자가 높을수록 설명된 변동성의 비율이 높음을 나타냅니다. 값이 0에 가까우면 종속 변수를 모델로 설명할 수 있는 종속 변수가 거의 없음을 나타냅니다. 음수 값은 피팅이 안 좋으며 상수 함수(또는 수평선)가 모델 성능을 능가한다는 것을 나타냅니다.

• RMSE - 루트 평균 제곱 오차, 즉 오류의 표준 편차입니다.

  예측값과 실제 값 간의 차이의 제곱의 제곱근을 측정하며 모든 값에 대해 평균을 구합니다. 모델 예측 오류를 이해하는 데 사용되며 큰 모델 오차와 이상값이 있음을 나타내는 중요한 지표입니다. 값 범위는 0에서 무한대까지이며 숫자가 작을수록 모델이 데이터에 더 적합함을 나타냅니다. RMSE는 규모에 따라 달라지므로 유형이 다른 데이터세트를 비교하는 데 사용해서는 안 됩니다.

범주형 예측용 지표

이 섹션에서는 Amazon SageMaker Canvas의 범주형 예측을 위한 고급 지표를 정의하고 이를 사용하는 방법에 대한 정보를 제공합니다.

다음은 2개 범주 예측에 사용할 수 있는 지표 목록입니다.

• 정확도 - 정확한 예측의 백분율입니다.

  또는 올바르게 예측된 항목 대비 총 예측 수의 비율입니다. 정확도는 예측된 클래스 값이 실제 값에 얼마나 가까운지를 측정합니다. 정확도 지표의 값은 0에서 1 사이입니다. 값 1은 완벽한 정확도를 나타내고, 0은 완전한 부정확도를 나타냅니다.

• AUC - 0에서 1 사이의 값으로, 모델이 데이터세트의 범주를 얼마나 잘 구분할 수 있는지를 나타냅니다. 값이 1이면 범주를 완벽하게 구분할 수 있었음을 나타냅니다.

• BalancedAccuracy - 모든 예측 대비 정확한 예측의 비율을 측정합니다.

  이 비율은 양성(P) 값과 음성(N) 값의 개수의 합계로 True positive(TP) 및 True negative(TN)를 정규화한 후 계산됩니다. 0.5*((TP/P)+(TN/N))으로 정의되며 값은 0~1 범위입니다. 균형 잡힌 정확도 지표는 이메일의 1%만 스팸인 경우와 같이 불균형한 데이터세트에서 양수 또는 음수의 개수가 서로 크게 다를 때 더 나은 정확도 측정치를 제공합니다.

• F1 - 클래스 균형을 고려한 균형 잡힌 정확도 척도입니다.

  이는 정의된 정밀도 및 리콜 점수의 조화 평균이며 F1 = 2 * (precision * recall) / (precision + recall)로 정의됩니다. F1 점수는 0과 1 사이입니다. 1점은 가능한 최고의 성과를 나타내고, 0점은 최악을 나타냅니다.

• InferenceLatency - 모델 예측을 요청한 후 모델이 배포되는 실시간 엔드포인트에서 수신하기까지 걸리는 대략적인 시간입니다. 이 지표는 초 단위로 측정되며 앙상블링 모드로 빌드된 모델에서만 사용할 수 있습니다.

• LogLoss - 교차 엔트로피 손실이라고도 하는 로그 손실은 출력 자체가 아닌 확률 출력의 품질을 평가하는 데 사용되는 지표입니다. 로그 손실은 모델이 높은 확률로 잘못된 예측을 하는 경우를 나타내는 중요한 지표입니다. 일반적 값은 0~무한대입니다. 값이 0이면 데이터를 완벽하게 예측하는 모델을 나타냅니다.

• 정밀도 - {범주 x}가 예측된 모든 횟수 중에서 예측값은 {정밀도}%의 확률로 정확했습니다.

  정밀도는 알고리즘이 식별한 모든 양성 중에서 진양성(TP)을 얼마나 잘 예측하는지를 측정합니다. Precision = TP/(TP+FP)로 정의되며 값은 0~1 범위입니다. 정확도는 위양성의 비용이 높을 때 중요한 지표입니다. 예를 들어, 비행기 안전 시스템이 비행하기에 안전하다고 잘못 간주되는 경우 위음성으로 인한 비용은 매우 높습니다. 위양성(FP)은 데이터에서 실제로는 음성인데 양성으로 예측하는 것을 반영합니다.

• 리콜 - {대상 열}이 실제로 {범주 x}일 때 모델은 {리콜}%를 {범주 x}로 정확하게 예측했습니다.

  재현율은 알고리즘이 데이터세트의 모든 진양성(TP)을 얼마나 정확하게 예측하는지 측정합니다. 진양성은 양성 예측이며 데이터에서 실제 양수이기도 합니다. 리콜은 Recall = TP/(TP+FN)으로 정의되며 값은 0~1 범위입니다. 점수가 높을수록 모델이 데이터의 진양성(TP)을 더 잘 예측할 수 있음을 나타냅니다. 참고로, 모든 출력값을 True positive로 예측하면 완벽한 리콜 점수를 얻을 수 있기 때문에 리콜만 측정하는 것으로는 충분하지 않습니다.

다음은 3개 이상의 범주 예측에 사용할 수 있는 지표 목록입니다.

• 정확도 - 정확한 예측의 백분율입니다.

  또는 올바르게 예측된 항목 대비 총 예측 수의 비율입니다. 정확도는 예측된 클래스 값이 실제 값에 얼마나 가까운지를 측정합니다. 정확도 지표의 값은 0에서 1 사이입니다. 값 1은 완벽한 정확도를 나타내고, 0은 완전한 부정확도를 나타냅니다.

• BalancedAccuracy - 모든 예측 대비 정확한 예측의 비율을 측정합니다.

  이 비율은 양성(P) 값과 음성(N) 값의 개수의 합계로 True positive(TP) 및 True negative(TN)를 정규화한 후 계산됩니다. 0.5*((TP/P)+(TN/N))으로 정의되며 값은 0~1 범위입니다. 균형 잡힌 정확도 지표는 이메일의 1%만 스팸인 경우와 같이 불균형한 데이터세트에서 양수 또는 음수의 개수가 서로 크게 다를 때 더 나은 정확도 측정치를 제공합니다.

• F1macro - F1macro 점수는 정밀도와 리콜을 계산한 다음 조화 평균을 취해 각 클래스의 F1 점수를 계산하여 F1 점수를 적용합니다. 그런 다음 F1macro는 개별 점수의 평균을 구하여 F1macro 점수를 얻습니다. F1macro 점수는 0과 1 사이입니다. 1점은 가능한 최고의 성과를 나타내고, 0점은 최악을 나타냅니다.

• InferenceLatency - 모델 예측을 요청한 후 모델이 배포되는 실시간 엔드포인트에서 수신하기까지 걸리는 대략적인 시간입니다. 이 지표는 초 단위로 측정되며 앙상블링 모드로 빌드된 모델에서만 사용할 수 있습니다.

• LogLoss - 교차 엔트로피 손실이라고도 하는 로그 손실은 출력 자체가 아닌 확률 출력의 품질을 평가하는 데 사용되는 지표입니다. 로그 손실은 모델이 높은 확률로 잘못된 예측을 하는 경우를 나타내는 중요한 지표입니다. 일반적 값은 0~무한대입니다. 값이 0이면 데이터를 완벽하게 예측하는 모델을 나타냅니다.

• PrecisionMacro - 각 클래스의 정밀도를 계산하고 점수의 평균을 구해 여러 클래스의 정밀도를 얻어 정밀도를 측정합니다. 점수 범위는 0~1입니다. 점수가 높을수록 모델이 식별한 모든 양성 중에서 True positive(TP)를 예측하는 능력을 나타내며, 여러 클래스에 걸쳐 평균을 냅니다.

• RecallMacro - 각 클래스에 대한 리콜을 계산하고 점수의 평균을 구해 여러 클래스의 리콜을 얻어 리콜을 측정합니다. 점수 범위는 0~1입니다. 점수가 높을수록 데이터세트의 True positive(TP)를 예측하는 모델의 능력을 나타내며, True positive는 데이터가 실제 양성이기도 한 양성 예측을 반영합니다. 모든 출력값을 진양성으로 예측하면 완벽한 재현율 점수를 얻을 수 있기 때문에 재현율만 측정하는 것으로는 충분하지 않습니다.

3개 이상의 범주 예측의 경우 평균 F1, 정확도, 정밀도 및 리콜 지표도 받습니다. 이러한 지표의 점수는 모든 범주의 평균 지표 점수일 뿐입니다.

이미지 및 텍스트 예측용 지표

다음은 이미지 예측 및 텍스트 예측에 사용할 수 있는 지표 목록입니다.

• 정확도 - 정확한 예측의 백분율입니다.

  또는 올바르게 예측된 항목 대비 총 예측 수의 비율입니다. 정확도는 예측된 클래스 값이 실제 값에 얼마나 가까운지를 측정합니다. 정확도 지표의 값은 0에서 1 사이입니다. 값 1은 완벽한 정확도를 나타내고, 0은 완전한 부정확도를 나타냅니다.

• F1 - 클래스 균형을 고려한 균형 잡힌 정확도 척도입니다.

  이는 정의된 정밀도 및 리콜 점수의 조화 평균이며 F1 = 2 * (precision * recall) / (precision + recall)로 정의됩니다. F1 점수는 0과 1 사이입니다. 1점은 가능한 최고의 성과를 나타내고, 0점은 최악을 나타냅니다.

• 정밀도 - {범주 x}가 예측된 모든 횟수 중에서 예측값은 {정밀도}%의 확률로 정확했습니다.

  정밀도는 알고리즘이 식별한 모든 양성 중에서 진양성(TP)을 얼마나 잘 예측하는지를 측정합니다. Precision = TP/(TP+FP)로 정의되며 값은 0~1 범위입니다. 정확도는 위양성의 비용이 높을 때 중요한 지표입니다. 예를 들어, 비행기 안전 시스템이 비행하기에 안전하다고 잘못 간주되는 경우 위음성으로 인한 비용은 매우 높습니다. 위양성(FP)은 데이터에서 실제로는 음성인데 양성으로 예측하는 것을 반영합니다.

• 리콜 - {대상 열}이 실제로 {범주 x}일 때 모델은 {리콜}%를 {범주 x}로 정확하게 예측했습니다.

  재현율은 알고리즘이 데이터세트의 모든 진양성(TP)을 얼마나 정확하게 예측하는지 측정합니다. 진양성은 양성 예측이며 데이터에서 실제 양수이기도 합니다. 리콜은 Recall = TP/(TP+FN)으로 정의되며 값은 0~1 범위입니다. 점수가 높을수록 모델이 데이터의 진양성(TP)을 더 잘 예측할 수 있음을 나타냅니다. 참고로, 모든 출력값을 True positive로 예측하면 완벽한 리콜 점수를 얻을 수 있기 때문에 리콜만 측정하는 것으로는 충분하지 않습니다.

3개 이상의 범주를 예측하는 이미지 및 텍스트 예측 모델의 경우 평균 F1, 정확도, 정밀도 및 리콜 지표도 받게 됩니다. 이러한 지표의 점수는 모든 범주의 평균 지표 점수일 뿐입니다.

시계열 예측용 지표

다음은 Amazon SageMaker Canvas의 시계열 예측에 대한 고급 지표를 정의하고 이를 사용하는 방법에 대한 정보를 제공합니다.

• 평균 가중 분위수 손실(WQL) - P10, P50 및 P90 분위수의 정확도를 평균하여 예측을 평가합니다. 값이 낮을수록 모델이 더 정확하다는 의미입니다.

• 가중 절대 백분율 오차(WAPE) – 절대 목표의 합으로 정규화된 절대 오차의 합계로, 예측값과 관측값의 전체 편차를 나타냅니다. 값이 낮을수록 모델이 더 정확하다는 의미이며, 여기서 WAPE = 0은 오차가 없는 모델입니다.

• 평균 제곱근 오차(RMSE) - 평균 제곱 오차의 제곱근입니다. RMSE 값이 낮을수록 모델이 더 정확하다는 의미이며, 여기서 RMSE = 0은 오차가 없는 모델입니다.

• 평균 절대 백분율 오차(MAPE) – 모든 시점에 걸쳐 평균화된 백분율 오차(평균 예측값과 실제 값의 백분율 차이)입니다. 값이 낮을수록 모델이 더 정확하다는 의미이며, 여기서 MAPE = 0은 오차가 없는 모델입니다.

• 평균 절대 조정 오차(MASE) – 단순 기준 예측 방법의 평균 절대 오차로 정규화된 예측의 평균 절대 오차입니다. 값이 낮을수록 모델의 정확도가 더 높으며, MASE < 1이면 기준보다 나은 것으로 추정되고 MASE > 1이면 기준보다 나쁜 것으로 추정됩니다.