플라이 휠 반복 - Amazon Comprehend
반복 워크플로반복 관리 (콘솔)반복 관리 (API)

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

플라이 휠 반복

플라이 휠 반복을 사용하여 새 모델 버전을 생성 및 관리할 수 있습니다.

반복 워크플로

플라이 휠은 학습시킨 모델 버전으로 시작하거나 초기 데이터 세트를 사용하여 모델 버전을 학습시킵니다.

시계열에 따라 레이블이 지정된 새 데이터를 얻으면 새 모델 버전을 학습시켜 플라이 휠 모델의 성능을 개선합니다. 플라이 휠을 실행하면 새 모델 버전을 학습시키고 평가하는 새로운 반복이 생성됩니다. 성능이 기존 활성 모델 버전보다 우수한 경우 새 모델 버전을 승격시킬 수 있습니다.

플라이 휠 반복 워크플로에는 다음 단계가 포함됩니다.

  1. 레이블이 지정된 새 데이터에 대한 데이터 세트를 생성합니다.

  2. 플라이 휠을 실행하여 새 반복을 생성합니다. 반복은 다음 단계에 따라 새 모델 버전을 학습시키고 평가합니다.

    1. 새 데이터를 사용하여 활성 모델 버전을 평가합니다.

    2. 새 데이터를 사용하여 새 모델 버전을 학습시킵니다.

    3. 평가 및 훈련 결과를 데이터 레이크에 저장합니다.

    4. 두 모델의 F1 점수를 반환합니다.

  3. 반복이 완료되면 기존 활성 모델과 새 모델의 F1 점수를 비교할 수 있습니다.

  4. 새 모델 버전의 성능이 우수하면 활성 모델 버전으로 승격시킵니다. 콘솔이나 API를 사용하여 새 모델 버전을 승격시킬 수 있습니다.

반복 관리 (콘솔)

콘솔을 사용하여 새 반복을 시작하고 진행 중인 반복의 상태를 쿼리할 수 있습니다. 또한 완료된 반복의 결과를 볼 수 있습니다.

플라이 휠 반복 시작 (콘솔)

새 반복을 시작하기 전에 하나 이상의 새 학습 또는 테스트 데이터 세트를 만듭니다. 데이터 세트 구성 참조

플라이 휠 반복 시작 (콘솔)

  1. AWS Management Console에 로그인한 후 Amazon Comprehend 콘솔을 엽니다.

  2. 왼쪽 메뉴에서 플라이 휠을 선택합니다.

  3. 플라이 휠 테이블에서 플라이 휠을 선택합니다.

  4. 플라이 휠 실행을 선택합니다.

반복 결과 분석 (콘솔)

플라이 휠 반복을 실행한 후 콘솔은 플라이 휠 반복 테이블에 결과를 표시합니다.

새 모델 버전 홍보 (콘솔)

콘솔의 모델 세부 정보 페이지에서 새 모델 버전을 활성 모델 버전으로 승격시킬 수 있습니다.

플라이 휠 모델 버전을 활성 모델 버전으로 승격 (콘솔)

  1. AWS Management Console에 로그인한 후 Amazon Comprehend 콘솔을 엽니다.

  2. 왼쪽 메뉴에서 플라이 휠을 선택합니다.

  3. 플라이 휠 테이블에서 플라이 휠을 선택합니다.

  4. 플라이 휠 세부 정보 테이블에서 플라이 휠 반복테이블에 홍보할 버전을 선택합니다.

  5. 활성 모델 만들기를 선택합니다.

반복 관리 (API)

Amazon Comprehend API를 사용하여 새 반복을 시작하고 진행 중인 반복의 상태를 쿼리할 수 있습니다. 또한 완료된 반복의 결과를 볼 수 있습니다.

플라이 휠 반복 시작 (API)

Amazon StartFlywheelIterationComprehend 작업을 사용하여 플라이휠 반복을 시작하십시오.

aws comprehend start-flywheel-iteration \
    --flywheel-arn  "flywheelArn"

응답에는 다음이 포함됩니다.

{
  "FlywheelIterationArn": "arn:aws::comprehend:aws-region:111122223333:flywheel/name"
}

새 모델 버전 (API) 승격

UpdateFlywheel작업을 사용하여 모델 버전을 활성 모델 버전으로 승격하십시오.

ActiveModelArn파라미터가 설정된 UpdateFlywheel 요청을 새 활성 모델 버전의 ARN으로 전송합니다.

aws comprehend update-flywheel \
    --active-model-arn  "modelArn" \

응답에는 다음이 포함됩니다.

{
  "FlywheelArn": "arn:aws::comprehend:aws-region:111122223333:flywheel/name",
  "ActiveModelArn": "modelArn"
}

플라이 휠 반복 결과 (API) 설명

Amazon DescribeFlywheelIterationComprehend 작업은 실행이 완료될 때까지 반복에 대한 정보를 반환합니다.

aws comprehend describe-flywheel-iteration \
	--flywheel-arn "flywheelArn" \
	--flywheel-iteration-id  "flywheelIterationId" \
	--region aws-region

응답에는 다음 콘텐츠가 포함됩니다.

{
    "FlywheelIterationProperties": {
        "FlywheelArn": "flywheelArn",
        "FlywheelIterationId": "iterationId",
        "CreationTime": <createdAt>,
        "EndTime": <endedAt>,
        "Status": <status>,
        "Message": <message>,
        "EvaluatedModelArn": "modelArn",
        "EvaluatedModelMetrics": {
            "AverageF1Score": <value>,
            "AveragePrecision": <value>,
            "AverageRecall": <value>,
            "AverageAccuracy": <value>
        },
        "TrainedModelArn": "modelArn",
        "TrainedModelMetrics": {
            "AverageF1Score": <value>,
            "AveragePrecision": <value>,
            "AverageRecall": <value>,
            "AverageAccuracy": <value>
        }
    }
}

반복 기록 가져오기 (API)

ListFlywheelIterationHistory작업을 사용하면 이터레이션 기록에 대한 정보를 얻을 수 있습니다.

aws comprehend list-flywheel-iteration-history \
	--flywheel-arn "flywheelArn"

응답에는 다음 콘텐츠가 포함됩니다.

{
    "FlywheelIterationPropertiesList": [
        {
            "FlywheelArn": "<flywheelArn>",
            "FlywheelIterationId": "20220907T214613Z",
            "CreationTime": 1662587173.224,
            "EndTime": 1662592043.02,
            "Status": "<status>",
            "Message": "<message>",
            "EvaluatedModelArn": "modelArn",
            "EvaluatedModelMetrics": {
                "AverageF1Score": 0.8333333333333333,
                "AveragePrecision": 0.75,
                "AverageRecall": 0.9375,
                "AverageAccuracy": 0.8125
            },
            "TrainedModelArn": "modelArn",
            "TrainedModelMetrics": {
                "AverageF1Score": 0.865497076023392,
                "AveragePrecision": 0.7636363636363637,
                "AverageRecall": 1.0,
                "AverageAccuracy": 0.84375
            }
        }
    ]
}