Iterasi roda gila

Gunakan iterasi flywheel untuk membantu Anda membuat dan mengelola versi model baru.

Alur kerja iterasi

Flywheel dimulai dengan versi model terlatih atau menggunakan dataset awal untuk melatih versi model.

Seiring waktu, saat Anda mendapatkan data berlabel baru, Anda melatih versi model baru untuk meningkatkan kinerja model flywheel Anda. Ketika Anda menjalankan flywheel, itu menciptakan iterasi baru yang melatih dan mengevaluasi versi model baru. Anda dapat mempromosikan versi model baru jika kinerjanya lebih unggul dari versi model aktif yang ada.

Alur kerja iterasi flywheel mencakup langkah-langkah berikut:

1. Anda membuat kumpulan data untuk data berlabel baru.

2. Anda menjalankan flywheel untuk membuat iterasi baru. Iterasi mengikuti langkah-langkah ini untuk melatih dan mengevaluasi versi model baru:

   1. Mengevaluasi versi model aktif menggunakan data baru.

   2. Melatih versi model baru menggunakan data baru.

   3. Menyimpan hasil evaluasi dan pelatihan di danau data.

   4. Mengembalikan skor F1 untuk kedua model.

3. Setelah iterasi selesai, Anda dapat membandingkan skor F1 untuk model aktif yang ada dan model baru.

4. Jika versi model baru memiliki kinerja yang unggul, Anda mempromosikannya menjadi versi model aktif. Anda dapat menggunakan konsol atau API untuk mempromosikan versi model baru.

Mengelola iterasi (konsol)

Anda dapat menggunakan konsol untuk memulai iterasi baru dan menanyakan status iterasi yang sedang berlangsung. Anda juga dapat melihat hasil iterasi yang telah selesai.

Mulai iterasi flywheel (konsol)

Sebelum Anda dapat memulai iterasi baru, buat satu atau lebih kumpulan data pelatihan atau uji baru. Lihat Mengkonfigurasi dataset

Mulai iterasi flywheel (konsol)

1. Masuk ke AWS Management Console dan buka konsol Amazon Comprehend.

2. Dari menu kiri, pilih Flywheels.

3. Dari meja Flywheels, pilih flywheel.

4. Pilih Run flywheel.

Menganalisis hasil iterasi (Konsol)

Setelah menjalankan iterasi flywheel, konsol menampilkan hasilnya di tabel iterasi Flywheels.

Promosikan versi model baru (Konsol)

Dari halaman detail model di konsol, Anda dapat mempromosikan versi model baru menjadi versi model aktif.

Promosikan versi model flywheel ke versi model aktif (konsol)

1. Masuk ke AWS Management Console dan buka konsol Amazon Comprehend.

2. Dari menu kiri, pilih Flywheels.

3. Dari meja Flywheels, pilih flywheel.

4. Dari tabel halaman detail Flywheel, pilih versi yang akan dipromosikan dari tabel iterasi Flywheels.

5. Pilih Buat model aktif.

Mengelola iterasi (API)

Anda dapat menggunakan Amazon Comprehend API untuk memulai iterasi baru dan menanyakan status iterasi yang sedang berlangsung. Anda juga dapat melihat hasil iterasi yang telah selesai.

Mulai iterasi flywheel (API)

Gunakan operasi StartFlywheelIterationAmazon Comprehend untuk memulai iterasi flywheel.

aws comprehend start-flywheel-iteration \
    --flywheel-arn  "flywheelArn"   

Tanggapan berisi konten berikut.

{
  "FlywheelIterationArn": "arn:aws::comprehend:aws-region:111122223333:flywheel/name"
}     

Promosikan versi model baru (API)

Gunakan UpdateFlywheeloperasi untuk mempromosikan versi model menjadi versi model aktif.

Kirim UpdateFlywheel permintaan dengan ActiveModelArn parameter yang disetel ke ARN versi model aktif baru.

aws comprehend update-flywheel \
    --active-model-arn  "modelArn" \ 

Tanggapan berisi konten berikut.

{
  "FlywheelArn": "arn:aws::comprehend:aws-region:111122223333:flywheel/name",
  "ActiveModelArn": "modelArn"
}     

Jelaskan hasil iterasi flywheel (API)

Operasi DescribeFlywheelIterationAmazon Comprehend mengembalikan informasi tentang iterasi setelah dijalankan hingga selesai.

aws comprehend describe-flywheel-iteration \
	--flywheel-arn "flywheelArn" \
	--flywheel-iteration-id  "flywheelIterationId" \
	--region aws-region 

Respons berisi konten berikut.

{
    "FlywheelIterationProperties": {
        "FlywheelArn": "flywheelArn",
        "FlywheelIterationId": "iterationId",
        "CreationTime": <createdAt>,
        "EndTime": <endedAt>,
        "Status": <status>,
        "Message": <message>,
        "EvaluatedModelArn": "modelArn",
        "EvaluatedModelMetrics": {
            "AverageF1Score": <value>,
            "AveragePrecision": <value>,
            "AverageRecall": <value>,
            "AverageAccuracy": <value>
        },
        "TrainedModelArn": "modelArn",
        "TrainedModelMetrics": {
            "AverageF1Score": <value>,
            "AveragePrecision": <value>,
            "AverageRecall": <value>,
            "AverageAccuracy": <value>
        }
    }
}

Dapatkan riwayat iterasi (API)

Gunakan ListFlywheelIterationHistoryoperasi untuk mendapatkan informasi tentang riwayat iterasi.

aws comprehend list-flywheel-iteration-history \
	--flywheel-arn "flywheelArn"

Respons berisi konten berikut.

{
    "FlywheelIterationPropertiesList": [
        {
            "FlywheelArn": "<flywheelArn>",
            "FlywheelIterationId": "20220907T214613Z",
            "CreationTime": 1662587173.224,
            "EndTime": 1662592043.02,
            "Status": "<status>",
            "Message": "<message>",
            "EvaluatedModelArn": "modelArn",
            "EvaluatedModelMetrics": {
                "AverageF1Score": 0.8333333333333333,
                "AveragePrecision": 0.75,
                "AverageRecall": 0.9375,
                "AverageAccuracy": 0.8125
            },
            "TrainedModelArn": "modelArn",
            "TrainedModelMetrics": {
                "AverageF1Score": 0.865497076023392,
                "AveragePrecision": 0.7636363636363637,
                "AverageRecall": 1.0,
                "AverageAccuracy": 0.84375
            }
        }
    ]
}