Gunakan Kondisi Aktivasi Loop Manusia Skema JSON dengan Amazon Rekognition

Saat digunakan dengan Amazon A2I, operasi Amazon DetectModerationLabels Rekognition mendukung input berikut dalam parameter: ConditionType

• ModerationLabelConfidenceCheck— Gunakan tipe kondisi ini untuk membuat loop manusia ketika kepercayaan inferensi rendah untuk satu atau lebih label yang ditentukan.

• Sampling— Gunakan kondisi ini untuk menentukan persentase dari semua kesimpulan untuk dikirim ke manusia untuk ditinjau. Gunakan kondisi ini untuk melakukan hal berikut:

  • Audit model ML Anda dengan mengambil sampel secara acak semua inferensi model Anda dan mengirimkan persentase tertentu kepada manusia untuk ditinjau.

  • Dengan menggunakan ModerationLabelConfidenceCheck kondisi tersebut, sampel secara acak persentase kesimpulan yang memenuhi kondisi yang ditentukan ModerationLabelConfidenceCheck untuk memulai loop manusia dan hanya mengirim persentase yang ditentukan kepada manusia untuk ditinjau.

catatan

Jika Anda mengirim permintaan yang sama ke DetectModerationLabels beberapa kali, hasilnya Sampling tidak berubah untuk inferensi input itu. Misalnya, jika Anda membuat DetectModerationLabels permintaan sekali, dan Sampling tidak memulai loop manusia, permintaan berikutnya DetectModerationLabels dengan konfigurasi yang sama tidak memulai loop manusia.

Saat membuat definisi alur, jika Anda menggunakan templat tugas pekerja default yang disediakan di bagian Alur kerja tinjauan manusia di SageMaker konsol Amazon, inferensi yang dikirim untuk tinjauan manusia oleh kondisi aktivasi ini akan disertakan dalam UI pekerja saat pekerja membuka tugas Anda. Jika Anda menggunakan template tugas pekerja kustom, Anda perlu menyertakan elemen HTML <task.input.selectedAiServiceResponse.blocks> khusus untuk mengakses kesimpulan ini. Untuk contoh template kustom yang menggunakan elemen HTML ini, lihatContoh Template Kustom untuk Amazon Rekognition.

ModerationLabelConfidenceCheckMasukan

Untuk ini ModerationLabelConfidenceCheckConditionType, berikut ConditionParameters ini didukung:

• ModerationLabelName— Nama yang tepat (peka huruf besar/kecil) dari yang ModerationLabelterdeteksi oleh operasi Amazon Rekognition. DetectModerationLabels Anda dapat menentukan nilai catch-all khusus (*) untuk menunjukkan label moderasi apa pun.

• ConfidenceEquals

• ConfidenceLessThan

• ConfidenceLessThanEquals

• ConfidenceGreaterThan

• ConfidenceGreaterThanEquals

Saat Anda menggunakan ModerationLabelConfidenceCheckConditionType, Amazon A2I mengirimkan inferensi label untuk label yang Anda tentukan ModerationLabelName untuk tinjauan manusia.

Input Pengambilan Sampel

SamplingConditionTypeMendukung RandomSamplingPercentageConditionParameters. Input untuk RandomSamplingPercentage prameter harus bilangan real antara 0,01 dan 100. Angka ini mewakili persentase kesimpulan yang memenuhi syarat untuk tinjauan manusia yang dikirim ke manusia untuk ditinjau. Jika Anda menggunakan Sampling kondisi tanpa kondisi lain, angka ini mewakili persentase dari semua kesimpulan yang dihasilkan dari satu DetectModerationLabel permintaan yang dikirim ke manusia untuk ditinjau.

Contoh-contoh

Contoh 1: Gunakan ModerationLabelConfidenceCheck dengan And operator

Contoh HumanLoopActivationConditions kondisi berikut memulai loop manusia ketika satu atau lebih dari kondisi berikut terpenuhi:

• Amazon Rekognition mendeteksi label moderasi dengan Graphic Male Nudity kepercayaan antara 90 dan 99.

• Amazon Rekognition mendeteksi label moderasi dengan Graphic Female Nudity kepercayaan antara 80 dan 99.

Perhatikan penggunaan operator Or dan And logis untuk memodelkan logika ini.

Meskipun hanya satu dari dua kondisi di bawah Or operator yang perlu dievaluasi true untuk menciptakan loop manusia, Amazon Augmented AI mengevaluasi semua kondisi. Peninjau manusia diminta untuk meninjau label moderasi untuk semua kondisi yang dievaluasi. true

{
     "Conditions": [{
         "Or": [{
                 "And": [{
                         "ConditionType": "ModerationLabelConfidenceCheck",
                         "ConditionParameters": {
                             "ModerationLabelName": "Graphic Male Nudity",
                             "ConfidenceLessThanEquals": 99
                         }
                     },
                     {
                         "ConditionType": "ModerationLabelConfidenceCheck",
                         "ConditionParameters": {
                             "ModerationLabelName": "Graphic Male Nudity",
                             "ConfidenceGreaterThanEquals": 90
                         }
                     }
                 ]
             },
             {
                 "And": [{
                         "ConditionType": "ModerationLabelConfidenceCheck",
                         "ConditionParameters": {
                             "ModerationLabelName": "Graphic Female Nudity",
                             "ConfidenceLessThanEquals": 99
                         }
                     },
                     {
                         "ConditionType": "ModerationLabelConfidenceCheck",
                         "ConditionParameters": {
                             "ModerationLabelName": "Graphic Female Nudity",
                             "ConfidenceGreaterThanEquals": 80
                         }
                     }
                 ]
             }
         ]
     }]
}

Contoh 2: Gunakan ModerationLabelConfidenceCheck dengan nilai catch-all (*)

Dalam contoh berikut, jika ada label moderasi dengan kepercayaan lebih besar dari atau sama dengan 75 terdeteksi, loop manusia dimulai. Peninjau manusia diminta untuk meninjau semua label moderasi dengan skor kepercayaan lebih besar dari atau sama dengan 75.

{
    "Conditions": [
        {
            "ConditionType": "ModerationLabelConfidenceCheck",
            "ConditionParameters": {
                "ModerationLabelName": "*",
                "ConfidenceGreaterThanEquals": 75
            }
        }
    ]
}

Contoh 3: Gunakan Sampling

Dalam contoh berikut, 5% kesimpulan Amazon Rekognition dari permintaan dikirim ke DetectModerationLabels pekerja manusia. Saat menggunakan templat tugas pekerja default yang disediakan di SageMaker konsol, semua label moderasi yang ditampilkan oleh Amazon Rekognition akan dikirim ke pekerja untuk ditinjau.

{
  "Conditions": [
    {
      "ConditionType": "Sampling",
      "ConditionParameters": {
        "RandomSamplingPercentage": 5
      }
    }
  ]
}

Contoh 4: Gunakan Sampling dan ModerationLabelConfidenceCheck dengan operator And

Dalam contoh ini, 5% dari kesimpulan Amazon Rekognition dari Graphic Male Nudity label moderasi dengan kepercayaan lebih besar dari 50 dikirim pekerja untuk ditinjau. Saat menggunakan templat tugas pekerja default yang disediakan di SageMaker konsol, hanya inferensi Graphic Male Nudity label yang dikirim ke pekerja untuk ditinjau.

{
  "Conditions": [
    {
      "And": [
        {
          "ConditionType": "Sampling",
          "ConditionParameters": {
            "RandomSamplingPercentage": 5
          }
        },
        {
          "ConditionType": "ModerationLabelConfidenceCheck",
          "ConditionParameters": {
            "ModerationLabelName": "Graphic Male Nudity",
            "ConfidenceGreaterThan": 50
          }
        }
      ]
    }
  ]
}

Contoh 5: Gunakan Sampling dan ModerationLabelConfidenceCheck dengan operator And

Gunakan contoh ini untuk mengonfigurasi alur kerja tinjauan manusia Anda agar selalu mengirimkan kesimpulan kepercayaan rendah dari label tertentu untuk tinjauan manusia dan sampel inferensi kepercayaan tinggi dari label pada tingkat tertentu.

Dalam contoh berikut, tinjauan manusia dimulai dengan salah satu cara berikut:

• Inferensi untuk label Graphic Male Nudity moderasi dengan skor kepercayaan kurang dari 60 selalu dikirim untuk tinjauan manusia. Hanya Graphic Male Nudity label yang dikirim ke pekerja untuk ditinjau.

• 5% dari semua kesimpulan untuk label Graphic Male Nudity moderasi dengan skor kepercayaan lebih besar dari 90 dikirim untuk tinjauan manusia. Hanya Graphic Male Nudity label yang dikirim ke pekerja untuk ditinjau.

{
  "Conditions": [
    {
      "Or": [
        {
          "ConditionType": "ModerationLabelConfidenceCheck",
          "ConditionParameters": {
            "ModerationLabelName": "Graphic Male Nudity",
            "ConfidenceLessThan": 60
          }
        },
        {
            "And": [
                {
                    "ConditionType": "Sampling",
                    "ConditionParameters": {
                        "RandomSamplingPercentage": 5
                    }
                },
                {
                    "ConditionType": "ModerationLabelConfidenceCheck",
                    "ConditionParameters": {
                        "ModerationLabelName": "Graphic Male Nudity",
                        "ConfidenceGreaterThan": 90
                    }
                }
            ]
        }
      ]
    }
  ]
}

Contoh 6: Gunakan Sampling dan ModerationLabelConfidenceCheck dengan operator Or

Dalam contoh berikut, loop manusia dibuat jika respons inferensi Amazon Rekognition berisi label 'Graphic Male Nudity' dengan kepercayaan inferensi lebih besar dari 50. Selain itu, 5% dari semua kesimpulan lainnya memulai loop manusia.

{
  "Conditions": [
    {
      "Or": [
        {
          "ConditionType": "Sampling",
          "ConditionParameters": {
            "RandomSamplingPercentage": 5
          }
        },
        {
          "ConditionType": "ModerationLabelConfidenceCheck",
          "ConditionParameters": {
            "ModerationLabelName": "Graphic Male Nudity",
            "ConfidenceGreaterThan": 50
          }
        }
      ]
    }
  ]
}