Verwenden eines JSON-Schemas für Bedingungen zur Aktivierung eines Human Loops mit Amazon Rekognition

Bei Verwendung mit Amazon A2I unterstützt die Amazon Rekognition DetectModerationLabels-Operation die folgenden Eingaben im ConditionType-Parameter:

• ModerationLabelConfidenceCheck – Verwenden Sie diesen Bedingungstyp, um eine menschliche Schleife zu erstellen, wenn die Konfidenz für eine oder mehrere angegebene Beschriftungen niedrig ist.

• Sampling – Verwenden Sie diese Bedingung, um einen Prozentsatz aller Inferenzen anzugeben, die an Menschen zur Überprüfung gesendet werden sollen. Verwenden Sie diese Bedingung, um Folgendes zu tun:

  • Ihr ML-Modell zu prüfen, indem Sie alle Inferenzen Ihres Modells Stichproben unterziehen und einen bestimmten Prozentsatz an Menschen zur Überprüfung senden.

  • Mit der ModerationLabelConfidenceCheck-Bedingung zufällige Stichproben aus einem Prozentsatz der Inferenzen zu entnehmen, die die in ModerationLabelConfidenceCheck angegebenen Bedingungen erfüllten, um eine Schleife für die Prüfung durch Menschen (Human Loop) zu starten und nur den angegebenen Prozentsatz zur Überprüfung an Menschen zu senden.

Anmerkung

Wenn Sie dieselbe Anfrage mehrmals an DetectModerationLabels senden, ändert sich das Ergebnis von Sampling nicht für die Inferenz dieser Eingabe. Wenn Sie beispielsweise einmal eine DetectModerationLabels-Anforderung erstellen und Sampling keine menschliche Schleife initiiert, lösen nachfolgende Anforderungen an DetectModerationLabels mit derselben Konfiguration keine menschliche Schleife aus.

Wenn Sie beim Erstellen einer Flow-Definition die Standardvorlage für Auftragnehmeraufgaben verwenden, die im Abschnitt Workflows für die menschliche Überprüfung der Amazon- SageMaker Konsole bereitgestellt wird, werden Inferenzen, die von diesen Aktivierungsbedingungen zur menschlichen Überprüfung gesendet werden, in die Auftragnehmeroberfläche aufgenommen, wenn ein Auftragnehmer Ihre Aufgabe öffnet. Wenn Sie eine benutzerdefinierte Arbeitsaufgabenvorlage verwenden, müssen Sie das benutzerdefinierte <task.input.selectedAiServiceResponse.blocks>-HTML-Element einschließen, um auf diese Inferenzen zuzugreifen. Ein Beispiel für eine benutzerdefinierte Vorlage, die dieses HTML-Element verwendet, finden Sie unter Beispiel für eine benutzerdefinierte Vorlage für Amazon Rekognition.

ModerationLabelConfidenceCheck-Eingaben

Für ModerationLabelConfidenceCheck ConditionType werden die folgenden ConditionParameters unterstützt:

• ModerationLabelName – Der genaue Name (wobei die Groß- und Kleinschreibung beachtet wird) eines , der von der Amazon Rekognition-DetectModerationLabelsOperation ModerationLabel erkannt wurde. Sie können den speziellen Catch-All-Wert (*) angeben, um ein Moderations-Label zu kennzeichnen.

• ConfidenceEquals

• ConfidenceLessThan

• ConfidenceLessThanEquals

• ConfidenceGreaterThan

• ConfidenceGreaterThanEquals

Wenn Sie die ModerationLabelConfidenceCheck ConditionType verwenden, sendet Amazon A2I Beschriftungsinferenzen für die Beschriftungen, die Sie in ModerationLabelName für die menschliche Überprüfung angegeben haben.

Stichproben bei Eingaben

Sampling ConditionType unterstützt die RandomSamplingPercentage ConditionParameters. Die Eingabe für den RandomSamplingPercentage-Parameter sollte eine reelle Zahl zwischen 0,01 und 100 sein. Diese Zahl stellt den Prozentsatz der Inferenzen dar, die für eine menschliche Überprüfung qualifiziert sind, und die an Menschen zur Überprüfung gesendet werden. Wenn Sie die Sampling-Bedingung ohne weitere Bedingungen verwenden, stellt diese Zahl den Prozentsatz aller Inferenzen dar, die aus einer einzelnen DetectModerationLabel-Anforderung resultieren, die an Menschen zur Überprüfung gesendet werden.

Beispiele

Beispiel 1: Verwenden von ModerationLabelConfidenceCheck mit dem And Operator

Das folgende Beispiel einer HumanLoopActivationConditions-Bedingung initiiert eine menschliche Schleife, wenn eine oder mehrere der folgenden Bedingungen erfüllt sind:

• Amazon Rekognition erkennt das Graphic Male Nudity-Moderations-Label mit einem Konfidenzwert zwischen 90 und 99.

• Amazon Rekognition erkennt das Graphic Female Nudity-Moderations-Label mit einem Konfidenzwert zwischen 80 und 99.

Beachten Sie die Verwendung der logischen Operatoren Or und And, um diese Logik zu modellieren.

Obwohl nur eine der beiden Bedingungen unter dem Or-Operator als true ausgewertet werden muss, damit eine menschliche Schleife erstellt wird, wertet Amazon Augmented AI alle Bedingungen aus. Menschliche Prüfer werden aufgefordert, die Moderations-Label für alle Bedingungen zu überprüfen, die als true ausgewertet wurden.

{
     "Conditions": [{
         "Or": [{
                 "And": [{
                         "ConditionType": "ModerationLabelConfidenceCheck",
                         "ConditionParameters": {
                             "ModerationLabelName": "Graphic Male Nudity",
                             "ConfidenceLessThanEquals": 99
                         }
                     },
                     {
                         "ConditionType": "ModerationLabelConfidenceCheck",
                         "ConditionParameters": {
                             "ModerationLabelName": "Graphic Male Nudity",
                             "ConfidenceGreaterThanEquals": 90
                         }
                     }
                 ]
             },
             {
                 "And": [{
                         "ConditionType": "ModerationLabelConfidenceCheck",
                         "ConditionParameters": {
                             "ModerationLabelName": "Graphic Female Nudity",
                             "ConfidenceLessThanEquals": 99
                         }
                     },
                     {
                         "ConditionType": "ModerationLabelConfidenceCheck",
                         "ConditionParameters": {
                             "ModerationLabelName": "Graphic Female Nudity",
                             "ConfidenceGreaterThanEquals": 80
                         }
                     }
                 ]
             }
         ]
     }]
}

Beispiel 2: Verwenden von ModerationLabelConfidenceCheck mit dem Catch-All-Wert (*)

Wenn im folgenden Beispiel eine Moderationsbeschriftung mit einer Konfidenz über 75 erkannt wird, wird eine menschliche Schleife initiiert. Menschliche Prüfer werden gebeten, alle Moderationsbeschriftungen mit Konfidenzwerten über oder gleich 75 zu überprüfen.

{
    "Conditions": [
        {
            "ConditionType": "ModerationLabelConfidenceCheck",
            "ConditionParameters": {
                "ModerationLabelName": "*",
                "ConfidenceGreaterThanEquals": 75
            }
        }
    ]
}

Beispiel 3: Verwenden von Stichproben

Im folgenden Beispiel werden 5 % der Amazon Rekognition-Inferenzen aus einer DetectModerationLabels-Anforderung an menschliche Auftragnehmer übermittelt. Wenn Sie die in der SageMaker Konsole bereitgestellte Standardvorlage für Auftragnehmeraufgaben verwenden, werden alle von Amazon Rekognition zurückgegebenen Moderationsbezeichnungen zur Überprüfung an Auftragnehmer gesendet.

{
  "Conditions": [
    {
      "ConditionType": "Sampling",
      "ConditionParameters": {
        "RandomSamplingPercentage": 5
      }
    }
  ]
}

Beispiel 4: Verwenden von Probenahme und ModerationLabelConfidenceCheck mit dem Operator And

In diesem Beispiel werden 5 % der Amazon Rekognition-Inferenzen des -Graphic Male NudityModerationsbezeichnungen mit einer Konfidenz von mehr als 50 an Auftragnehmer zur Überprüfung gesendet. Wenn Sie die in der SageMaker Konsole bereitgestellte Standardvorlage für Auftragnehmeraufgaben verwenden, werden nur die Inferenzen des Graphic Male Nudity Labels zur Überprüfung an Auftragnehmer gesendet.

{
  "Conditions": [
    {
      "And": [
        {
          "ConditionType": "Sampling",
          "ConditionParameters": {
            "RandomSamplingPercentage": 5
          }
        },
        {
          "ConditionType": "ModerationLabelConfidenceCheck",
          "ConditionParameters": {
            "ModerationLabelName": "Graphic Male Nudity",
            "ConfidenceGreaterThan": 50
          }
        }
      ]
    }
  ]
}

Beispiel 5: Verwenden von Probenahme und ModerationLabelConfidenceCheck mit dem And Operator

Verwenden Sie dieses Beispiel, um Ihren Workflow für die menschliche Überprüfung so zu konfigurieren, dass Inferenzen mit geringer Konfidenz einer angegebenen Beschriftung immer zur menschlichen Überprüfung gesendet werden und Stichproben von Inferenzen mit hoher Konfidenz einer Beschriftung mit einer bestimmten Rate entnommen werden.

Im folgenden Beispiel wird eine menschliche Überprüfung auf eine der folgenden Arten initiiert:

• Inferenzen für die Graphic Male Nudity-Moderationsbeschriftung mit Konfidenzwerten unter 60 werden immer zur menschlichen Überprüfung gesendet. Nur die Bezeichnung Graphic Male Nudity wird zur Überprüfung an Auftragnehmer gesendet.

• 5 % aller Inferenzen für die Graphic Male Nudity-Moderationsbezeichnung mit Vertrauensbewertungen über 90 werden zur Prüfung durch Menschen gesendet. Nur die Bezeichnung Graphic Male Nudity wird zur Überprüfung an Auftragnehmer gesendet.

{
  "Conditions": [
    {
      "Or": [
        {
          "ConditionType": "ModerationLabelConfidenceCheck",
          "ConditionParameters": {
            "ModerationLabelName": "Graphic Male Nudity",
            "ConfidenceLessThan": 60
          }
        },
        {
            "And": [
                {
                    "ConditionType": "Sampling",
                    "ConditionParameters": {
                        "RandomSamplingPercentage": 5
                    }
                },
                {
                    "ConditionType": "ModerationLabelConfidenceCheck",
                    "ConditionParameters": {
                        "ModerationLabelName": "Graphic Male Nudity",
                        "ConfidenceGreaterThan": 90
                    }
                }
            ]
        }
      ]
    }
  ]
}

Beispiel 6: Verwenden von Probenahme und ModerationLabelConfidenceCheck mit dem Or Operator

Im folgenden Beispiel wird ein Human Loop erstellt, wenn die Amazon Rekognition-Inferenzantwort die Beschriftung „Graphic Male Nudity“ (Darstellung nackter Männer) mit einer Inferenzkonfidenz über 50 enthält. Darüber hinaus initiieren 5 % aller anderen Inferenzen eine Schleife für die Prüfung durch Menschen (Human Loop).

{
  "Conditions": [
    {
      "Or": [
        {
          "ConditionType": "Sampling",
          "ConditionParameters": {
            "RandomSamplingPercentage": 5
          }
        },
        {
          "ConditionType": "ModerationLabelConfidenceCheck",
          "ConditionParameters": {
            "ModerationLabelName": "Graphic Male Nudity",
            "ConfidenceGreaterThan": 50
          }
        }
      ]
    }
  ]
}