Uso do esquema JSON de condições de ativação de loop humano com o Amazon Rekognition

Quando usada com o Amazon A2I, a operação DetectModerationLabels do Amazon Rekognition oferece suporte para as seguintes entradas nos parâmetros ConditionType:

• ModerationLabelConfidenceCheck – use este tipo de condição para criar um loop humano quando a confiança de inferência for baixa para um ou mais rótulos especificados.

• Sampling – use esta condição para especificar uma porcentagem de todas as inferências a serem enviadas para humanos para análise. Use essa condição para fazer o seguinte:

  • Auditar seu modelo de ML amostrando aleatoriamente todas as inferências do seu modelo e enviando uma porcentagem especificada para humanos para análise.

  • Usando a condição ModerationLabelConfidenceCheck, faça uma amostragem aleatória de uma porcentagem das inferências que atenderam às condições especificadas em ModerationLabelConfidenceCheck para iniciar um loop humano e enviar apenas a porcentagem especificada a humanos para análise.

nota

Se você enviar a mesma solicitação para DetectModerationLabels várias vezes, o resultado da Sampling não será alterado para a inferência dessa entrada. Por exemplo, se você fizer uma solicitação DetectModerationLabels uma vez, e a Sampling não iniciar um loop humano, as solicitações subsequentes para DetectModerationLabels com a mesma configuração não iniciarão um loop humano.

Ao criar uma definição de fluxo, se você usar o modelo padrão de tarefa do trabalhador fornecido na seção de fluxos de trabalho de revisão humana do SageMaker console da Amazon, as inferências enviadas para análise humana por essas condições de ativação serão incluídas na interface do usuário do trabalhador quando um trabalhador abrir sua tarefa. Se você usar um modelo de tarefa de operador personalizado, será necessário incluir o elemento HTML <task.input.selectedAiServiceResponse.blocks> personalizado para acessar essas inferências. Para obter um exemplo de um modelo personalizado que usa esse elemento HTML, consulte Exemplo de modelo personalizado do Amazon Rekognition.

Entradas do ModerationLabelConfidenceCheck

Para o ModerationLabelConfidenceCheck ConditionType, os seguintes ConditionParameters são compatíveis:

• ModerationLabelName— O nome exato (com distinção entre maiúsculas e minúsculas) de um ModerationLabeldetectado pela operação do Amazon Rekognition. DetectModerationLabels É possível especificar o valor especial genérico (*) para indicar qualquer rótulo de moderação.

• ConfidenceEquals

• ConfidenceLessThan

• ConfidenceLessThanEquals

• ConfidenceGreaterThan

• ConfidenceGreaterThanEquals

Quando você usa o ModerationLabelConfidenceCheck ConditionType, o Amazon A2I envia inferências de rótulo para os rótulos especificados por você em ModerationLabelName para análise humana.

Entradas de amostragem

O Sampling ConditionType oferece suporte para RandomSamplingPercentage ConditionParameters. A entrada para o parâmetro RandomSamplingPercentage deve ser um número real entre 0,01 e 100. Esse número representa a porcentagem de inferências qualificadas para uma análise humana que são enviadas para humanos para análise. Se você usar a condição Sampling sem qualquer outra condição, esse número representará a porcentagem de todas as inferências que resultam de uma única solicitação DetectModerationLabel enviadas para humanos para análise.

Exemplos

Exemplo 1: Use ModerationLabelConfidenceCheck com o operador And

O exemplo a seguir de uma condição HumanLoopActivationConditions inicia um loop humano quando uma ou mais das seguintes condições forem atendidas:

• O Amazon Rekognition detecta o rótulo de moderação Graphic Male Nudity com uma confiança entre 90 e 99.

• O Amazon Rekognition detecta o rótulo de moderação Graphic Female Nudity com uma confiança entre 80 e 99.

Observe o uso dos operadores lógicos Or e And para modelar essa lógica.

Embora qualquer uma das duas condições sob o operador Or precise ser avaliada como true para que um loop humano seja criado, o Amazon Augmented AI avalia todas as condições. Os revisores humanos precisarão revisar os rótulos de moderação de todas as condições que foram avaliadas como true.

{
     "Conditions": [{
         "Or": [{
                 "And": [{
                         "ConditionType": "ModerationLabelConfidenceCheck",
                         "ConditionParameters": {
                             "ModerationLabelName": "Graphic Male Nudity",
                             "ConfidenceLessThanEquals": 99
                         }
                     },
                     {
                         "ConditionType": "ModerationLabelConfidenceCheck",
                         "ConditionParameters": {
                             "ModerationLabelName": "Graphic Male Nudity",
                             "ConfidenceGreaterThanEquals": 90
                         }
                     }
                 ]
             },
             {
                 "And": [{
                         "ConditionType": "ModerationLabelConfidenceCheck",
                         "ConditionParameters": {
                             "ModerationLabelName": "Graphic Female Nudity",
                             "ConfidenceLessThanEquals": 99
                         }
                     },
                     {
                         "ConditionType": "ModerationLabelConfidenceCheck",
                         "ConditionParameters": {
                             "ModerationLabelName": "Graphic Female Nudity",
                             "ConfidenceGreaterThanEquals": 80
                         }
                     }
                 ]
             }
         ]
     }]
}

Exemplo 2: Use ModerationLabelConfidenceCheck com o valor genérico (*)

No exemplo a seguir, se qualquer rótulo de moderação for detectado com uma confiança maior ou igual a 75, será iniciado um loop humano. Os analisadores humanos devem analisar todos os rótulos de moderação com pontuações de confiança maiores ou iguais a 75.

{
    "Conditions": [
        {
            "ConditionType": "ModerationLabelConfidenceCheck",
            "ConditionParameters": {
                "ModerationLabelName": "*",
                "ConfidenceGreaterThanEquals": 75
            }
        }
    ]
}

Exemplo 3: Usar amostragem

No exemplo a seguir, 5% das inferências do Amazon Rekognition de uma solicitação de DetectModerationLabels serão enviadas a operadores humanos. Ao usar o modelo de tarefa de trabalho padrão fornecido no SageMaker console, todos os rótulos de moderação retornados pelo Amazon Rekognition são enviados aos trabalhadores para análise.

{
  "Conditions": [
    {
      "ConditionType": "Sampling",
      "ConditionParameters": {
        "RandomSamplingPercentage": 5
      }
    }
  ]
}

Exemplo 4: Uso da amostragem e ModerationLabelConfidenceCheck com o operador And

Neste exemplo, 5% das inferências do Amazon Rekognition do rótulo de moderação Graphic Male Nudity com uma confiança superior a 50 serão enviados para operadores para análise. Ao usar o modelo de tarefa de trabalho padrão fornecido no SageMaker console, somente as inferências do Graphic Male Nudity rótulo são enviadas aos trabalhadores para análise.

{
  "Conditions": [
    {
      "And": [
        {
          "ConditionType": "Sampling",
          "ConditionParameters": {
            "RandomSamplingPercentage": 5
          }
        },
        {
          "ConditionType": "ModerationLabelConfidenceCheck",
          "ConditionParameters": {
            "ModerationLabelName": "Graphic Male Nudity",
            "ConfidenceGreaterThan": 50
          }
        }
      ]
    }
  ]
}

Exemplo 5: Uso da amostragem e ModerationLabelConfidenceCheck com o operador And

Use este exemplo para configurar seu fluxo de trabalho de análise humana para sempre enviar inferências de baixa confiança de um rótulo especificado para análise humana e inferências de alta confiança de um rótulo a uma taxa especificada.

No exemplo a seguir, uma análise humana é iniciada de uma das seguintes maneiras:

• As inferências para o rótulo de moderação Graphic Male Nudity com confianças inferiores a 60 são sempre enviadas para análise humana. Somente o rótulo Graphic Male Nudity é enviado aos operadores para análise.

• 5% de todas as inferências do rótulo de moderação Graphic Male Nudity com pontuações de confiança superiores a 90 serão enviadas para análise humana. Somente o rótulo Graphic Male Nudity é enviado aos operadores para análise.

{
  "Conditions": [
    {
      "Or": [
        {
          "ConditionType": "ModerationLabelConfidenceCheck",
          "ConditionParameters": {
            "ModerationLabelName": "Graphic Male Nudity",
            "ConfidenceLessThan": 60
          }
        },
        {
            "And": [
                {
                    "ConditionType": "Sampling",
                    "ConditionParameters": {
                        "RandomSamplingPercentage": 5
                    }
                },
                {
                    "ConditionType": "ModerationLabelConfidenceCheck",
                    "ConditionParameters": {
                        "ModerationLabelName": "Graphic Male Nudity",
                        "ConfidenceGreaterThan": 90
                    }
                }
            ]
        }
      ]
    }
  ]
}

Exemplo 6: Uso da amostragem e ModerationLabelConfidenceCheck com o operador Or

No exemplo a seguir, um loop humano será criado se a resposta de inferência do Amazon Rekognition contiver o rótulo “Graphic Male Nudity” (Nudez masculina gráfica) com confiança de inferência maior que 50. Além disso, 5% de todas as outras inferências iniciam um loop humano.

{
  "Conditions": [
    {
      "Or": [
        {
          "ConditionType": "Sampling",
          "ConditionParameters": {
            "RandomSamplingPercentage": 5
          }
        },
        {
          "ConditionType": "ModerationLabelConfidenceCheck",
          "ConditionParameters": {
            "ModerationLabelName": "Graphic Male Nudity",
            "ConfidenceGreaterThan": 50
          }
        }
      ]
    }
  ]
}