DetectAnomalies - AWS Glue

DetectAnomalies

Rileva le anomalie per una determinata regola relativa alla qualità dei dati. Ogni esecuzione della regola DetectAnomalies comporta il salvataggio del valore valutato per la regola data. Quando vengono raccolti dati sufficienti, l'algoritmo di rilevamento delle anomalie prende tutti i dati storici per una determinata regola ed esegue il rilevamento delle anomalie. La regola DetectAnomalies fallisce se viene rilevata un'anomalia. È possibile ottenere ulteriori informazioni sull'anomalia rilevata tramite le osservazioni.

Sintassi

DetectAnomalies <RULE_NAME> <RULE_PARAMETERS>

RULE_NAME: il nome della regola che desideri valutare e per la quale desideri rilevare le anomalie. Regole supportate:

  • "RowCount"

  • "Completezza"

  • "Univocità"

  • "Media"

  • "Somma"

  • "StandardDeviation"

  • "Entropia"

  • "DistinctValuesCount"

  • "UniqueValueRatio"

  • "ColumnLength"

  • "ColumnValues"

  • "ColumnCorrelation"

  • "CustomSQL"

  • "ColumnCount"

RULE_PARAMETERS: alcune regole richiedono parametri aggiuntivi per l'esecuzione. Fai riferimento alla documentazione fornita sulle regole per visualizzare i parametri richiesti.

Esempio: anomalie per RowCount

Ad esempio, forniamo RowCount come nome della regola per rilevare anomalie RowCount.

DetectAnomalies "RowCount"

Esempio: anomalie per ColumnLength

Ad esempio, forniamo ColumnLength come nome della regola e come nome della colonna per rilevare anomalie ColumnLength.

DetectAnomalies "ColumnLength" "id"