Schéma des statistiques (fichier statistics.json) - Amazon SageMaker

Schéma des statistiques (fichier statistics.json)

Le conteneur préconçu Amazon SageMaker Model Monitor calcule les statistiques par colonne/fonction. Les statistiques sont calculées pour l'ensemble de données de référence, ainsi que pour l'ensemble de données en cours d'analyse.

{ "version": 0, # dataset level stats "dataset": { "item_count": number }, # feature level stats "features": [ { "name": "feature-name", "inferred_type": "Fractional" | "Integral", "numerical_statistics": { "common": { "num_present": number, "num_missing": number }, "mean": number, "sum": number, "std_dev": number, "min": number, "max": number, "distribution": { "kll": { "buckets": [ { "lower_bound": number, "upper_bound": number, "count": number } ], "sketch": { "parameters": { "c": number, "k": number }, "data": [ [ num, num, num, num ], [ num, num ][ num, num ] ] }#sketch }#KLL }#distribution }#num_stats }, { "name": "feature-name", "inferred_type": "String", "string_statistics": { "common": { "num_present": number, "num_missing": number }, "distinct_count": number, "distribution": { "categorical": { "buckets": [ { "value": "string", "count": number } ] } } }, #provision for custom stats } ] }

Remarques :

  • Les conteneurs préconçus calculent le croquis KLL, qui est un croquis de quantiles compact.

  • Par défaut, nous matérialisons la distribution en dix compartiments. Actuellement, ceci n'est pas configurable.