Résoudre les problèmes liés au traitement SageMaker Clarify

Si vous rencontrez des problèmes avec SageMaker les tâches de traitement Clarify, consultez les scénarios suivants pour identifier le problème.

Note

Le motif de l'échec et le message de sortie contiendront des messages descriptifs et des exceptions, le cas échéant, durant l'exécution. Les erreurs sont souvent dues à l'absence de paramètres ou à leur non-validité. Si les messages sont peu clairs, déroutants ou trompeurs, ou si vous ne parvenez pas à trouver une solution, envoyez des commentaires.

Impossible de terminer la tâche de traitement

S'il est impossible de terminer la tâche de traitement, essayez l'une des actions suivantes :

• Inspectez les journaux des tâches directement dans le bloc-notes où vous avez exécuté la tâche. Les journaux des tâches se trouvent dans la sortie de la cellule du bloc-notes où vous avez lancé l'exécution.

• Inspectez les connexions à la tâche CloudWatch.

• Ajoutez la ligne suivante dans votre bloc-notes pour décrire la dernière tâche de traitement et rechercher la raison de l'échec et le message de sortie :

  • clarify_processor.jobs[-1].describe()

• Exécutez la commande AWS CLI suivante pour décrire la tâche de traitement et rechercher la raison de l'échec et le message de sortie :

  • aws sagemaker describe-processing-job —processing-job-name <processing-job-id>

L'exécution de la tâche de traitement est trop longue

Si l'exécution de votre tâche de traitement prend trop de temps, utilisez les méthodes suivantes pour en trouver la cause première.

Vérifiez si la configuration de vos ressources est suffisante pour gérer votre charge de calcul. Pour accélérer la tâche, essayez ce qui suit :

• Utilisez un type d'instance plus grand. SageMaker Clarifiez les requêtes répétées sur le modèle, et une instance plus grande peut réduire considérablement le temps de calcul. Pour obtenir la liste des instances disponibles, leur taille de mémoire, leur bande passante et d'autres informations sur les performances, consultez Amazon SageMaker Pricing.

• Ajoutez d'autres instances. SageMaker Clarify peut utiliser plusieurs instances pour expliquer plusieurs points de données d'entrée en parallèle. Pour activer le calcul parallèle, définissez instance_count sur une valeur supérieure à 1 lorsque vous appelez SageMakerClarifyProcessor. Pour plus d’informations, consultez Comment exécuter des tâches de traitement parallèles SageMaker Clarify. Si vous augmentez le nombre d'instances, surveillez les performances de votre point de terminaison pour vérifier qu'il peut déployer la charge accrue. Pour plus d’informations, consultez Capture des données à partir du point de terminaison en temps réel.

• Si vous calculez des valeurs SHapley Additive exPlanations (SHAP), réduisez le paramètre num_samples dans votre fichier de configuration d'analyse. Le nombre d'échantillons a une incidence directe sur les éléments suivants :

  • La taille des jeux de données synthétiques envoyés à votre point de terminaison

  • La durée d'exécution de la tâche

  La réduction du nombre d'échantillons peut également entraîner une diminution de la précision de l'estimation des valeurs SHAP. Pour plus d’informations, consultez Configurer l'analyse.

La tâche de traitement se termine sans résultat et vous recevez un message CloudWatch d'avertissement

Si le traitement se termine mais qu'aucun résultat n'est trouvé, les CloudWatch journaux produisent un message d'avertissement indiquant que Signal 15 reçu, nettoyage en cours. Cet avertissement indique que la tâche a été arrêtée soit parce qu'une demande du client a appelé l'StopProcessingJobAPI, soit parce que la tâche a dépassé le délai imparti pour son achèvement. Dans ce dernier cas, vérifiez la durée d'exécution maximale dans la configuration de la tâche (max_runtime_in_seconds) et augmentez-la selon les besoins.

Message d'erreur signalant une configuration d'analyse non valide

• Si le message d'erreur Unable to load analysis configuration as JSON apparaît, cela signifie que le fichier d'entrée de configuration d'analyse pour la tâche de traitement ne contient pas un objet JSON valide. Vérifiez la validité de l'objet JSON à l'aide d'un linter JSON.

• Si le message d'erreur Analysis configuration schema validation error apparaît, cela signifie que le fichier d'entrée de configuration d'analyse pour la tâche de traitement contient des champs inconnus ou des types non valides pour certaines valeurs de champ. Passez en revue les paramètres de configuration dans le fichier et vérifiez-les par rapport aux paramètres répertoriés dans le fichier de configuration d'analyse. Pour plus d’informations, consultez Configurer l'analyse.

Le calcul des métriques de biais échoue pour plusieurs métriques ou pour la totalité des métriques

Si vous recevez l'un des messages d'erreur suivants : No Label values are present in the predicted Label Column, Positive Predicted Index Series contains all False values ou Predicted Label Column series data type is not the same as Label Column series, essayez ce qui suit :

• Vérifiez que le jeu de données utilisé est correct.

• Vérifiez si la taille du jeu de données est trop petite ; par exemple, elle ne contient que quelques lignes. Cela peut conduire à ce que les sorties du modèle aient la même valeur ou que le type de données soit inféré de façon incorrecte.

• Vérifiez si l'étiquette ou la facette est traitée comme continue ou catégorique. SageMaker Clarify utilise l'heuristique pour déterminer le DataType. Pour les mesures de biais post-entraînement, le type de données renvoyé par le modèle peut ne pas correspondre à celui du jeu de données ou SageMaker Clarify peut ne pas être en mesure de le transformer correctement.

  • Le rapport de biais doit indiquer une valeur unique pour les colonnes catégoriques ou un intervalle pour les colonnes continues.

  • Par exemple, si 0.0 et 1.0 sont les valeurs flottantes d'une colonne, cette dernière sera traitée comme étant continue même si le nombre de valeurs uniques est faible.

Inadéquation entre la configuration de l'analyse et l'entrée/sortie des données/du modèle

• Vérifiez que le format de ligne de référence dans la configuration de l'analyse est identique au format du jeu de données.

• Si vour recevez le message d'erreur Could not convert string to float, vérifiez que le format est correctement spécifié. Il pourrait également indiquer que le format des prévisions du modèle est différent de celui de la colonne d'étiquette, ou que la configuration de l'étiquette ou des probabilités est incorrecte.

• Si vous recevez le message d'erreur Unable to locate the facet, Headers must contain label, Headers in config do not match with the number of columns in the dataset ou Feature names not found, vérifiez que les en-têtes correspondent aux colonnes.

• Si vous recevez le message d'erreur Data must contain features, vérifiez le modèle de contenu pour JSON Lines et comparez-le à l'exemple de jeu de données, si disponible.

Le modèle renvoie « 500 Internal Server Error (500 Erreur de serveur interne) » ou le conteneur revient aux prédictions par enregistrement en raison d'une erreur de modèle

Si vous recevez le message d'erreur Fallback to per-record prediction because of model error, cela peut indiquer que le modèle ne peut pas gérer la taille du lot, ou qu'il est limité, ou qu'il n'accepte tout simplement pas l'entrée transmise par le conteneur en raison de problèmes de sérialisation. Vous devez consulter les CloudWatch journaux du point de SageMaker terminaison et rechercher les messages d'erreur ou les retraçages. Dans les cas de limitation de modèle, il peut être utile d'utiliser un type d'instance différent ou d'augmenter le nombre d'instances pour le point de terminaison.

Rôle d'exécution non valide

Cela indique que le rôle fourni est incorrect ou ne dispose pas des autorisations requises. Vérifiez le rôle et les autorisations y afférant, qui ont été utilisés pour configurer la tâche de traitement, et vérifiez la politique d'autorisation et d'approbation pour le rôle.

Échec du téléchargement des données

Cela indique que les entrées de tâche n'ont pas pu être téléchargées pour démarrer la tâche. Vérifiez le nom du compartiment, ainsi que les autorisations pour le jeu de données et les entrées de configuration.

Impossible de se connecter à SageMaker

Cela indique que la tâche n'a pas pu atteindre les points de terminaison SageMaker du service. Vérifiez les paramètres de configuration réseau pour la tâche de traitement et vérifiez la configuration du cloud privé virtuel (VPC).