Utilisation de la magie du workbench Neptune dans les blocs-notes

Le workbench Neptune fournit diverses commandes dites magiques dans les blocs-notes, qui permettent d'économiser beaucoup de temps et d'efforts. Elles se répartissent en deux catégories : la magie linéaire et la magie cellulaire.

La magie linéaire implique des commandes précédées d'un signe de pourcentage (%). Elles n'acceptent que des entrées de ligne, et non des entrées provenant du reste du corps des cellules. Le workbench Neptune fournit la magie linéaire suivante :

• %seed

• %load

• %load_ids

• %load_status

• %cancel_load

• %status

• %gremlin_status

• %opencypher_status ou %oc_status

• %stream_viewer

• %sparql_status

• %graph_notebook_config

• %graph_notebook_host

• %graph_notebook_version

• %graph_notebook_vis_options

• %statistics

• %summary

La magie cellulaire implique des commandes précédées de deux signes de pourcentahe (%%) au lieu d'un seul. Elle utilise le contenu de la cellule comme entrée, bien qu'elle accepte également le contenu de la ligne comme entrée. Le workbench Neptune fournit la magie cellulaire suivante :

• %%sparql

• %%gremlin

• %%opencypher ou %%oc

• %%graph_notebook_config

• %%graph_notebook_vis_options

Il existe également deux formes de magie, une magie linéaire et une magie cellulaire, pour travailler avec Machine learning Neptune :

• %neptune_ml

• %%neptune_ml

Note

Lorsque vous travaillez avec les commandes magiques Neptune, vous pouvez généralement obtenir un texte d'aide à l'aide d'un paramètre --help ou -h. Avec la magie cellulaire, le corps ne peut pas être vide. Ainsi, lorsque vous souhaitez obtenir de l'aide, insérez du texte de remplissage, ne serait-ce qu'un seul caractère, dans le corps. Par exemple :

%%gremlin --help
  x

Injection de variable dans la magie linéaire ou cellulaire

Les variables définies dans un bloc-notes peuvent être référencées dans n'importe quelle magie linéaire ou cellulaire du bloc-notes avec le format ${VAR_NAME}.

Par exemple, supposons que vous définissiez les variables suivantes :

c = 'code'
my_edge_labels = '{"route":"dist"}'

Puis, cette requête Gremlin dans une magie cellulaire :

%%gremlin -de $my_edge_labels
g.V().has('${c}','SAF').out('route').values('${c}')

Équivaut à :

%%gremlin -de {"route":"dist"}
g.V().has('code','SAF').out('route').values('code')

Arguments de requête compatibles avec tous les langages de requête

Les arguments de requête suivants fonctionnent avec les commandes magiques %%gremlin, %%opencypher et %%sparql dans le workbench Neptune :

Arguments de requête courants

• --store-to (ou -s) : spécifie le nom d'une variable dans laquelle stocker les résultats de la requête.

• --silent : s'il est présent, aucun résultat n'est affiché une fois la requête terminée.

• --group-by (ou -g) : spécifie la propriété utilisée pour regrouper les nœuds (telle que code ou T.region). Les sommets sont colorés en fonction du groupe qui leur est attribué.

• --ignore-groups : s'il est présent, toutes les options de regroupement sont ignorées.

• --display-property (ou -d) : spécifie la propriété dont la valeur doit être affichée pour chaque sommet.

  La valeur par défaut pour chaque langage de requête est la suivante :

  • Pour Gremlin : T.label.

  • Pour openCypher : ~labels.

  • Pour SPARQL : type.

• --edge-display-property (ou -t) : spécifie la propriété dont la valeur doit être affichée pour chaque arête.

  La valeur par défaut pour chaque langage de requête est la suivante :

  • Pour Gremlin : T.label.

  • Pour openCypher : ~labels.

  • Pour SPARQL : type.

• --tooltip-property (ou -de) : spécifie une propriété dont la valeur doit être affichée sous forme d'infobulle pour chaque nœud.

  La valeur par défaut pour chaque langage de requête est la suivante :

  • Pour Gremlin : T.label.

  • Pour openCypher : ~labels.

  • Pour SPARQL : type.

• --edge-tooltip-property (ou -te) : spécifie une propriété dont la valeur doit être affichée sous forme d'infobulle pour chaque arête.

  La valeur par défaut pour chaque langage de requête est la suivante :

  • Pour Gremlin : T.label.

  • Pour openCypher : ~labels.

  • Pour SPARQL : type.

• --label-max-length (ou -l) : spécifie la longueur maximale de caractères d'une étiquette de sommet. La valeur par défaut est 10.

• --edge-label-max-length (ou -le) : spécifie la longueur maximale de caractères d'une étiquette d'arête. La valeur par défaut est 10.

  Dans le cas d'openCypher uniquement, --rel-label-max-length ou -rel est utilisé à la place.

• --simulation-duration (ou -sd) : spécifie la durée maximale de la simulation de la physique de visualisation. La valeur par défaut est 1 500 ms.

• --stop-physics (ou -sp) : désactive la physique de visualisation une fois la simulation initiale stabilisée.

Les valeurs de propriété de ces arguments peuvent consister en une clé de propriété unique ou en une chaîne JSON qui peut spécifier une propriété différente pour chaque type d'étiquette. Une chaîne JSON ne peut être spécifiée qu'à l'aide de l'injection de variables.

La magie linéaire %seed

La magie linéaire %seed est un moyen pratique d'ajouter des données au point de terminaison Neptune. Vous pouvez l'utiliser pour explorer et expérimenter des requêtes avec Gremlin, openCypher ou SPARQL. Elle fournit un formulaire dans lequel vous pouvez sélectionner le modèle de données que vous souhaitez explorer (graphe de propriétés ou RDF), puis choisir parmi un certain nombre d'exemples de jeux de données fournis par Neptune.

La magie linéaire %load

La magie linéaire %load génère un formulaire que vous pouvez utiliser pour soumettre une demande de chargement en bloc à Neptune (voir Commande de chargeur Neptune). La source doit être un chemin d'accès Amazon S3 dans la même région que le cluster Neptune.

La magie linéaire %load_ids

La magie linéaire %load_ids récupère les identifiants de chargement qui ont été soumis au point de terminaison hôte du bloc-notes (voir Paramètres de demande Neptune Loader Get-Status). La demande prend la forme suivante :

GET https://your-neptune-endpoint:port/loader

La magie linéaire %load_status

La magie linéaire %load_status permet de récupérer le statut d'une tâche de chargement particulière qui a été soumise au point de terminaison hôte du bloc-notes, spécifié par la l'entrée de ligne (voir Paramètres de demande Neptune Loader Get-Status). La demande prend la forme suivante :

GET https://your-neptune-endpoint:port/loader?loadId=loadId

La magie linéaire ressemble à ceci :

%load_status load id

La magie linéaire %cancel_load

La magie linéaire %cancel_load annule une tâche de chargement particulière (voir Tâche d'annulation du chargeur Neptune). La demande prend la forme suivante :

DELETE https://your-neptune-endpoint:port/loader?loadId=loadId

La magie linéaire ressemble à ceci :

%cancel_load load id

La magie linéaire %status

Récupère les informations de statut du point de terminaison hôte du bloc-notes (%graph_notebook_config affiche le point de terminaison hôte).

La magie linéaire %gremlin_status

Récupère les informations relatives au statut des requête Gremlin.

Magie linéaire %opencypher_status (%oc_status également)

Récupère le statut d'une requête openCypher. Cette magie linéaire accepte les arguments facultatifs suivants :

• --queryId ou -q : spécifie l'ID d'une requête spécifique en cours d'exécution dont le statut doit être affiché.

• --cancel_query ou -c : annuler une requête en cours d'exécution. N'utilise aucune valeur.

• --silent ou -s : si --silent est défini sur true lors de l'annulation d'une requête, la requête en cours est annulée avec le code de réponse HTTP 200. Dans le cas contraire, le code de réponse HTTP est 500.

• --store-to : spécifie le nom d'une variable dans laquelle stocker les résultats de la requête.

La magie linéaire %sparql_status

Récupère les informations relatives au statut des requêtes SPARQL.

La magie linéaire %stream_viewer

La magie linéaire %stream_viewer affiche une interface qui permet d'explorer de manière interactive les entrées journalisées dans les flux Neptune, si les flux sont activés sur le cluster Neptune. Les arguments facultatifs suivants sont acceptés :

• language : langage de requête des données du flux (gremlin ou sparql). Si vous ne fournissez pas cet argument, la valeur par défaut est gremlin.

• --limit : spécifie le nombre maximal d'entrées de flux à afficher par page. Si vous ne fournissez pas cet argument, la valeur par défaut est 10.

Note

La magie linéaire %stream_viewer n'est entièrement prise en charge que sur les versions 1.0.5.1 et antérieures du moteur.

La magie linéaire %graph_notebook_config

Cette magie linéaire affiche un objet JSON contenant la configuration utilisée par le bloc-notes pour communiquer avec Neptune. La configuration inclut :

• host : point de terminaison auquel se connecter et vers lequel émettre des commandes.

• port : port utilisé lors de l'envoi de commandes à Neptune. L’argument par défaut est 8182.

• auth_mode : mode d'authentification à utiliser lors de l'envoi de commandes à Neptune. Doit être IAM en cas de connexion à un cluster sur lequel l'authentification IAM est activée. DEFAULT, dans le cas contraire.

• load_from_s3_arn : spécifie un ARN Amazon S3 à utiliser par la magie %load. Si cette valeur est vide, l'ARN doit être spécifié dans la commande %load.

• ssl : valeur booléenne indiquant la connexion à Neptune à l'aide du protocole TLS ou non. La valeur par défaut est true.

• aws_region : région dans laquelle ce bloc-notes est déployé. Ces informations sont utilisées pour l'authentification IAM et pour les demandes %load.

Vous pouvez modifier la configuration en copiant la sortie %graph_notebook_config dans une nouvelle cellule et en y apportant des modifications. Ensuite, si vous exécutez la magie cellulaire %%graph_notebook_config au niveau de la nouvelle cellule, la configuration sera modifiée en conséquence.

La magie linéaire %graph_notebook_host

Définit l'entrée de ligne comme hôte du bloc-notes.

La magie linéaire %graph_notebook_version

La magie linéaire %graph_notebook_version renvoie le numéro de version du bloc-notes du workbench Neptune. Par exemple, la visualisation de graphes a été introduite dans la version 1.27.

La magie linéaire %graph_notebook_vis_options

La magie linéaire %graph_notebook_vis_options affiche les paramètres de visualisation actuels utilisés par le bloc-notes. Ces options sont expliquées dans la documentation du fichier vis.js.

Vous pouvez modifier ces paramètres en copiant la sortie dans une nouvelle cellule, en apportant les modifications souhaitées, puis en exécutant la magie cellulaire %%graph_notebook_vis_options au niveau de la cellule.

Pour restaurer les valeurs par défaut des paramètres de visualisation, vous pouvez exécuter la magie linéaire %graph_notebook_vis_options avec un paramètre reset. Tous les paramètres de visualisation sont ainsi réinitialisés :

%graph_notebook_vis_options reset

La magie linéaire %statistics

La magie linéaire %statistics est utilisée pour récupérer ou gérer les statistiques du moteur DFE (voir Gestion des statistiques à utiliser par le DFE Neptune). Cette magie peut également être utilisée pour récupérer un résumé de graphe.

Les paramètres suivants sont acceptés :

• --language : langage de requête du point de terminaison des statistiques : propertygraph (ou pg) ou rdf.

  Si ce paramètre n'est fourni, la valeur par défaut est propertygraph.

• --mode (ou -m) : spécifie le type de demande ou d'action à soumettre (status, disableAutoCompute, enableAutoCompute, refresh, delete, detailed ou basic).

  Si cet argument n'est pas fourni, la valeur par défaut est status, sauf si --summary est spécifie, auquel cas la valeur par défaut est basic.

• --summary : récupère le résumé du graphe depuis le point de terminaison de résumé des statistiques correspondant au langage sélectionné.

• --silent : s'il est présent, aucun résultat n'est affiché une fois la requête terminée.

• --store-to : utilisé pour spécifier une variable dans laquelle stocker les résultats de la requête.

La magie linéaire %summary

La magie linéaire %summary est utilisée pour récupérer les informations de résumé de graphe. Elle est disponible à partir de la version 1.2.1.0 du moteur Neptune.

Les paramètres suivants sont acceptés :

• --language : langage de requête du point de terminaison des statistiques : propertygraph (ou pg) ou rdf.

  Si ce paramètre n'est fourni, la valeur par défaut est propertygraph.

• --detailed : active ou désactive l'affichage des champs de structures dans la sortie.

  Si cet argument n'est pas fourni, le mode d'affichage de résumé basic est le mode par défaut.

• --silent : s'il est présent, aucun résultat n'est affiché une fois la requête terminée.

• --store-to : utilisé pour spécifier une variable dans laquelle stocker les résultats de la requête.

La magie cellulaire %%graph_notebook_config

La magie cellulaire %%graph_notebook_config utilise un objet JSON contenant des informations de configuration pour modifier les paramètres utilisés par le bloc-notes pour communiquer avec Neptune, si possible. La configuration prend la même forme que celle renvoyée par la magie linéaire %graph_notebook_config.

Par exemple :

%%graph_notebook_config
{
  "host": "my-new-cluster-endpoint.amazon.com",
  "port": 8182,
  "auth_mode": "DEFAULT",
  "load_from_s3_arn": "",
  "ssl": true,
  "aws_region": "us-east-1"
}

La magie cellulaire %%sparql

La magie cellulaire %%sparql envoie une requête SPARQL au point de terminaison Neptune. Elle accepte l'entrée de ligne facultative suivante :

• -h ou --help : renvoie un texte d'aide concernant ces paramètres.

• --path : ajoute un préfixe à un chemin d'accès au point de terminaison SPARQL. Par exemple, si vous spécifiez --path "abc/def", le point de terminaison appelé est host:port/abc/def.

• --expand-all : indicateur de visualisation des requêtes qui indique au visualiseur d'inclure tous les résultats ?s ?p ?o dans le schéma du graphe, quel que soit le type de liaison.

  Par défaut, une visualisation SPARQL inclut uniquement des modèles triples où o? est un uri ou un nœud vide (bnode). Tous les autres types de liaison ?o, tels que les chaînes littérales ou les entiers, sont traités comme des propriétés du nœud ?s qui peuvent être visualisées dans le volet Details (Détails) de l'onglet Graph (Graphe).

  Utilisez l'indicateur de requête --expand-all lorsque vous souhaitez plutôt inclure des valeurs littérales telles que des sommets dans la visualisation.

  Ne combinez pas cet indicateur de visualisation avec les paramètres explain, car les requêtes explain ne sont pas visualisées.

• --explain-type : utilisé pour spécifier le mode explain à utiliser (dynamic, static ou details).

• --explain-format : utilisé pour spécifier le format de réponse pour une requête explain (text/csv ou text/html).

• --store-to : utilisé pour spécifier une variable dans laquelle stocker les résultats de la requête.

Exemple de requête explain :

%%sparql explain

SELECT * WHERE {?s ?p ?o} LIMIT 10

Exemple de requête de visualisation avec un indicateur de requête de visualisation --expand-all (voir Visualisation SPARQL) :

%%sparql --expand-all

SELECT * WHERE {?s ?p ?o} LIMIT 10

La magie cellulaire %%gremlin

La magie %%gremlin cellulaire envoie une requête Gremlin au point de terminaison Neptune à l'aide de. WebSocket Elle accepte une entrée de ligne facultative pour passer en mode Gremlin explain /> ou API Gremlin profile, ainsi qu'une entrée d'indicateur de visualisation facultative séparée pour modifier le comportement de sortie de visualisation (voir Visualisation Gremlin).

Exemple de requête explain :

%%gremlin explain

g.V().limit(10)

Exemple de requête profile :

%%gremlin profile

g.V().limit(10)

Exemple de requête de visualisation avec un indicateur de requête de visualisation :

%%gremlin -p v,outv

g.V().out().limit(10)

Paramètres facultatifs pour les requêtes %%gremlin profile

• --chop : spécifie la longueur maximale de la chaîne de résultats de la fonctionnalité profile. La valeur par défaut si vous ne fournissez pas cet argument est 250.

• --serializer : spécifie le sérialiseur à utiliser pour les résultats. Les valeurs autorisées sont toutes les valeurs d'énumération valides du type MIME ou TinkerPop du pilote « Serializers ». La valeur par défaut si vous ne fournissez pas cet argument est application.json.

• --no-results : affiche uniquement le nombre de résultats. Si cet argument n'est pas utilisé, tous les résultats de la requête sont affichés par défaut dans le rapport de la fonctionnalité profile.

• --indexOps : affiche un rapport détaillé de toutes les opérations d'indexation.

Magie cellulaire %%opencypher (%%oc également)

La magie cellulaire %%opencypher (qui a également une forme %%oc abrégée) envoie une requête openCypher au point de terminaison Neptune. Elle accepte les arguments d'entrée de ligne facultatifs suivants :

• mode : mode de requête (query ou bolt). La valeur par défaut si vous ne fournissez pas cet argument est query.

• --group-by ou -g : spécifie la propriété utilisée pour regrouper les nœuds. Par exemple, code, ~id. La valeur par défaut si vous ne fournissez pas cet argument est ~labels.

• --ignore-groups : s'il est présent, toutes les options de regroupement sont ignorées.

• --display-propery ou -d : spécifie la propriété dont la valeur doit être affichée pour chaque sommet. La valeur par défaut si vous ne fournissez pas cet argument est ~labels.

• --edge-display-propery ou -de : spécifie la propriété dont la valeur doit être affichée pour chaque arête. La valeur par défaut si vous ne fournissez pas cet argument est ~labels.

• --label-max-length ou -l : spécifie le nombre maximal de caractères d'une étiquette de sommet à afficher. La valeur par défaut si vous ne fournissez pas cet argument est 10.

• --store-to ou -s : spécifie le nom d'une variable dans laquelle stocker les résultats de la requête.

• --plan-cache ou -pc : spécifie le mode de cache du plan à utiliser. La valeur par défaut estauto. (*plan-cache n'est disponible que pour Neptune Analytics)

• --query-timeout ou -qt : spécifie le délai d’expiration maximal des requêtes en millisecondes. La valeur par défaut est 1800000.

• --query-parameters ou qp : Définitions de paramètres à appliquer à la requête. Cette option peut accepter un nom de variable unique ou une représentation sous forme de chaîne de la carte.

  Exemple d’utilisation de --query-parameters

  1. Définissez une carte des paramètres openCypher dans une cellule du bloc-notes.

     params = '''{
      "name":"john",
      "age": 20,
     }'''

  2. Transmettez les paramètres --query-parameters dans une autre cellule avec %%oc.

     %%oc --query-parameters params
     
     MATCH (n {name: $name, age: $age}) 
     RETURN n

• --explain-type — Utilisé pour spécifier le mode d'explication à utiliser (dynamique, statique ou détaillé).

La magie cellulaire %%graph_notebook_vis_options

La magie cellulaire %%graph_notebook_vis_options vous permet de définir les options de visualisation du bloc-notes. Vous pouvez copier les paramètres renvoyés par la magie linéaire %graph-notebook-vis-options dans une nouvelle cellule, les modifier et utiliser la magie cellulaire %%graph_notebook_vis_options pour définir de nouvelles valeurs.

Ces options sont expliquées dans la documentation du fichier vis.js.

Pour restaurer les valeurs par défaut des paramètres de visualisation, vous pouvez exécuter la magie linéaire %graph_notebook_vis_options avec un paramètre reset. Tous les paramètres de visualisation sont ainsi réinitialisés :

%graph_notebook_vis_options reset

La magie linéaire %neptune_ml

Vous pouvez utiliser la magie linéaire %neptune_ml pour lancer et gérer diverses opérations Neptune ML.

Note

Vous pouvez également lancer et gérer certaines opérations Neptune ML à l'aide de la magie cellulaire %%neptune_ml.

• %neptune_ml export start : démarre une nouvelle tâche d'exportation.

  Paramètres

  • --export-url exporter-endpoint : (facultatif) point de terminaison Amazon API Gateway où l'exportateur peut être appelé.

  • --export-iam : (facultatif) indicateur signalant que les demandes adressées à l'URL d'exportation doivent être signées à l'aide de SigV4.

  • --export-no-ssl : (facultatif) indicateur signalant que le protocole SSL ne doit pas être utilisé lors de la connexion à l'exportateur.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin de l'exportation.

  • --wait-intervalinterval-to-wait— (facultatif) Définit le délai, en secondes, entre les vérifications du statut d'exportation (par défaut : 60).

  • --wait-timeout timeout-seconds : (facultatif) définit le temps, en secondes, à attendre pour que la tâche d'exportation soit terminée avant de renvoyer le statut le plus récent (par défaut : 3 600).

  • --store-tolocation-to-store-result— (facultatif) Variable dans laquelle stocker le résultat de l'exportation. Si --wait est spécifié, le statut final y sera enregistré.

• %neptune_ml export status : récupère le statut d'une tâche d'exportation.

  Paramètres

  • --job-id ID de la tâche d'exportation : ID de la tâche d'exportation dont le statut doit être récupéré.

  • --export-url exporter-endpoint : (facultatif) point de terminaison Amazon API Gateway où l'exportateur peut être appelé.

  • --export-iam : (facultatif) indicateur signalant que les demandes adressées à l'URL d'exportation doivent être signées à l'aide de SigV4.

  • --export-no-ssl : (facultatif) indicateur signalant que le protocole SSL ne doit pas être utilisé lors de la connexion à l'exportateur.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin de l'exportation.

  • --wait-intervalinterval-to-wait— (facultatif) Définit le délai, en secondes, entre les vérifications du statut d'exportation (par défaut : 60).

  • --wait-timeout timeout-seconds : (facultatif) définit le temps, en secondes, à attendre pour que la tâche d'exportation soit terminée avant de renvoyer le statut le plus récent (par défaut : 3 600).

  • --store-tolocation-to-store-result— (facultatif) Variable dans laquelle stocker le résultat de l'exportation. Si --wait est spécifié, le statut final y sera enregistré.

• %neptune_ml dataprocessing start : lance l'étape de traitement des données Neptune ML.

  Paramètres

  • --job-id ID pour cette tâche : (facultatif) ID à attribuer à cette tâche.

  • --s3-input-uri URI S3 : (facultatif) URI S3 au niveau duquel l'entrée pour cette tâche de traitement de données doit être trouvée.

  • --config-file-name nom de fichier : (facultatif) nom du fichier de configuration pour cette tâche de traitement de données.

  • --store-tolocation-to-store-result— (facultatif) La variable dans laquelle stocker le résultat du traitement des données.

  • --instance-type (type d'instance) : (facultatif) taille d'instance à utiliser pour cette tâche de traitement de données.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin du traitement des données.

  • --wait-intervalinterval-to-wait— (facultatif) Définit le délai, en secondes, entre les vérifications de l'état du traitement des données (par défaut : 60).

  • --wait-timeout timeout-seconds : (facultatif) définit le temps, en secondes, à attendre pour que la tâche de traitement des données soit terminée avant de renvoyer le statut le plus récent (par défaut : 3 600).

• %neptune_ml dataprocessing status : récupère le statut d'une tâche de traitement de données.

  Paramètres

  • --job-id ID de la tâche : ID de la tâche dont le statut doit être récupéré.

  • --store-to type d'instance : (facultatif) variable dans laquelle stocker le résultat de l'entraînement du modèle.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin de l'entraînement du modèle.

  • --wait-intervalinterval-to-wait— (facultatif) Définit le délai, en secondes, entre les vérifications de l'état d'entraînement du modèle (par défaut : 60).

  • --wait-timeout timeout-seconds : (facultatif) définit le temps, en secondes, à attendre pour que la tâche de traitement des données soit terminée avant de renvoyer le statut le plus récent (par défaut : 3 600).

• %neptune_ml training start : démarre le processus d'entraînement du modèle Neptune ML.

  Paramètres

  • --job-id ID pour cette tâche : (facultatif) ID à attribuer à cette tâche.

  • --data-processing-id ID de tâche de traitement de données : (facultatif) ID de la tâche de traitement de données qui a créé les artefacts à utiliser pour l'entraînement.

  • --s3-output-uriURI S3 : (facultatif) URI S3 au niveau duquel le résultat de cette tâche d'entraînement de modèle doit être stocké.

  • --instance-type (type d'instance) : (facultatif) taille d'instance à utiliser pour cette tâche d'entraînement du modèle.

  • --store-tolocation-to-store-result— (facultatif) Variable dans laquelle stocker le résultat de l'entraînement du modèle.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin de l'entraînement du modèle.

  • --wait-intervalinterval-to-wait— (facultatif) Définit le délai, en secondes, entre les vérifications de l'état d'entraînement du modèle (par défaut : 60).

  • --wait-timeout timeout-seconds : (facultatif) définit le temps, en secondes, à attendre pour que la tâche d'entraînement du modèle soit terminée avant de renvoyer le statut le plus récent (par défaut : 3 600).

• %neptune_ml training status : récupère le statut d'une tâche d'entraînement de modèle Neptune ML.

  Paramètres

  • --job-id ID de la tâche : ID de la tâche dont le statut doit être récupéré.

  • --store-to type d'instance : (facultatif) variable dans laquelle stocker le résultat de statut.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin de l'entraînement du modèle.

  • --wait-intervalinterval-to-wait— (facultatif) Définit le délai, en secondes, entre les vérifications de l'état d'entraînement du modèle (par défaut : 60).

  • --wait-timeout timeout-seconds : (facultatif) définit le temps, en secondes, à attendre pour que la tâche de traitement des données soit terminée avant de renvoyer le statut le plus récent (par défaut : 3 600).

• %neptune_ml endpoint create : crée un point de terminaison de requête pour un modèle Neptune ML.

  Paramètres

  • --job-id ID pour cette tâche : (facultatif) ID à attribuer à cette tâche.

  • --model-job-id ID de la tâche d'entraînement de modèle : (facultatif) ID de la tâche d'entraînement de modèle pour laquelle un point de terminaison de requête doit être créé.

  • --instance-type (type d'instance) : (facultatif) taille d'instance à utiliser pour le point de terminaison de requête.

  • --store-tolocation-to-store-result— (facultatif) Variable dans laquelle stocker le résultat de la création du point de terminaison.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin de la création du point de terminaison.

  • --wait-intervalinterval-to-wait— (facultatif) Définit le délai, en secondes, entre les vérifications de statut (par défaut : 60).

  • --wait-timeout timeout-seconds : (facultatif) définit le temps, en secondes, à attendre pour que la tâche de création du point de terminaison soit terminée avant de renvoyer le statut le plus récent (par défaut : 3 600).

• %neptune_ml endpoint status : récupère le statut d'un point de terminaison de requête Neptune ML.

  Paramètres

  • --job-id ID de création de point de terminaison : (facultatif) ID d'une tâche de création de point de terminaison dont le statut doit être signalé.

  • --store-tolocation-to-store-result— (facultatif) Variable dans laquelle stocker le résultat du statut.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin de la création du point de terminaison.

  • --wait-intervalinterval-to-wait— (facultatif) Définit le délai, en secondes, entre les vérifications de statut (par défaut : 60).

  • --wait-timeout timeout-seconds : (facultatif) définit le temps, en secondes, à attendre pour que la tâche de création du point de terminaison soit terminée avant de renvoyer le statut le plus récent (par défaut : 3 600).

La magie cellulaire %%neptune_ml

La magie cellulaire %%neptune_ml ignore les entrées de ligne telles que --job-id ou --export-url. Au lieu de cela, elle vous permet de fournir ces entrées et d'autres au sein du corps de la cellule.

Vous pouvez également enregistrer ces entrées dans une autre cellule, attribuée à une variable Jupyter, puis les injecter dans le corps de la cellule à l'aide de cette variable. De cette façon, vous pouvez utiliser ces entrées encore et encore sans avoir à les saisir à chaque fois.

Cela ne fonctionne que si la variable d'injection est le seul contenu de la cellule. Vous ne pouvez pas utiliser plusieurs variables dans une cellule ni une combinaison de texte et de variable.

Par exemple, la magie cellulaire %%neptune_ml export start peut consommer un document JSON dans le corps de la cellule qui contient tous les paramètres décrits dans Paramètres utilisés pour contrôler le processus d'exportation de Neptune.

Dans le bloc-notes Neptune-ML-01-Introduction-to-Node-Classification-Gremlin, sous Configuration des fonctionnalités de la section Exportation de la configuration des données et du modèle, vous pouvez voir comment la cellule suivante détient les paramètres d'exportation dans un document attribué à une variable Jupyter nommée export-params :

export_params = {
  "command": "export-pg",
  "params": {
    "endpoint": neptune_ml.get_host(),
    "profile": "neptune_ml",
    "useIamAuth": neptune_ml.get_iam(),
    "cloneCluster": False
   },
  "outputS3Path": f'{s3_bucket_uri}/neptune-export',
  "additionalParams": {
    "neptune_ml": {
      "targets": [
        {
          "node": "movie",
          "property": "genre"
        }
      ],
      "features": [
        {
          "node": "movie",
          "property": "title",
          "type": "word2vec"
        },
        {
          "node": "user",
          "property": "age",
          "type": "bucket_numerical",
          "range" : [1, 100],
          "num_buckets": 10
        }
      ]
    }
  },
  "jobSize": "medium"}

Lorsque vous exécutez cette cellule, Jupyter enregistre le document de paramètres sous ce nom. Ensuite, vous pouvez utiliser ${export_params} pour injecter le document JSON dans le corps d'une cellule %%neptune_ml export start cell, comme ceci :

%%neptune_ml export start --export-url {neptune_ml.get_export_service_host()} --export-iam --wait --store-to export_results

${export_params}

Formes disponibles de la magie cellulaire %%neptune_ml

La magie cellulaire %%neptune_ml peut être utilisée sous les formes suivantes :

• %%neptune_ml export start : lance un processus d'exportation Neptune ML.

• %%neptune_ml dataprocessing start : démarre une tâche de traitement de données Neptune ML.

• %%neptune_ml training start : démarre une tâche d'entraînement de modèle Neptune ML.

• %%neptune_ml endpoint create : crée un point de terminaison de requête Neptune ML pour un modèle.