Utilisation de la magie du workbench Neptune dans les blocs-notes

Le workbench Neptune fournit diverses commandes dites magiques dans les blocs-notes, qui permettent d'économiser beaucoup de temps et d'efforts. Elles se répartissent en deux catégories : la magie linéaire et la magie cellulaire.

La magie linéaire implique des commandes précédées d'un signe de pourcentage (%). Elles n'acceptent que des entrées de ligne, et non des entrées provenant du reste du corps des cellules. Le workbench Neptune fournit la magie linéaire suivante :

• %seed

• %load

• %load_ids

• %load_status

• %cancel_load

• %status

• %gremlin_status

• %opencypher_status ou %oc_status

• %stream_viewer

• %sparql_status

• %graph_notebook_config

• %graph_notebook_host

• %graph_notebook_version

• %graph_notebook_service

• %graph_notebook_vis_options

• %statistics

• %summary

• %reset_graph

• %get_graph

La magie cellulaire implique des commandes précédées de deux signes de pourcentahe (%%) au lieu d'un seul. Elle utilise le contenu de la cellule comme entrée, bien qu'elle accepte également le contenu de la ligne comme entrée. Le workbench Neptune fournit la magie cellulaire suivante :

• %%sparql

• %%gremlin

• %%opencypher ou %%oc

• %%graph_notebook_config

• %%graph_notebook_vis_options

Il existe également deux formes de magie, une magie linéaire et une magie cellulaire, pour travailler avec Machine learning Neptune :

• %neptune_ml

• %%neptune_ml

Note

Lorsque vous travaillez avec les commandes magiques Neptune, vous pouvez généralement obtenir un texte d'aide à l'aide d'un paramètre --help ou -h. Avec la magie cellulaire, le corps ne peut pas être vide. Ainsi, lorsque vous souhaitez obtenir de l'aide, insérez du texte de remplissage, ne serait-ce qu'un seul caractère, dans le corps. Par exemple :

%%gremlin --help
  x

Injection de variable dans la magie linéaire ou cellulaire

Les variables définies dans un bloc-notes peuvent être référencées dans n'importe quelle magie linéaire ou cellulaire du bloc-notes avec le format ${VAR_NAME}.

Par exemple, supposons que vous définissiez les variables suivantes :

c = 'code'
my_edge_labels = '{"route":"dist"}'

Puis, cette requête Gremlin dans une magie cellulaire :

%%gremlin -de $my_edge_labels
g.V().has('${c}','SAF').out('route').values('${c}')

Équivaut à :

%%gremlin -de {"route":"dist"}
g.V().has('code','SAF').out('route').values('code')

Arguments de requête compatibles avec tous les langages de requête

Les arguments de requête suivants fonctionnent avec les commandes magiques %%gremlin, %%opencypher et %%sparql dans le workbench Neptune :

Arguments de requête courants

• --store-to (ou -s) : spécifie le nom d'une variable dans laquelle stocker les résultats de la requête.

• --silent : s'il est présent, aucun résultat n'est affiché une fois la requête terminée.

• --group-by (ou -g) : spécifie la propriété utilisée pour regrouper les nœuds (telle que code ou T.region). Les sommets sont colorés en fonction du groupe qui leur est attribué.

• --ignore-groups : s'il est présent, toutes les options de regroupement sont ignorées.

• --display-property (ou -d) : spécifie la propriété dont la valeur doit être affichée pour chaque sommet.

  La valeur par défaut pour chaque langage de requête est la suivante :

  • Pour Gremlin : T.label.

  • Pour openCypher :~labels.

  • Pour SPARQL :type.

• --edge-display-property (ou -t) : spécifie la propriété dont la valeur doit être affichée pour chaque arête.

  La valeur par défaut pour chaque langage de requête est la suivante :

  • Pour Gremlin : T.label.

  • Pour openCypher :~labels.

  • Pour SPARQL :type.

• --tooltip-property (ou -de) : spécifie une propriété dont la valeur doit être affichée sous forme d'infobulle pour chaque nœud.

  La valeur par défaut pour chaque langage de requête est la suivante :

  • Pour Gremlin : T.label.

  • Pour openCypher :~labels.

  • Pour SPARQL :type.

• --edge-tooltip-property (ou -te) : spécifie une propriété dont la valeur doit être affichée sous forme d'infobulle pour chaque arête.

  La valeur par défaut pour chaque langage de requête est la suivante :

  • Pour Gremlin : T.label.

  • Pour openCypher :~labels.

  • Pour SPARQL :type.

• --label-max-length (ou -l) : spécifie la longueur maximale de caractères d'une étiquette de sommet. La valeur par défaut est 10.

• --edge-label-max-length (ou -le) : spécifie la longueur maximale de caractères d'une étiquette d'arête. La valeur par défaut est 10.

  Dans le cas de openCypher seulement, c'est --rel-label-max-length ou -rel plutôt.

• --simulation-duration (ou -sd) : spécifie la durée maximale de la simulation de la physique de visualisation. La valeur par défaut est 1 500 ms.

• --stop-physics (ou -sp) : désactive la physique de visualisation une fois la simulation initiale stabilisée.

Les valeurs de propriété de ces arguments peuvent consister en une clé de propriété unique ou en une JSON chaîne qui peut spécifier une propriété différente pour chaque type d'étiquette. Une JSON chaîne ne peut être spécifiée qu'à l'aide de l'injection de variables.

La magie linéaire %seed

La magie des %seed lignes est un moyen pratique d'ajouter des données à votre point de terminaison Neptune, que vous pouvez utiliser pour explorer et expérimenter avec Gremlin ou des requêtesopenCypher. SPARQL Il fournit un formulaire dans lequel vous pouvez sélectionner le modèle de données que vous souhaitez explorer (graphe de propriétés ouRDF), puis choisir parmi un certain nombre d'exemples de jeux de données fournis par Neptune.

La magie linéaire %load

La magie linéaire %load génère un formulaire que vous pouvez utiliser pour soumettre une demande de chargement en bloc à Neptune (voir Commande de chargeur Neptune). La source doit être un chemin d'accès Amazon S3 dans la même région que le cluster Neptune.

La magie linéaire %load_ids

La magie linéaire %load_ids récupère les identifiants de chargement qui ont été soumis au point de terminaison hôte du bloc-notes (voir Paramètres de demande Neptune Loader Get-Status). La demande prend la forme suivante :

GET https://your-neptune-endpoint:port/loader

La magie linéaire %load_status

La magie linéaire %load_status permet de récupérer le statut d'une tâche de chargement particulière qui a été soumise au point de terminaison hôte du bloc-notes, spécifié par la l'entrée de ligne (voir Paramètres de demande Neptune Loader Get-Status). La demande prend la forme suivante :

GET https://your-neptune-endpoint:port/loader?loadId=loadId

La magie linéaire ressemble à ceci :

%load_status load id

La magie linéaire %reset_graph

La magie de la ligne %reset_graph (ou%_graph_reset) exécute un ResetGraphappel sur le point de terminaison Neptune Analytics. Elle accepte l'entrée de ligne facultative suivante :

• -ns ou -- no-skip-snapshot - Le cas échéant, un instantané final du graphe sera créé avant que les données du graphe ne soient supprimées.

• --silent — S'il est présent, aucune sortie n'est affichée après l'envoi de l'appel de réinitialisation.

• --store-to — Utilisé pour spécifier une variable dans laquelle stocker la réponse. ResetGraph

La magie linéaire %cancel_load

La magie linéaire %cancel_load annule une tâche de chargement particulière (voir Tâche d'annulation du chargeur Neptune). La demande prend la forme suivante :

DELETE https://your-neptune-endpoint:port/loader?loadId=loadId

La magie linéaire ressemble à ceci :

%cancel_load load id

La magie linéaire %status

Récupère les informations de statut du point de terminaison hôte du bloc-notes (%graph_notebook_config affiche le point de terminaison hôte).

Pour les hôtes de base de données Neptune, les informations d'état seront extraites du point de terminaison de l'état de santé. Pour les hôtes de Neptune Analytics, le statut sera récupéré via le. GetGraph API Pour plus d’informations, consultez %get_graph.

La magie linéaire %get_graph

La magie des %get_graph lignes récupère des informations sur un graphique via le GetGraph API. Cette magie est fonctionnellement identique à celle %status utilisée avec Neptune Analytics.

La magie linéaire %gremlin_status

Récupère les informations relatives au statut des requête Gremlin.

Magie linéaire %opencypher_status (%oc_status également)

Récupère le statut d'une requête openCypher. Cette magie linéaire accepte les arguments facultatifs suivants :

• --queryId ou -q : spécifie l'ID d'une requête spécifique en cours d'exécution dont le statut doit être affiché.

• --cancelQuery ou -c : annuler une requête en cours d'exécution. N'utilise aucune valeur.

• --silent-cancelou -s— Si cette --silent valeur est définie sur true lors de l'annulation d'une requête, la requête en cours est annulée avec un code de HTTP réponse de200. Dans le cas contraire, le code de HTTP réponse serait500.

• --store-to : spécifie le nom d'une variable dans laquelle stocker les résultats de la requête.

• -w/--includeWaiting— Neptune DB uniquement. Lorsqu'il est défini sur true et que les autres paramètres ne sont pas présents, cela entraîne le renvoi des informations d'état pour les requêtes en attente ainsi que pour les requêtes en cours d'exécution. Ce paramètre n'est pas défini sur une valeur.

• --state— Neptune Analytics uniquement. Spécifie le sous-ensemble d'états de requête dont il faut récupérer le statut.

• -m/--maxResults— Neptune Analytics uniquement. Définit une limite supérieure pour l'ensemble de requêtes renvoyées correspondant à la valeur de--state.

• --silent : s'il est présent, aucun résultat n'est affiché une fois la requête terminée.

La magie linéaire %sparql_status

Récupère les informations relatives à l'état de la SPARQL requête.

La magie linéaire %stream_viewer

La magie linéaire %stream_viewer affiche une interface qui permet d'explorer de manière interactive les entrées journalisées dans les flux Neptune, si les flux sont activés sur le cluster Neptune. Les arguments facultatifs suivants sont acceptés :

• language : langage de requête des données du flux (gremlin ou sparql). Si vous ne fournissez pas cet argument, la valeur par défaut est gremlin.

• --limit : spécifie le nombre maximal d'entrées de flux à afficher par page. Si vous ne fournissez pas cet argument, la valeur par défaut est 10.

Note

La magie linéaire %stream_viewer n'est entièrement prise en charge que sur les versions 1.0.5.1 et antérieures du moteur.

La magie linéaire %graph_notebook_config

Cette magie linéaire affiche un JSON objet contenant la configuration utilisée par le bloc-notes pour communiquer avec Neptune. La configuration inclut :

• host : point de terminaison auquel se connecter et vers lequel émettre des commandes.

• port : port utilisé lors de l'envoi de commandes à Neptune. L’argument par défaut est 8182.

• auth_mode : mode d'authentification à utiliser lors de l'envoi de commandes à Neptune. Cela doit être le IAM cas si vous vous connectez à un cluster dont IAM l'authentification est activée, ou nonDEFAULT.

• load_from_s3_arn: Spécifie un Amazon S3 ARN pour la %load magie à utiliser. Si cette valeur est vide, elle ARN doit être spécifiée dans la %load commande.

• ssl: valeur booléenne indiquant s'il faut ou non se connecter à Neptune en utilisant. TLS La valeur par défaut est true.

• aws_region : région dans laquelle ce bloc-notes est déployé. Ces informations sont utilisées pour IAM l'authentification et pour les %load demandes.

Vous pouvez modifier la configuration en copiant la sortie %graph_notebook_config dans une nouvelle cellule et en y apportant des modifications. Ensuite, si vous exécutez la magie cellulaire %%graph_notebook_config au niveau de la nouvelle cellule, la configuration sera modifiée en conséquence.

La magie linéaire %graph_notebook_host

Définit l'entrée de ligne comme hôte du bloc-notes.

La magie linéaire %graph_notebook_version

La magie linéaire %graph_notebook_version renvoie le numéro de version du bloc-notes du workbench Neptune. Par exemple, la visualisation de graphes a été introduite dans la version 1.27.

La magie linéaire %graph_notebook_service

La magie des %graph_notebook_service lignes définit l'entrée de ligne comme nom de service utilisé pour les requêtes Neptune.

La magie linéaire %graph_notebook_vis_options

La magie linéaire %graph_notebook_vis_options affiche les paramètres de visualisation actuels utilisés par le bloc-notes. Ces options sont expliquées dans la documentation du fichier vis.js.

Vous pouvez modifier ces paramètres en copiant la sortie dans une nouvelle cellule, en apportant les modifications souhaitées, puis en exécutant la magie cellulaire %%graph_notebook_vis_options au niveau de la cellule.

Pour restaurer les valeurs par défaut des paramètres de visualisation, vous pouvez exécuter la magie linéaire %graph_notebook_vis_options avec un paramètre reset. Tous les paramètres de visualisation sont ainsi réinitialisés :

%graph_notebook_vis_options reset

La magie linéaire %statistics

La magie des %statistics lignes est utilisée pour récupérer ou gérer les statistiques DFE du moteur (voirGestion des statistiques destinées à être utilisées par le Neptune DFE). Cette magie peut également être utilisée pour récupérer un résumé de graphe.

Les paramètres suivants sont acceptés :

• --language : langage de requête du point de terminaison des statistiques : propertygraph (ou pg) ou rdf.

  Si ce paramètre n'est fourni, la valeur par défaut est propertygraph.

• --mode (ou -m) : spécifie le type de demande ou d'action à soumettre (status, disableAutoCompute, enableAutoCompute, refresh, delete, detailed ou basic).

  Si cet argument n'est pas fourni, la valeur par défaut est status, sauf si --summary est spécifie, auquel cas la valeur par défaut est basic.

• --summary : récupère le résumé du graphe depuis le point de terminaison de résumé des statistiques correspondant au langage sélectionné.

• --silent : s'il est présent, aucun résultat n'est affiché une fois la requête terminée.

• --store-to : utilisé pour spécifier une variable dans laquelle stocker les résultats de la requête.

La magie linéaire %summary

La magie linéaire %summary est utilisée pour récupérer les informations de résumé de graphe. Elle est disponible à partir de la version 1.2.1.0 du moteur Neptune.

Les paramètres suivants sont acceptés :

• --language : langage de requête du point de terminaison des statistiques : propertygraph (ou pg) ou rdf.

  Si ce paramètre n'est fourni, la valeur par défaut est propertygraph.

• --detailed : active ou désactive l'affichage des champs de structures dans la sortie.

  Si cet argument n'est pas fourni, le mode d'affichage de résumé basic est le mode par défaut.

• --silent : s'il est présent, aucun résultat n'est affiché une fois la requête terminée.

• --store-to : utilisé pour spécifier une variable dans laquelle stocker les résultats de la requête.

La magie cellulaire %%graph_notebook_config

La magie %%graph_notebook_config cellulaire utilise un JSON objet contenant des informations de configuration pour modifier les paramètres utilisés par le bloc-notes pour communiquer avec Neptune, si possible. La configuration prend la même forme que celle renvoyée par la magie linéaire %graph_notebook_config.

Par exemple :

%%graph_notebook_config
{
  "host": "my-new-cluster-endpoint.amazon.com",
  "port": 8182,
  "auth_mode": "DEFAULT",
  "load_from_s3_arn": "",
  "ssl": true,
  "aws_region": "us-east-1"
}

La magie cellulaire %%sparql

La magie %%sparql cellulaire envoie une SPARQL requête au point de terminaison Neptune. Elle accepte l'entrée de ligne facultative suivante :

• -h ou --help : renvoie un texte d'aide concernant ces paramètres.

• --path— Préfixe un chemin vers le SPARQL point de terminaison. Par exemple, si vous spécifiez --path "abc/def", le point de terminaison appelé est host:port/abc/def.

• --expand-all : indicateur de visualisation des requêtes qui indique au visualiseur d'inclure tous les résultats ?s ?p ?o dans le schéma du graphe, quel que soit le type de liaison.

  Par défaut, une SPARQL visualisation inclut uniquement des modèles triples où il o? s'agit d'un uri ou d'un bnode (nœud vide). Tous les autres types de liaison ?o, tels que les chaînes littérales ou les entiers, sont traités comme des propriétés du nœud ?s qui peuvent être visualisées dans le volet Details (Détails) de l'onglet Graph (Graphe).

  Utilisez l'indicateur de requête --expand-all lorsque vous souhaitez plutôt inclure des valeurs littérales telles que des sommets dans la visualisation.

  Ne combinez pas cet indicateur de visualisation avec les paramètres explain, car les requêtes explain ne sont pas visualisées.

• --explain-type : utilisé pour spécifier le mode explain à utiliser (dynamic, static ou details).

• --explain-format : utilisé pour spécifier le format de réponse pour une requête explain (text/csv ou text/html).

• --store-to : utilisé pour spécifier une variable dans laquelle stocker les résultats de la requête.

Exemple de requête explain :

%%sparql explain

SELECT * WHERE {?s ?p ?o} LIMIT 10

Exemple de requête de visualisation avec un indicateur de requête de visualisation --expand-all (voir Visualisation SPARQL) :

%%sparql --expand-all

SELECT * WHERE {?s ?p ?o} LIMIT 10

La magie cellulaire %%gremlin

La magie %%gremlin cellulaire envoie une requête G705 au point de terminaison Neptune à l'aide de. WebSocket Elle accepte une entrée de ligne facultative pour passer en mode Gremlin explain /> ou Gremlin profile API, ainsi qu'une entrée d'indicateur de visualisation facultative séparée pour modifier le comportement de sortie de visualisation (voir Visualisation Gremlin).

Exemple de requête explain :

%%gremlin explain

g.V().limit(10)

Exemple de requête profile :

%%gremlin profile

g.V().limit(10)

Exemple de requête de visualisation avec un indicateur de requête de visualisation :

%%gremlin -p v,outv

g.V().out().limit(10)

Paramètres facultatifs pour les requêtes %%gremlin profile

• --chop : spécifie la longueur maximale de la chaîne de résultats de la fonctionnalité profile. La valeur par défaut si vous ne fournissez pas cet argument est 250.

• --serializer : spécifie le sérialiseur à utiliser pour les résultats. Les valeurs autorisées sont toutes les valeurs d'énumération valides du MIME type ou TinkerPop du pilote « Serializers ». La valeur par défaut si vous ne fournissez pas cet argument est application.json.

• --no-results : affiche uniquement le nombre de résultats. Si cet argument n'est pas utilisé, tous les résultats de la requête sont affichés par défaut dans le rapport de la fonctionnalité profile.

• --indexOps : affiche un rapport détaillé de toutes les opérations d'indexation.

Magie cellulaire %%opencypher (%%oc également)

La magie %%opencypher cellulaire (qui a également une %%oc forme abrégée) envoie une openCypher requête au point de terminaison Neptune. Elle accepte les arguments d'entrée de ligne facultatifs suivants :

• mode : mode de requête (query ou bolt). La valeur par défaut si vous ne fournissez pas cet argument est query.

• --group-by ou -g : spécifie la propriété utilisée pour regrouper les nœuds. Par exemple, code, ~id. La valeur par défaut si vous ne fournissez pas cet argument est ~labels.

• --ignore-groups : s'il est présent, toutes les options de regroupement sont ignorées.

• --display-propery ou -d : spécifie la propriété dont la valeur doit être affichée pour chaque sommet. La valeur par défaut si vous ne fournissez pas cet argument est ~labels.

• --edge-display-propery ou -de : spécifie la propriété dont la valeur doit être affichée pour chaque arête. La valeur par défaut si vous ne fournissez pas cet argument est ~labels.

• --label-max-length ou -l : spécifie le nombre maximal de caractères d'une étiquette de sommet à afficher. La valeur par défaut si vous ne fournissez pas cet argument est 10.

• --store-to ou -s : spécifie le nom d'une variable dans laquelle stocker les résultats de la requête.

• --plan-cache ou -pc : spécifie le mode de cache du plan à utiliser. La valeur par défaut est auto.

• --query-timeout ou -qt : spécifie le délai d’expiration maximal des requêtes en millisecondes. La valeur par défaut est 1800000.

• --query-parameters ou qp : Définitions de paramètres à appliquer à la requête. Cette option peut accepter un nom de variable unique ou une représentation sous forme de chaîne de la carte.

  Exemple d’utilisation de --query-parameters

  1. Définissez une carte des openCypher paramètres dans une cellule du bloc-notes.

     params = '''{
      "name":"john",
      "age": 20,
     }'''

  2. Transmettez les paramètres --query-parameters dans une autre cellule avec %%oc.

     %%oc --query-parameters params
     
     MATCH (n {name: $name, age: $age}) 
     RETURN n

• --explain-type — Utilisé pour spécifier le mode d'explication à utiliser (dynamique, statique ou détaillé).

La magie cellulaire %%graph_notebook_vis_options

La magie cellulaire %%graph_notebook_vis_options vous permet de définir les options de visualisation du bloc-notes. Vous pouvez copier les paramètres renvoyés par la magie linéaire %graph-notebook-vis-options dans une nouvelle cellule, les modifier et utiliser la magie cellulaire %%graph_notebook_vis_options pour définir de nouvelles valeurs.

Ces options sont expliquées dans la documentation du fichier vis.js.

Pour restaurer les valeurs par défaut des paramètres de visualisation, vous pouvez exécuter la magie linéaire %graph_notebook_vis_options avec un paramètre reset. Tous les paramètres de visualisation sont ainsi réinitialisés :

%graph_notebook_vis_options reset

La magie linéaire %neptune_ml

Vous pouvez utiliser la magie linéaire %neptune_ml pour lancer et gérer diverses opérations Neptune ML.

Note

Vous pouvez également lancer et gérer certaines opérations Neptune ML à l'aide de la magie cellulaire %%neptune_ml.

• %neptune_ml export start : démarre une nouvelle tâche d'exportation.

  Paramètres

  • --export-url exporter-endpoint   — (facultatif) Le point de terminaison Amazon API Gateway où l'exportateur peut être appelé.

  • --export-iam : (facultatif) indicateur signalant que les demandes adressées à l'URL d'exportation doivent être signées à l'aide de SigV4.

  • --export-no-ssl— (facultatif) Drapeau indiquant qu'il ne SSL doit pas être utilisé lors de la connexion à l'exportateur.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin de l'exportation.

  • --wait-interval interval-to-wait   — (facultatif) Définit le délai, en secondes, entre les vérifications du statut d'exportation (par défaut : 60).

  • --wait-timeout timeout-seconds   — (facultatif) Définit le temps, en secondes, à attendre que la tâche d'exportation soit terminée avant de renvoyer le statut le plus récent (par défaut : 3 600).

  • --store-to location-to-store-result   — (facultatif) Variable dans laquelle stocker le résultat de l'exportation. Si --wait est spécifié, le statut final y sera enregistré.

• %neptune_ml export status : récupère le statut d'une tâche d'exportation.

  Paramètres

  • --job-id export job ID   — L'ID de la tâche d'exportation dont le statut doit être récupéré.

  • --export-url exporter-endpoint   — (facultatif) Le point de terminaison Amazon API Gateway où l'exportateur peut être appelé.

  • --export-iam : (facultatif) indicateur signalant que les demandes adressées à l'URL d'exportation doivent être signées à l'aide de SigV4.

  • --export-no-ssl— (facultatif) Drapeau indiquant qu'il ne SSL doit pas être utilisé lors de la connexion à l'exportateur.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin de l'exportation.

  • --wait-interval interval-to-wait   — (facultatif) Définit le délai, en secondes, entre les vérifications du statut d'exportation (par défaut : 60).

  • --wait-timeout timeout-seconds   — (facultatif) Définit le temps, en secondes, à attendre que la tâche d'exportation soit terminée avant de renvoyer le statut le plus récent (par défaut : 3 600).

  • --store-to location-to-store-result   — (facultatif) Variable dans laquelle stocker le résultat de l'exportation. Si --wait est spécifié, le statut final y sera enregistré.

• %neptune_ml dataprocessing start : lance l'étape de traitement des données Neptune ML.

  Paramètres

  • --job-id ID for this job   — (facultatif) ID à attribuer à cette tâche.

  • --s3-input-uri S3 URI   — (facultatif) Le S3 URI sur lequel trouver l'entrée pour cette tâche de traitement de données.

  • --config-file-name file name   — (facultatif) Nom du fichier de configuration pour cette tâche de traitement de données.

  • --store-to location-to-store-result   — (facultatif) La variable dans laquelle le résultat du traitement des données doit être stocké.

  • --instance-type (instance type)   — (facultatif) Taille d'instance à utiliser pour cette tâche de traitement de données.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin du traitement des données.

  • --wait-interval interval-to-wait   — (facultatif) Définit le délai, en secondes, entre les vérifications de l'état du traitement des données (par défaut : 60).

  • --wait-timeout timeout-seconds   — (facultatif) Définit le temps, en secondes, à attendre que la tâche de traitement des données soit terminée avant de renvoyer le statut le plus récent (par défaut : 3 600).

• %neptune_ml dataprocessing status : récupère le statut d'une tâche de traitement de données.

  Paramètres

  • --job-id ID of the job   — ID de la tâche dont le statut doit être récupéré.

  • --store-to instance type   — (facultatif) Variable dans laquelle stocker le résultat de l'entraînement du modèle.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin de l'entraînement du modèle.

  • --wait-interval interval-to-wait   — (facultatif) Définit le délai, en secondes, entre les vérifications de l'état d'entraînement du modèle (par défaut : 60).

  • --wait-timeout timeout-seconds   — (facultatif) Définit le temps, en secondes, à attendre que la tâche de traitement des données soit terminée avant de renvoyer le statut le plus récent (par défaut : 3 600).

• %neptune_ml training start : démarre le processus d'entraînement du modèle Neptune ML.

  Paramètres

  • --job-id ID for this job   — (facultatif) ID à attribuer à cette tâche.

  • --data-processing-id dataprocessing job ID   — (facultatif) ID de la tâche de traitement des données qui a créé les artefacts à utiliser pour la formation.

  • --s3-output-uri S3 URI   — (facultatif) Le S3 URI sur lequel stocker les résultats de cette tâche de formation de modèles.

  • --instance-type (instance type)   — (facultatif) Taille d'instance à utiliser pour cette tâche de formation de modèles.

  • --store-to location-to-store-result   — (facultatif) Variable dans laquelle stocker le résultat de l'entraînement du modèle.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin de l'entraînement du modèle.

  • --wait-interval interval-to-wait   — (facultatif) Définit le délai, en secondes, entre les vérifications de l'état d'entraînement du modèle (par défaut : 60).

  • --wait-timeout timeout-seconds   — (facultatif) Définit le temps, en secondes, à attendre que la tâche de formation du modèle soit terminée avant de renvoyer le statut le plus récent (par défaut : 3 600).

• %neptune_ml training status : récupère le statut d'une tâche d'entraînement de modèle Neptune ML.

  Paramètres

  • --job-id ID of the job   — ID de la tâche dont le statut doit être récupéré.

  • --store-to instance type   — (facultatif) Variable dans laquelle stocker le résultat du statut.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin de l'entraînement du modèle.

  • --wait-interval interval-to-wait   — (facultatif) Définit le délai, en secondes, entre les vérifications de l'état d'entraînement du modèle (par défaut : 60).

  • --wait-timeout timeout-seconds   — (facultatif) Définit le temps, en secondes, à attendre que la tâche de traitement des données soit terminée avant de renvoyer le statut le plus récent (par défaut : 3 600).

• %neptune_ml endpoint create : crée un point de terminaison de requête pour un modèle Neptune ML.

  Paramètres

  • --job-id ID for this job   — (facultatif) ID à attribuer à cette tâche.

  • --model-job-id model-training job ID   — (facultatif) ID de la tâche de formation de modèles pour laquelle créer un point de terminaison de requête.

  • --instance-type (instance type)   — (facultatif) Taille d'instance à utiliser pour le point de terminaison de la requête.

  • --store-to location-to-store-result   — (facultatif) Variable dans laquelle stocker le résultat de la création du point de terminaison.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin de la création du point de terminaison.

  • --wait-interval interval-to-wait   — (facultatif) Définit le délai, en secondes, entre les vérifications de statut (par défaut : 60).

  • --wait-timeout timeout-seconds   — (facultatif) Définit le temps, en secondes, à attendre que le travail de création du point de terminaison soit terminé avant de renvoyer le statut le plus récent (par défaut : 3 600).

• %neptune_ml endpoint status : récupère le statut d'un point de terminaison de requête Neptune ML.

  Paramètres

  • --job-id endpoint creation ID   — (facultatif) ID d'une tâche de création de point de terminaison dont le statut doit être signalé.

  • --store-to location-to-store-result   — (facultatif) Variable dans laquelle stocker le résultat du statut.

  • --wait : (facultatif) indicateur signalant que l'opération doit attendre la fin de la création du point de terminaison.

  • --wait-interval interval-to-wait   — (facultatif) Définit le délai, en secondes, entre les vérifications de statut (par défaut : 60).

  • --wait-timeout timeout-seconds   — (facultatif) Définit le temps, en secondes, à attendre que le travail de création du point de terminaison soit terminé avant de renvoyer le statut le plus récent (par défaut : 3 600).

La magie cellulaire %%neptune_ml

La magie cellulaire %%neptune_ml ignore les entrées de ligne telles que --job-id ou --export-url. Au lieu de cela, elle vous permet de fournir ces entrées et d'autres au sein du corps de la cellule.

Vous pouvez également enregistrer ces entrées dans une autre cellule, attribuée à une variable Jupyter, puis les injecter dans le corps de la cellule à l'aide de cette variable. De cette façon, vous pouvez utiliser ces entrées encore et encore sans avoir à les saisir à chaque fois.

Cela ne fonctionne que si la variable d'injection est le seul contenu de la cellule. Vous ne pouvez pas utiliser plusieurs variables dans une cellule ni une combinaison de texte et de variable.

Par exemple, la magie %%neptune_ml export start cellulaire peut consommer un JSON document dans le corps de la cellule qui contient tous les paramètres décrits dansParamètres utilisés pour contrôler le processus d'exportation de Neptune.

Dans le bloc-notes Neptune-ML-01-Introduction-to-Node-Classification-Gremlin, sous Configuration des fonctionnalités de la section Exportation de la configuration des données et du modèle, vous pouvez voir comment la cellule suivante détient les paramètres d'exportation dans un document attribué à une variable Jupyter nommée export-params :

export_params = {
  "command": "export-pg",
  "params": {
    "endpoint": neptune_ml.get_host(),
    "profile": "neptune_ml",
    "useIamAuth": neptune_ml.get_iam(),
    "cloneCluster": False
   },
  "outputS3Path": f'{s3_bucket_uri}/neptune-export',
  "additionalParams": {
    "neptune_ml": {
      "targets": [
        {
          "node": "movie",
          "property": "genre"
        }
      ],
      "features": [
        {
          "node": "movie",
          "property": "title",
          "type": "word2vec"
        },
        {
          "node": "user",
          "property": "age",
          "type": "bucket_numerical",
          "range" : [1, 100],
          "num_buckets": 10
        }
      ]
    }
  },
  "jobSize": "medium"}

Lorsque vous exécutez cette cellule, Jupyter enregistre le document de paramètres sous ce nom. Ensuite, vous pouvez l'utiliser ${export_params} pour injecter le JSON document dans le corps d'un%%neptune_ml export start cell, comme ceci :

%%neptune_ml export start --export-url {neptune_ml.get_export_service_host()} --export-iam --wait --store-to export_results

${export_params}

Formes disponibles de la magie cellulaire %%neptune_ml

La magie cellulaire %%neptune_ml peut être utilisée sous les formes suivantes :

• %%neptune_ml export start : lance un processus d'exportation Neptune ML.

• %%neptune_ml dataprocessing start : démarre une tâche de traitement de données Neptune ML.

• %%neptune_ml training start : démarre une tâche d'entraînement de modèle Neptune ML.

• %%neptune_ml endpoint create : crée un point de terminaison de requête Neptune ML pour un modèle.