Entitäten zur Abstammungsverfolgung

Tracking-Entitäten enthalten eine Darstellung aller Elemente Ihres Workflows für end-to-end maschinelles Lernen. Sie können diese Darstellung verwenden, um die Modellverwaltung festzulegen, Ihren Arbeitsablauf zu reproduzieren und Ihre Arbeitshistorie aufzuzeichnen.

Amazon erstellt SageMaker automatisch Verfolgungseinheiten für Testkomponenten und die zugehörigen Versuche und Experimente, wenn Sie SageMaker Aufträge wie Verarbeitungsaufträge, Schulungsaufträge und Batch-Transformationsaufträge erstellen. Zusätzlich zur automatischen Verfolgung können Sie mit Tracking-Entitäten manuell erstellen auch benutzerdefinierte Schritte in Ihrem Arbeitsablauf modellieren. Weitere Informationen finden Sie unter SageMaker Amazon-Experimente in Studio Classic verwalten.

SageMaker erstellt außerdem automatisch Tracking-Entitäten für die anderen Schritte in einem Workflow, sodass Sie den Workflow von Anfang bis Ende verfolgen können. Weitere Informationen finden Sie unter Amazon SageMaker — Erstellte Tracking-Entitäten.

Sie können zusätzliche Entitäten erstellen, um die von erstellten Entitäten zu ergänzen SageMaker. Weitere Informationen finden Sie unter Tracking-Entitäten manuell erstellen.

SageMaker verwendet alle vorhandenen Entitäten wieder, anstatt neue zu erstellen. Zum Beispiel kann nur ein Artefakt mit einem eindeutigen SourceUri verwendet werden.

Wichtige Konzepte für die Abfrage der Herkunft

• Herkunft – Metadaten, die die Beziehungen zwischen verschiedenen Entitäten in Ihren ML-Workflows verfolgen.

• QueryLineage— Die Aktion, um deine Herkunft zu untersuchen und Beziehungen zwischen Entitäten zu entdecken.

• Lineage-Entitäten – Die Metadatenelemente, aus denen sich Ihre Abstammung zusammensetzt.

• Kontoübergreifende Herkunft – Ihr ML-Workflow kann sich über mehr als ein Konto erstrecken. Mit der kontenübergreifenden Herkunft können Sie mehrere Konten so konfigurieren, dass automatisch Abstammungszuordnungen zwischen gemeinsam genutzten Entitätsressourcen erstellt werden. QueryLineage kann dann auch Entitäten von diesen gemeinsamen Konten zurückgeben.

Die folgenden Tracking-Entitäten sind definiert:

Experimentientitäten

• Testkomponente – Eine Phase einer Studie zum Machine Learning. Beinhaltet Verarbeitungsaufträge, Trainingsaufträge und Batch-Transformationsaufträge.

• Versuch – Eine Kombination von Testkomponenten, aus der in der Regel ein Modell entsteht.

• Experiment – Eine Gruppierung von Studien, die sich im Allgemeinen auf die Lösung eines bestimmten Anwendungsfalls konzentriert.

Abstammungsentitäten

• Testkomponente – Stellt Verarbeitungs-, Trainings- und Transformationsaufgaben in der Produktlinie dar. Ebenfalls Teil der Versuchsverwaltung.

• Kontext – Stellt eine logische Gruppierung anderer Verfolgungs- oder Experimentiereinheiten bereit. Konzeptionell gesehen handelt es sich bei Experimenten und Versuchen um Kontexte. Einige Beispiele sind ein Endpunkt und ein Modellpaket.

• Aktion – Stellt eine Aktion oder Aktivität dar. Im Allgemeinen umfasst eine Aktion mindestens ein Eingabe- oder Ausgabeartefakt. Einige Beispiele sind ein Workflow-Schritt und eine Modellbereitstellung.

• Artifact – Stellt ein URI-adressierbares Objekt oder Daten dar. Ein Artefakt ist im Allgemeinen entweder eine Eingabe oder eine Ausgabe einer Testkomponente oder -aktion. Einige Beispiele beinhalten einen Datensatz (S3-Bucket-URI) oder ein Bild (Amazon ECR-Registry-Pfad).

• Zuordnung – Verknüpft andere Tracking- oder Experimentiereinheiten, z. B. eine Zuordnung zwischen dem Speicherort von Trainingsdaten und einem Trainingsauftrag.

  Eine Assoziation hat eine optionale AssociationType Eigenschaft. Die folgenden Werte sind zusammen mit der empfohlenen Verwendung für jeden Typ verfügbar. SageMaker schränkt ihre Verwendung nicht ein:

  • ContributedTo – Die Quelle hat zum Ziel beigetragen oder war an der Aktivierung des Ziels beteiligt. Zum Beispiel haben das Trainingsdaten zur Ausbildung beigetragen.

  • AssociatedWith – Die Quelle ist mit dem Ziel verbunden. Beispielsweise ist ein Genehmigungsworkflow mit einer Modellbereitstellung verknüpft.

  • DerivedFrom – Das Ziel ist eine Änderung der Quelle. Beispielsweise wird eine Digest-Ausgabe eines Kanaleingangs für einen Verarbeitungsauftrag aus den ursprünglichen Eingaben abgeleitet.

  • Produced – Die Quelle hat das Ziel generiert. Bei einem Ausbildungsauftrag wurde beispielsweise ein Modellartefakt erzeugt.

  • SameAs – Wenn dieselbe Abstammungseinheit in verschiedenen Konten verwendet wird.

Gemeinsame Eigenschaften

• Typ Eigenschaft

  Die Entitäten Action, Artifact und Context haben jeweils die Typeigenschaft, ActionType, ArtifactType und ContextType. Diese Eigenschaft ist eine benutzerdefinierte String, die der Entität aussagekräftige Informationen zuordnen kann und als Filter in den List-APIs verwendet werden kann.

• Quelleigenschaft

  Die Entitäten Action, Artifact und Context haben eine Source Eigenschaft. Diese Eigenschaft stellt den zugrunde liegenden URI bereit, den die Entität darstellt. Einige Beispiele sind:

  • Eine UpdateEndpoint Aktion, bei der die Quelle die EndpointArn ist.

  • Ein Bildartefakt für einen Verarbeitungsauftrag, bei dem die Quelle die ImageUri ist.

  • Ein Endpoint Kontext, in dem die Quelle der EndpointArn ist.

• Eigenschaft der Metadaten

  Die Entitäten Action und Artifact verfügen über eine optionale Metadata Eigenschaft, die die folgenden Informationen bereitstellen kann:

  • ProjectId— Zum Beispiel die ID des SageMaker MLOps-Projekts, zu dem ein Modell gehört.

  • GeneratedBy— Zum Beispiel die SageMaker Pipeline-Ausführung, bei der eine Modellpaketversion registriert wurde.

  • Repository – Zum Beispiel das Repository, das einen Algorithmus enthält.

  • CommitId – Zum Beispiel die Commit-ID einer Algorithmusversion.