Amazon SageMaker Experimente Integration

Amazon SageMaker Model Building Pipelines ist eng in Amazon integriert SageMaker Experimente. Standardmäßig wann SageMaker Pipelines erstellt und führt eine Pipeline aus, die folgenden SageMaker Experimententitäten werden erstellt, wenn sie nicht existieren:

• Ein Experiment für die Pipeline

• Ein Versuch für jede Ausführung der Pipeline

• Eine Testkomponente, die der Testversion für jeden hinzugefügt wird SageMaker Job, der in einem Pipeline-Ausführungsschritt erstellt wurde

Sie können Kennzahlen wie die Genauigkeit des Modelltrainings über mehrere Pipeline-Ausführungen hinweg vergleichen, genauso wie Sie solche Metriken über mehrere Versuche einer SageMaker Modellschulungsversuch.

Das folgende Beispiel zeigt die relevanten Parameter derPipeline-Klasse in derAmazon SageMaker Python SDKaus.

Pipeline(
    name="MyPipeline",
    parameters=[...],
    pipeline_experiment_config=PipelineExperimentConfig(
      ExecutionVariables.PIPELINE_NAME,
      ExecutionVariables.PIPELINE_EXECUTION_ID
    ),
    steps=[...]
)

Wenn Sie nicht möchten, dass ein Experiment und ein Versuch für die Pipeline erstellt werden, setzen Siepipeline_experiment_configzuNoneaus.

Anmerkung

Die Integration von Experimenten wurde im Amazonasgebiet eingeführt SageMaker Python SDK v2.41.0.

Die folgenden Benennungsregeln gelten basierend auf dem, was Sie fürExperimentNameundTrialNameParameter vonpipeline_experiment_config:

• Wenn Sie kein angebenExperimentName, die Pipelinenamewird für den Namen des Experiments verwendet.

  Wenn Sie angebenExperimentName, wird es für den Namen des Experiments verwendet. Wenn ein Experiment mit diesem Namen existiert, werden die von der Pipeline erstellten Versuche zum vorhandenen Experiment hinzugefügt. Wenn ein Experiment mit diesem Namen nicht existiert, wird ein neues Experiment erstellt.

• Wenn Sie kein angebenTrialNamewird die Pipeline-Ausführungs-ID für den Testnamen verwendet.

  Wenn Sie angebenTrialName, wird es für den Namen der Studie verwendet. Wenn eine Testversion mit diesem Namen existiert, werden die von der Pipeline erstellten Testkomponenten zur vorhandenen Testversion hinzugefügt. Wenn eine Studie mit diesem Namen nicht existiert, wird eine neue Studie erstellt.

Anmerkung

Die Experimentitäten werden nicht gelöscht, wenn die Pipeline, die die Entitäten erstellt hat, gelöscht wird. Sie können das SageMaker Experimentier-API zum Löschen der Entitäten. Weitere Informationen finden Sie unter Amazon SageMaker Experimentvorlagen.

Weitere Informationen zum Anzeigen der SageMaker Experimentiereinheiten, die mit einer Pipeline verknüpft sindExperimententitäten anzeigen, die von SageMaker Pipelinesaus. Weitere Informationen zu SageMaker Experimenten sieheVerwalten von Machine Learning mit Amazon SageMaker -Experimenteaus.

Die folgenden Abschnitte zeigen Beispiele für die vorherigen Regeln und wie sie in der Pipeline-Definitionsdatei dargestellt werden. Weitere Informationen zu Pipeline-Definitionsdateien finden Sie unterSageMaker Pipeline-Übersichtaus.

Standardverhalten

Erstellen Sie eine Pipeline

Diepipeline_experiment_configwird weggelassen.ExperimentNameist standardmäßig auf die Pipeline eingestelltnameaus.TrialNameStandardeinstellung:AusführungID.

pipeline_name = f"MyPipeline"
pipeline = Pipeline(
    name=pipeline_name,
    parameters=[...],
    steps=[step_train]
)

Pipeline-importieren

{
  "Version": "2020-12-01",
  "Parameters": [
    {
      "Name": "InputDataSource"
    },
    {
      "Name": "InstanceCount",
      "Type": "Integer",
      "DefaultValue": 1
    }
  ],
  "PipelineExperimentConfig": {
    "ExperimentName": {"Get": "Execution.PipelineName"},
    "TrialName": {"Get": "Execution.PipelineExecutionId"}
  },
  "Steps": [...]
}

Integration von Experimenten deaktivieren

Erstellen Sie eine Pipeline

Der pipeline_experiment_config wird auf None gesetzt.

pipeline_name = f"MyPipeline"
pipeline = Pipeline(
    name=pipeline_name,
    parameters=[...],
    pipeline_experiment_config=None,
    steps=[step_train]
)

Pipeline-importieren

Das entspricht dem vorherigen Standardbeispiel, ohne diePipelineExperimentConfigaus.

Geben Sie einen benutzerdefinierten Versuchsnamen an

Es wird ein benutzerdefinierter Versuchsname verwendet. Der Testname wird wie beim Standardverhalten auf die Ausführungs-ID festgelegt.

Erstellen Sie eine Pipeline

pipeline_name = f"MyPipeline"
pipeline = Pipeline(
    name=pipeline_name,
    parameters=[...],
    pipeline_experiment_config=PipelineExperimentConfig(
      "CustomExperimentName",
      ExecutionVariables.PIPELINE_EXECUTION_ID
    ),
    steps=[step_train]
)

Pipeline-importieren

{
  ...,
  "PipelineExperimentConfig": {
    "ExperimentName": "CustomExperimentName",
    "TrialName": {"Get": "Execution.PipelineExecutionId"}
  },
  "Steps": [...]
}

Geben Sie einen benutzerdefinierten Testnamen an

Ein benutzerdefinierter Testname wird verwendet und an die Ausführungs-ID angehängt. Der Name des Experiments wird wie beim Standardverhalten auf den Pipelinenamen festgelegt.

Erstellen Sie eine Pipeline

pipeline_name = f"MyPipeline"
pipeline = Pipeline(
    name=pipeline_name,
    parameters=[...],
    pipeline_experiment_config=PipelineExperimentConfig(
      ExecutionVariables.PIPELINE_NAME,
      Join(on="-", values=["CustomTrialName", ExecutionVariables.PIPELINE_EXECUTION_ID])
    ),
    steps=[step_train]
)

Pipeline-importieren

{
  ...,
  "PipelineExperimentConfig": {
    "ExperimentName": {"Get": "Execution.PipelineName"},
    "TrialName": {
      "On": "-",
      "Values": [
         "CustomTrialName",
         {"Get": "Execution.PipelineExecutionId"}
       ]
    }
  },
  "Steps": [...]
}