Konfigurieren Sie Ihre Pipeline

Es wird empfohlen, die SageMaker AI-Konfigurationsdatei zu verwenden, um die Standardeinstellungen für die Pipeline festzulegen. Informationen zur SageMaker AI-Konfigurationsdatei finden Sie unter Konfiguration und Verwendung von Standardwerten mit dem SageMaker Python-SDK. Jede Konfiguration, die der Konfigurationsdatei hinzugefügt wird, gilt für alle Schritte in der Pipeline. Wenn Sie die Optionen für einen der Schritte überschreiben möchten, geben Sie neue Werte in den @step Decorator-Argumenten an. Im folgenden Thema wird beschrieben, wie Sie eine Konfigurationsdatei einrichten.

Die Konfiguration des @step Dekorators in der Konfigurationsdatei ist identisch mit der Konfiguration des @remote Dekorators. Verwenden Sie den Pipeline Abschnitt im folgenden Ausschnitt, um den ARN der Pipeline-Rolle und die Pipeline-Tags in der Konfigurationsdatei einzurichten:

SchemaVersion: '1.0'
SageMaker:
  Pipeline:
    RoleArn: 'arn:aws:iam::555555555555:role/IMRole'
    Tags:
    - Key: 'tag_key'
      Value: 'tag_value'

Die meisten Standardwerte, die Sie in der Konfigurationsdatei festlegen können, können Sie auch überschreiben, indem Sie neue Werte an den Decorator übergeben. @step Sie können beispielsweise den in der Konfigurationsdatei für Ihren Vorverarbeitungsschritt festgelegten Instanztyp überschreiben, wie im folgenden Beispiel gezeigt:

@step(instance_type="ml.m5.large")
def preprocess(raw_data):
    df = pandas.read_csv(raw_data)
    ...
    return procesed_dataframe

Einige Argumente sind nicht Teil der @step Decorator-Parameterliste — sie können nur über die AI-Konfigurationsdatei für die gesamte Pipeline konfiguriert werden. SageMaker Sie sind wie folgt aufgeführt:

• sagemaker_session(sagemaker.session.Session): Die zugrunde liegende SageMaker KI-Sitzung, an die SageMaker KI Serviceeinsätze delegiert. Falls nicht angegeben, wird eine Sitzung mit einer Standardkonfiguration wie folgt erstellt:

  SageMaker:
    PythonSDK:
      Modules:
        Session:
          DefaultS3Bucket: 'default_s3_bucket'
          DefaultS3ObjectKeyPrefix: 'key_prefix'

• custom_file_filter(CustomFileFilter): Ein CustomFileFilter Objekt, das die lokalen Verzeichnisse und Dateien angibt, die in den Pipeline-Schritt aufgenommen werden sollen. Falls nicht angegeben, ist dieser Wert standardmäßig auf. None custom_file_filterUm wirksam zu werden, müssen Sie auf einstellenIncludeLocalWorkdir. True Das folgende Beispiel zeigt eine Konfiguration, die alle Notizbuchdateien sowie die genannten data Dateien und Verzeichnisse ignoriert.

  SchemaVersion: '1.0'
  SageMaker:
    PythonSDK:
      Modules:
        RemoteFunction:
          IncludeLocalWorkDir: true
          CustomFileFilter: 
            IgnoreNamePatterns: # files or directories to ignore
            - "*.ipynb" # all notebook files
            - "data" # folder or file named "data"

  Weitere Informationen zur Verwendung von IncludeLocalWorkdir mit finden Sie CustomFileFilter unterVerwendung von modularem Code mit dem @remote Decorator.

• s3_root_uri (str): Der Amazon S3 S3-Stammordner, in den SageMaker AI die Codearchive und Daten hochlädt. Falls nicht angegeben, wird der SageMaker Standard-AI-Bucket verwendet.

• s3_kms_key (str): Der Schlüssel, der zum Verschlüsseln der Eingabe- und Ausgabedaten verwendet wird. Sie können dieses Argument nur in der SageMaker AI-Konfigurationsdatei konfigurieren und das Argument gilt für alle in der Pipeline definierten Schritte. Wenn nicht angegeben, ist der Standardwert. None Im folgenden Codeausschnitt finden Sie ein Beispiel für eine S3-KMS-Schlüsselkonfiguration:

  SchemaVersion: '1.0'
  SageMaker:
    PythonSDK:
      Modules:
        RemoteFunction:
          S3KmsKeyId: 's3kmskeyid'
          S3RootUri: 's3://amzn-s3-demo-bucket/my-project