Konfigurieren Sie Ihre Pipeline

Es wird empfohlen, die SageMaker Konfigurationsdatei zu verwenden, um die Standardeinstellungen für die Pipeline festzulegen. Informationen zur SageMaker Konfigurationsdatei finden Sie unter Konfiguration und Verwendung von Standardwerten mit SageMaker Python SDK. Jede Konfiguration, die der Konfigurationsdatei hinzugefügt wird, gilt für alle Schritte in der Pipeline. Wenn Sie die Optionen für einen der Schritte überschreiben möchten, geben Sie neue Werte in den @step Decorator-Argumenten an. Im folgenden Thema wird beschrieben, wie Sie eine Konfigurationsdatei einrichten.

Die Konfiguration des @step Decorators in der Konfigurationsdatei ist identisch mit der Konfiguration des @remote Decorators. Verwenden Sie den im folgenden Pipeline Ausschnitt gezeigten Abschnitt, um die Pipeline-Rolle ARN und die Pipeline-Tags in der Konfigurationsdatei einzurichten:

SchemaVersion: '1.0'
SageMaker:
  Pipeline:
    RoleArn: 'arn:aws:iam::555555555555:role/IMRole'
    Tags:
    - Key: 'tag_key'
      Value: 'tag_value'

Die meisten Standardwerte, die Sie in der Konfigurationsdatei festlegen können, können Sie auch überschreiben, indem Sie neue Werte an den Decorator übergeben. @step Sie können beispielsweise den in der Konfigurationsdatei für Ihren Vorverarbeitungsschritt festgelegten Instanztyp überschreiben, wie im folgenden Beispiel gezeigt:

@step(instance_type="ml.m5.large")
def preprocess(raw_data):
    df = pandas.read_csv(raw_data)
    ...
    return procesed_dataframe

Einige Argumente sind nicht Teil der @step Decorator-Parameterliste — sie können nur über die Konfigurationsdatei für die gesamte Pipeline konfiguriert werden. SageMaker Sie sind wie folgt aufgeführt:

• sagemaker_session(sagemaker.session.Session): Die zugrundeliegende SageMaker Sitzung, an die SageMaker Serviceeinsätze delegiert werden. Falls nicht angegeben, wird eine Sitzung mit einer Standardkonfiguration wie folgt erstellt:

  SageMaker:
    PythonSDK:
      Modules:
        Session:
          DefaultS3Bucket: 'default_s3_bucket'
          DefaultS3ObjectKeyPrefix: 'key_prefix'

• custom_file_filter(CustomFileFilter): Ein CustomFileFilter Objekt, das die lokalen Verzeichnisse und Dateien angibt, die in den Pipeline-Schritt aufgenommen werden sollen. Falls nicht angegeben, ist dieser Wert standardmäßig auf. None custom_file_filterUm wirksam zu werden, müssen Sie auf einstellenIncludeLocalWorkdir. True Das folgende Beispiel zeigt eine Konfiguration, die alle Notizbuchdateien sowie die genannten data Dateien und Verzeichnisse ignoriert.

  SchemaVersion: '1.0'
  SageMaker:
    PythonSDK:
      Modules:
        RemoteFunction:
          IncludeLocalWorkDir: true
          CustomFileFilter: 
            IgnoreNamePatterns: # files or directories to ignore
            - "*.ipynb" # all notebook files
            - "data" # folder or file named "data"

  Weitere Informationen zur Verwendung von IncludeLocalWorkdir mit finden Sie CustomFileFilter unterVerwendung von modularem Code mit dem @remote Decorator.

• s3_root_uri (str): Der Amazon S3 S3-Stammordner, in den die Code-Archive und Daten SageMaker hochgeladen werden. Falls nicht angegeben, wird der SageMaker Standard-Bucket verwendet.

• s3_kms_key (str): Der Schlüssel, der zum Verschlüsseln der Eingabe- und Ausgabedaten verwendet wird. Sie können dieses Argument nur in der SageMaker Konfigurationsdatei konfigurieren und das Argument gilt für alle in der Pipeline definierten Schritte. Wenn nicht angegeben, ist der Standardwert. None Im folgenden Codeausschnitt finden Sie ein Beispiel für eine S3-Schlüsselkonfiguration: KMS

  SchemaVersion: '1.0'
  SageMaker:
    PythonSDK:
      Modules:
        RemoteFunction:
          S3KmsKeyId: 's3kmskeyid'
          S3RootUri: 's3://amzn-s3-demo-bucket/my-project