Pipeline-Schritte zwischenspeichern - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Pipeline-Schritte zwischenspeichern

Wenn Sie das Caching von Step-Signaturen verwenden, vorher SageMaker Pipelinesführt ausein Schritt, versucht es, eine vorherige Ausführung eines Schritts zu finden, der mit den gleichen Argumenten aufgerufen wurde. SageMaker Pipelines prüft, ob die Anrufsignaturen identisch sind. Pipelines prüfen nicht, ob die Daten oder der Code, zu dem sich der Argumentpunkt geändert hat. Wenn Pipelines eine vorherige Ausführung findet, wird ein Cache-Treffer erstellt. Pipelines propagiert dann die Werte aus dem während der Ausführung getroffenen Cache, anstatt den Schritt neu zu berechnen.

Das Step-Caching berücksichtigt nur erfolgreiche Ausführungen, daher werden fehlgeschlagene Ausführungen nie wiederverwendet. Wenn innerhalb des Timeout-Zeitraums mehrere erfolgreiche Ausführungen vorhanden sind, verwendet Pipelines das Ergebnis für die letzte erfolgreiche Ausführung. Wenn im Timeout-Zeitraum keine erfolgreichen Ausführungen übereinstimmen, verwendet Pipelines keine Schritte wieder. Wenn der Executor einen Cache-Treffer für eine vorherige Schrittausführung findet, die noch ausgeführt wird, führen beide Schritte den Cache fort und aktualisieren den Cache, falls er erfolgreich ist.

Sie müssen sich für das Schritt-Caching anmelden, sonst ist es standardmäßig deaktiviert. Wenn Sie das Schritt-Caching aktivieren, müssen Sie auch ein Timeout definieren. Dieses Timeout definiert, wie alt eine vorherige Ausführung für die Wiederverwendung berücksichtigt werden kann.

Das Schritt-Caching ist nur für einzelne Pipelines vorgesehen, sodass Sie keinen Schritt von einer anderen Pipeline aus wiederverwenden können. Selbst wenn es in der anderen Pipeline eine Schrittsignaturübereinstimmung gibt, wird der Schritt nicht wiederverwendet.

Step-Caching ist für die folgenden Schritttypen verfügbar:

  • Schulung

  • Verarbeitung

  • Transform

Aktivieren von Step-Caching

Um das Schritt-Caching zu aktivieren, müssen Sie eineCacheConfigEigenschaft zur Schrittdefinition.

CacheConfig-Eigenschaften verwenden das folgende Format in der Pipeline-Definitionsdatei.

{     "CacheConfig": {         "Enabled": false,         "ExpireAfter": "<time>"     } }

DieEnabledDas Feld kann den Wert true oder false annehmen.ExpireAfterIst eine Zeichenfolge, die den Timeout-Zeitraum definiert. Jede Dauerzeichenfolge nach ISO 8601 ist gültigExpireAfterWert. DieExpireAfterDie Dauer kann einen Wert für Jahr, Monat, Woche, Tag, Stunde und Minute enthalten. Jeder Wert besteht aus einer Zahl gefolgt von einem Buchstaben, der die Dauereinheit angibt, für die er bestimmt ist. Beispiel:

  • „30d“ = Dreißig Tage

  • „5y“ = Fünf Jahre

  • „T16m“ = 16 Minuten

  • „30dT5h“ = 30 Tage und fünf Stunden.

Im folgenden Beispiel wird gezeigt, wie Sie das Caching für einen Schulungsschritt mit Amazon aktivieren können. SageMaker Python SDK.

from sagemaker.workflow.steps import CacheConfig cache_config = CacheConfig(enable_caching=True, expire_after="PT1H") step_train = TrainingStep( name="TrainAbaloneModel", estimator=xgb_train, inputs=inputs, cache_config=cache_config )