快取管道步驟 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

快取管道步驟

在 Amazon SageMaker Pipelines 中,您可以使用步驟快取來節省重新執行管道時的時間和資源。當步驟具有相同的組態和輸入時,步驟快取會重複使用先前成功執行步驟的輸出 (而不是重新運算)。這可協助您使用相同的參數,在管道重新執行時取得一致的結果。下列主題說明如何設定和開啟管道的步驟快取。

當您使用步驟簽章快取時,管道會嘗試尋找目前管道步驟的先前執行,且特定屬性的值相同。如果找到,管道會從先前的執行傳播輸出,而不是重新計算步驟。核取的屬性是步驟類型特有的,會在 依管道步驟類型的預設快取金鑰屬性 中列出。

您必須選擇啟用步驟快取,該功能依預設處於關閉狀態。當您開啟步驟快取時,還必須定義逾時。此逾時定義間隔多久的先前執行仍可作為重新執行候選。

步驟快取只會考慮成功的執行,決不會重複使用失敗的執行。當逾時期間內存在多個成功執行時,管道會使用結果進行最近的成功執行。如果逾時期間沒有成功執行相符,管道會重新執行步驟。如果執行器找到符合條件之先前的執行,但該執行仍在進行,則這兩個步驟都會繼續執行並在成功時更新快取。

步驟快取的範圍僅限於個別管道,因此即使有步驟簽名相符,您也無法重複使用其他管道中的步驟。

步驟快取適用於下列步驟類型: