AWS Transfer Family 管理工作流 - AWS Transfer Family

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

AWS Transfer Family 管理工作流

AWS Transfer Family 支援受管理的檔案處理工作流程。透過受管理的工作流程,您可以在透過 SFTP、FTPS 或 FTP 傳輸檔案後開始工作流程。使用此功能,您可以協調檔案處理所需的所有必要步驟,以安全且符合成本效益的方式滿足 business-to-business (B2B) 檔案交換的合規要求。此外,您還可以從 end-to-end 稽核和可見度中受益。


            流程圖顯示受管理的工作流程如何協助檔案處理。

透過協調檔案處理工作,受管理的工作流程可協助您在下游應用程式使用資料之前預先處理資料。此類檔案處理工作可能包括:

  • 將文件移動到用戶特定的文件夾。

  • 將檔案解密為工作流程的一部分。

  • 為檔案加標籤。

  • 透過建立函數並將 AWS Lambda 函數附加至工作流程來執行自訂處理。

  • 成功傳輸檔案時傳送通知。如需詳細說明此使用案例的部落格貼文,請參閱使用 AWS Transfer Family 受管理的工作流程自訂檔案傳遞通知)。

若要快速複寫和標準化組織中多個業務單位的常見上傳後檔案處理工作,您可以使用基礎結構即程式碼 (IaC) 來部署工作流程。您可以指定要在完整上載的檔案上啟動受管理的工作流程。您也可以指定在因為工作階段過早中斷連線而僅部分上載的檔案上啟動不同的受管理工作流程。內建的例外狀況處理可協助您快速回應檔案處理結果,同時讓您控制如何處理失敗。此外,每個工作流程步驟都會產生詳細的記錄,您可以稽核這些記錄以追蹤資料歷程。

若要開始使用,請執行下列工作:

  1. 根據您的需求,將工作流程設定為包含預處理動作,例如複製、標記和其他步驟。如需詳細資訊,請參閱 建立工作流程

  2. 設定「Transfer Family」用來執行工作流程的執行角色。如需詳細資訊,請參閱 工作流程的 IAM 政策

  3. 將工作流程對應至伺服器,以便在檔案到達時即時評估和啟動此工作流程中指定的動作。如需詳細資訊,請參閱 設定和執行工作流程

相關資訊

  • 若要監視工作流程執行,請參閱使用 Transfer Family 的 CloudWatch 量度

  • 如需詳細的執行記錄和疑難排解資訊,請參閱使用 Amazon 疑難排解工作流程相關錯誤 CloudWatch

  • 我們有一個研討會,您可以參加,您可以在其中構建文件傳輸解決方案。此解決方案利 AWS Transfer Family 用受管 SFTP/FTPS 端點和 Amazon Cognito 和 DynamoDB 進行使用者管理。您可以在此處查看此工作坊的詳細信

  • 以下視訊提供「Transfer Family」管理的工作流程的簡要介紹。

如需開始使用受管理工作流程的詳細說明,請參閱下列資源:

工作流程的異常處理

如果工作流程執行期間發生任何錯誤,則會執行您指定的例外狀況處理步驟。您可以使用與指定工作流程標稱步驟相同的方式來指定工作流程的錯誤處理步驟。例如,假設您已在標稱步驟中設定自訂處理來驗證傳入檔案。如果檔案驗證失敗,例外狀況處理步驟可以傳送電子郵件給系統管理員。

下列工作流程範例包含兩個步驟:

  • 檢查上傳的文件是否為 CSV 格式的標稱步驟

  • 例外狀況處理步驟,可在上傳的檔案不是 CSV 格式且標稱步驟失敗時傳送電子郵件

若要啟動例外狀況處理步驟,標稱步驟中的 AWS Lambda 函數必須以回應。Status="FAILURE"如需有關工作流程中錯誤處理的詳細資訊,請參閱使用自訂檔案處理步驟


                AWS Transfer Family 控制台,顯示具有一個名義步驟和一個異常處理步驟的示例工作流程。

從轉移系列伺服器移除工作流程

如果您已將工作流程與 Transfer Family 伺服器產生關聯,而您現在想要移除該關聯,則可以使用主控台或以程式設計方式執行此操作。

Console
從轉移族群伺服器移除工作流程的步驟
  1. 開啟主 AWS Transfer Family 控台,網址為 https://console.aws.amazon.com/transfer/

  2. 在左側導覽窗格中,選擇 [伺服器]。

  3. 在「伺服器 ID」欄中選擇伺服器的識別碼。

  4. 在伺服器的詳細資訊頁面上,向下捲動至 [其他詳細資料] 區段,然後選擇 [編輯]。

  5. 在 [編輯其他詳細資料] 頁面的 [受管理的工作流程] 區段中,清除所有設定的資訊:

    • 從工作流程的工作流程清單中選取破折號 (-),以進行完整的檔案上傳

    • 如果尚未清除,請從用於部分檔案上載的工作流程清單中選取破折號 (-)。

    • 從「受管理的工作流程」執行角色的角色清單中選取破折號 (-)。

    如果看不到破折號,請向上捲動直到看到它,因為它是每個選單中的第一個值。

    螢幕看起來應如下所示。

    
                                    [受管理的工作流程] 窗格,顯示所有已清除的
  6. 向下捲動並選擇 [儲存] 以儲存變更。

CLI

您可以使用 update-server (或 UpdateServer API) 呼叫,並為OnUpload和參數提供空白引OnPartialUpload數。

從中 AWS CLI,執行下列命令:

aws transfer update-server --server-id your-server-id --workflow-details '{"OnPartialUpload":[],"OnUpload":[]}'

your-server-id以伺服器的 ID 取代。例如,如果您的伺服器 ID 為s-01234567890abcdef、,則指令如下:

aws transfer update-server --server-id s-01234567890abcdef --workflow-details '{"OnPartialUpload":[],"OnUpload":[]}'

受管理的工作流程限制和

限制

下列限制目前適用於的上載後處理工作流程 AWS Transfer Family。

  • 不支援跨帳戶和跨區域 AWS Lambda 功能。不過,只要您的 AWS Identity and Access Management (IAM) 政策設定正確,您就可以跨帳戶進行複製。

  • 對於所有工作流程步驟,工作流程存取的任何 Amazon S3 儲存貯體必須與工作流程本身位於相同的區域。

  • 對於解密步驟,解密目的地必須與區域和支援存放區的來源相符 (例如,如果要解密的檔案存放在 Amazon S3 中,則指定的目標也必須位於 Amazon S3 中)。

  • 僅支援非同步自訂步驟。

  • 自定義步驟超時是近似值。也就是說,超時可能需要比指定的時間稍長。此外,工作流程取決於 Lambda 函數。因此,如果函數在執行期間延遲,則工作流程不會意識到延遲。

  • 如果您超過節流限制,「Transfer Family」不會將工作流程作業新增至佇列。

  • 不會針對大小為 0 的檔案啟動工作流程。大小大於 0 的檔案會起始關聯的工作流程。

限制

此外,下列功能限制適用於「Transfer Family」的工作流程:

  • 每個區域每個帳戶的工作流程數量上限為 10。

  • 自訂步驟的逾時時間上限為 30 分鐘。

  • 工作流程中的最大步驟數為 8。

  • 每個工作流程的標籤數目上限為 50。

  • 包含解密步驟的並行執行數目上限為每個工作流程 250 個。

  • 每個 Transfer Family 伺服器每個使用者最多可以儲存 3 個 PGP 私密金鑰。

  • 解密檔案的大小上限為 10 GB。

  • 我們使用突發容量為 100 且補充率為 1 的令牌桶系統來調節新的執行速率。

  • 每當您從伺服器中移除工作流程並以新工作流程取代,或更新伺服器組態 (這會影響工作流程的執行角色) 時,您必須等待大約 10 分鐘,才能執行新的工作流程。Transfer Family 伺服器會快取工作流程詳細資料,伺服器需要 10 分鐘才能重新整理其快取。

    此外,您必須登出任何作用中的 SFTP 工作階段,然後在 10 分鐘的等待期後重新登入,以查看變更。