步驟 5:逐步測試叢集 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

步驟 5:逐步測試叢集

當您嘗試追蹤錯誤來源時,有一項實用的技術就是重新啟動叢集並逐一提交步驟。這可讓您先查看每個步驟的結果,然後再處理下一個步驟,如此就有機會更正並重新執行失敗的步驟。另一項好處在於,您只需載入輸入資料一次。

逐步測試叢集
  1. 啟動新叢集,同時啟用持續作用和終止保護功能。持續作用功能可讓叢集在完成所有待處理步驟之後保持執行狀態。終止保護功能可防止叢集在發生錯誤時關閉。如需詳細資訊,請參閱 將叢集設定為在步驟執行之後繼續或終止使用終止保護來保護叢集免於意外關閉

  2. 提交步驟至叢集。如需詳細資訊,請參閱將工作提交到叢集

  3. 當步驟完成處理時,查看步驟日誌檔中是否有錯誤。如需詳細資訊,請參閱步驟 4:檢查日誌檔案。尋找這些日誌檔最快的方式,就是連接到主節點並於該處檢視日誌檔。步驟日誌檔會在步驟執行一段時間、完成或失敗後才產生。

  4. 如果步驟成功且未產生錯誤,請執行下一個步驟。如果發生錯誤,請調查日誌檔中的錯誤。如果是程式碼發生錯誤,請進行更正並重新執行步驟。繼續執行,直到所有步驟都執行且沒有錯誤。

  5. 當您完成叢集偵錯且想要將其終止時,必須手動將它終止。在叢集啟動並啟用終止保護功能的情況下,您就必須這樣做。如需詳細資訊,請參閱使用終止保護來保護叢集免於意外關閉