本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
針對 DataSync 任務的問題進行故障診斷
使用下列資訊來協助您疑難排解 AWS DataSync 任務和任務執行的問題。這些問題可能包括任務設定問題、任務執行停滯,以及資料未如預期般傳輸。
錯誤:無效的 SyncOption 值。選項:TransferMode、PreserveDeletedFiles、Value: ALL、REMOVE。
當您建立或編輯 DataSync 任務,並選取傳輸所有資料選項,然後取消選取保留已刪除的檔案選項時,就會發生此錯誤。
當您傳輸所有資料時,DataSync 不會掃描目的地位置,也不知道要刪除的內容。
任務執行失敗並出現 EniNotFound
錯誤
如果您在虛擬私有雲端 (VPC) 中刪除任務的其中一個網路介面,就會發生此錯誤。如果您的任務已排程或排入佇列,如果任務缺少傳輸資料所需的網路界面,則任務將會失敗。
要採取的動作
您有下列選項可以解決此問題:
-
手動重新啟動任務。當您執行此操作時,DataSync 會建立執行任務所需的任何遺失網路介面。
-
如果您需要清除 VPC 中的資源,請確定您不會刪除與仍在使用之 DataSync 任務相關的網路介面。
若要查看配置給您任務的網路介面,請執行下列其中一項操作:
-
使用 DescribeTask 操作。您可以在
SourceNetworkInterfaceArns
和DestinationNetworkInterfaceArns
回應元素中檢視網路介面。 -
在 Amazon EC2 主控台中,搜尋您的任務 ID (例如
task-f012345678abcdef0
) 以尋找其網路介面。
-
-
考慮不要自動執行您的任務。這可能包括停用任務佇列或排程 (透過 DataSync 或自訂自動化)。
任務執行失敗,並顯示無法配置記憶體
錯誤
當您的 DataSync 任務因無法配置記憶體
錯誤而失敗時,這可能表示有幾個不同的情況。
採取動作
請嘗試以下操作,直到您不再看到問題為止:
-
如果您的傳輸涉及代理程式,請確定代理程式符合虛擬機器 (VM) 或 Amazon EC2 執行個體需求。
-
使用篩選條件將您的傳輸分割為多個任務。您嘗試傳輸的檔案或物件可能超過一個 DataSync 任務可以處理的數量。
-
如果您仍然看到問題,請聯絡 支援
。
Input/Output error
Amazon FSx for NetApp ONTAP 檔案系統的任務失敗
當您的 DataSync 任務在使用 Amazon FSx for NetApp ONTAP 檔案系統傳輸資料Input/Output error
時,失敗的原因可能是下列一或多個問題。
FSx for ONTAP 磁碟區已達到其最大檔案容量。當磁碟區上的可用索引或檔案指標數量用盡時,就會發生這種情況。
FSx for ONTAP 磁碟區已用盡可用的儲存容量。
DataSync 任務執行造成太多讀取寫入並行,並耗用極高百分比的檔案系統輸送量。
要採取的動作
您可以透過檢閱 FSx for ONTAP 磁碟區的狀態來判斷根本原因來解決此問題。
若要判斷磁碟區是否已達到最大檔案容量並解決問題:
檢視磁碟區的最大檔案容量 – 如需詳細資訊,請參閱《Amazon FSx for NetApp ONTAP 使用者指南》中的監控磁碟區的檔案容量。
透過增加索引數量或增加儲存容量來增加磁碟區的檔案容量。如需詳細資訊,請參閱《Amazon FSx for NetApp ONTAP 使用者指南》中的增加磁碟區的最大檔案容量。
若要判斷磁碟區是否已用盡可用的儲存容量並解決問題:
-
判斷磁碟區的可用儲存容量 – 如需詳細資訊,請參閱《FSx for ONTAP 使用者指南》中的監控磁碟區儲存容量。
如果磁碟區幾乎沒有可用的儲存容量,您需要增加磁碟區的儲存容量。如需詳細資訊,請參閱《FSx for ONTAP 使用者指南》中的增加磁碟區的儲存容量。
為了避免磁碟區耗盡可用儲存容量的問題再次發生,請使用磁碟區自動調整大小功能,視需要自動增加磁碟區的儲存容量。如需詳細資訊,請參閱《FSx for ONTAP 使用者指南》中的使用磁碟區自動調整大小。
若要判斷任務執行是否耗用過多的檔案系統可用的輸送量容量:
若要解決此問題,您需要確保任務不會使用所有檔案系統的可用輸送量容量。請執行下列操作:
-
將任務執行的頻寬限制設定為小於 ONTAP 檔案系統佈建輸送量容量的 FSx 數量。如需詳細資訊,請參閱設定任務 AWS DataSync 的頻寬限制。
-
或者,您可以增加檔案系統的佈建輸送量容量。如需詳細資訊,請參閱《FSx for ONTAP 使用者指南》中的更新輸送量容量。
FSx for ONTAP 檔案系統的任務失敗,出現 Connection Reset by peer
或 Host is down
訊息
當您的 DataSync 任務在使用 FSx for ONTAP 檔案系統傳輸資料時,失敗並顯示 Connection Reset by peer
或 Host is down
訊息時,可能是因為下列一或多個問題。
檔案系統的 SMB 伺服器已在任務執行期間重新啟動或以其他方式中斷連線。
-
檔案系統在任務執行期間從主要伺服器容錯移轉至次要伺服器 (和 IP 地址)。DataSync 不支援在任務執行期間容錯移轉至次要 IP 地址。
在下列事件期間,FSx for ONTAP 檔案系統會容錯移轉至次要伺服器和 IP 地址:
主要伺服器無法使用。
主要伺服器的可用區域無法使用 (適用於多可用區域檔案系統)。
在使用者起始的輸送量容量變更期間。
在檔案系統的定期排程維護時段期間。
如需詳細資訊,請參閱《FSx for ONTAP 使用者指南》中的 FSx for ONTAP 容錯移轉程序。 FSx
要採取的動作
重新啟動任務。
任務執行有啟動狀態,但似乎沒有發生
您的 DataSync 任務可能會卡在啟動狀態,通常是因為代理程式已關閉電源或網路連線中斷。
採取動作
請確定客服人員的狀態為 ONLINE。如果代理程式為 OFFLINE,請確定已開啟電源。
如果代理程式已開啟,且任務仍在啟動中,則代理程式與 之間可能存在網路連線問題 AWS。如需如何測試網路連線的資訊,請參閱驗證代理程式與 DataSync 服務的連線。
如果您仍然遇到此問題,請參閱 我不知道客服人員的情況。有人可以協助我嗎?。
任務執行似乎卡在準備狀態
DataSync 傳輸任務具有準備狀態的時間取決於傳輸來源和目的地中的資料量,以及這些儲存系統的效能。
當任務開始時,DataSync 會執行遞迴目錄清單,以探索來源和目的地中的所有檔案、物件、目錄和中繼資料。DataSync 使用這些清單來識別儲存系統之間的差異,並決定要複製的內容。此程序可能需要幾分鐘甚至幾個小時。
採取動作
您不應該執行任何操作。繼續等待任務狀態變更為 Transferring。如果狀態仍未變更,請聯絡 AWS 支援 中心
任務執行會在傳輸完成之前停止
如果您的 DataSync 任務執行提早停止,您的任務組態可能包含在 中停用 AWS 區域 的 AWS 帳戶。
要採取的動作
執行下列動作以再次執行您的任務:
從 Google Cloud Storage 儲存貯體傳輸時任務執行失敗
由於 DataSync 會使用 Amazon S3 API 與 Google Cloud Storage 通訊,因此如果您嘗試複製物件標籤,可能會有可能導致 DataSync 傳輸失敗的限制。下列與問題相關的訊息會顯示在您的 CloudWatch 日誌中:
【WARN】 無法讀取檔案 /
your-bucket
/your-object
的中繼資料:S3 取得物件標記失敗:在不標記的情況下繼續
若要避免這種情況,請在設定傳輸任務設定時取消選取複製物件標籤選項。
任務執行的時間戳記不相符
查看 DataSync 主控台或 Amazon CloudWatch logs時,您可能會注意到 DataSync 任務執行的開始和結束時間不符合您在其他監控工具中看到的時間戳記。這是因為主控台和 CloudWatch 日誌會將任務執行花費在啟動或佇列狀態的時間納入考量,而其他一些工具則不會。
比較 DataSync 主控台或 CloudWatch 日誌與下列位置之間的執行時間戳記時,您可能會注意到此差異:
-
傳輸所涉及之檔案系統的日誌
-
DataSync 寫入的 Amazon S3 物件上上次修改的日期
-
來自 DataSync 代理程式的網路流量
-
Amazon EventBridge 事件
任務執行失敗並NoMem
發生錯誤
您嘗試傳輸的資料集對於 DataSync 而言可能太大。如果看到此錯誤,請聯絡 AWS 支援 中心
物件無法傳輸到 ,Azure Blob Storage但user metadata key
發生錯誤
從 S3 儲存貯體轉移到 時Azure Blob Storage,您可能會看到下列錯誤:
[ERROR] Failed to transfer file
/user-metadata/file1
: Azure Blob user metadata key must be a CSharp identifier
這表示
包含未使用有效 C# 識別符的使用者中繼資料。如需詳細資訊,請參閱 Microsoft 文件/user-metadata/file1
目的地位置中有一個/.aws-datasync
資料夾
DataSync 會在目的地位置建立名為 /.aws-datasync
的資料夾,以協助促進資料傳輸。
雖然 DataSync 通常會在您傳輸後刪除此資料夾,但在某些情況下,可能不會發生這種情況。
採取動作
只要您沒有正在執行的任務執行複製到該位置,隨時刪除此資料夾。
無法使用 SMB 在位置之間傳輸符號連結
當您的任務執行完成時,您會看到下列錯誤:
Transfer and verification completed. Selected files transferred except for files skipped due to errors. If no skipped files are listed in Cloud Watch Logs, please contact AWS Support for further assistance.
在 SMB 儲存系統 (例如 SMB 檔案伺服器和 Amazon FSx for Windows File Server 檔案系統) 之間傳輸時,您可能會在 CloudWatch 日誌中看到下列警告和錯誤:
[WARN] Failed to read metadata for file /appraiser/symlink: No data available [ERROR] Failed to read metadata for directory /appraiser/symlink: No data available
採取動作
在這些位置類型之間傳輸時,DataSync 不支援傳輸符號連結 (或硬連結)。如需詳細資訊,請參閱由 複製的連結和目錄 AWS DataSync。
任務報告錯誤
嘗試使用任務報告監控 DataSync 傳輸時,您可能會遇到下列其中一個錯誤。
錯誤訊息 | 解決方法 |
---|---|
|
N/A (DataSync 無法傳輸路徑超過 4,096 個位元組的檔案) 如需詳細資訊,請參閱儲存系統、檔案和物件限制。 |
|
檢查 DataSync IAM 角色是否具有將任務報告上傳至 S3 儲存貯體的正確許可。 |
|
檢查您的 CloudWatch 日誌,以識別任務執行失敗的原因。 |