對 AWS DataSync 傳輸的問題進行故障診斷

下列主題說明 AWS DataSync 位置和任務的常見問題，以及解決這些問題的方式。

如何設定 DataSync 使用特定 NFS 或 SMB 版本掛載檔案共享？

對於支援網路檔案系統 (NFS) 或伺服器訊息區塊 (SMB) 的位置，DataSync 預設會為您選擇通訊協定版本。您也可以使用 DataSync 主控台或 API 自行指定版本。

要採取的動作 (DataSync 主控台）

建立 NFS 或 SMB 位置時，請設定您希望 DataSync 使用的通訊協定版本。如需詳細資訊，請參閱 使用 NFS 檔案伺服器設定 AWS DataSync 傳輸或 使用 SMB 檔案伺服器設定 AWS DataSync 傳輸)。

要採取的動作 (DataSync API)

建立或更新 NFS 或 SMB 位置時，請指定 Version 參數。例如，請參閱「CreateLocationNfs」或「CreateLocationSmb」。

下列範例 AWS CLI 命令會使用 NFS 4.0 版建立 DataSync 掛載的 NFS 位置。

aws datasync create-location-nfs --server-hostname your-server-address \
   --on-prem-config AgentArns=your-agent-arns \
   --subdirectory nfs-export-path \
   --mount-options Version="NFS4_0"

下列範例 AWS CLI 命令會使用 SMB 第 3 版建立 DataSync 掛載的 SMB 位置。

aws datasync create-location-smb --server-hostname your-server-address \
   --on-prem-config AgentArns=your-agent-arns \
   --subdirectory smb-export-path \
   --mount-options Version="SMB3"

錯誤：無效的 SyncOption 值。選項：TransferMode、PreserveDeletedFiles、Value： ALL、REMOVE。

當您建立或編輯 DataSync 任務，並選取傳輸所有資料選項，然後取消選取保留已刪除檔案選項時，就會發生此錯誤。當您傳輸所有資料時，DataSync 不會掃描目的地位置，也不知道要刪除什麼。

我的任務持續失敗，並出現 EniNotFound 錯誤

如果您在虛擬私有雲端 (VPC) 中刪除任務的其中一個網路介面，就會發生此錯誤。如果您的任務已排程或已排入佇列，則如果任務缺少傳輸資料所需的網路介面，則任務將會失敗。

要採取的動作

您有下列選項可以解決此問題：

• 手動重新啟動任務。執行此操作時，DataSync 會建立執行任務所需的任何缺少網路介面。

• 如果您需要清除 VPC 中的資源，請確定您不會刪除與仍在使用之 DataSync 任務相關的網路介面。

  若要查看分配給任務的網路介面，請執行下列其中一項操作：

  • 使用 DescribeTask 操作。您可以在 SourceNetworkInterfaceArns和 DestinationNetworkInterfaceArns回應元素中檢視網路介面。

  • 在 Amazon EC2 主控台中，搜尋您的任務 ID （例如 task-f012345678abcdef0) 以尋找其網路介面。

• 考慮不要自動執行您的任務。這可能包括停用任務佇列或排程 （透過 DataSync 或自訂自動化）。

我的任務因 NFS 許可遭拒錯誤而失敗

如果您使用 root_squash或 設定 NFS 檔案伺服器，all_squash且您的檔案都無法讀取，則可能會收到「許可遭拒」錯誤訊息。

採取動作

若要修正此問題，請使用 設定 NFS 匯出，no_root_squash或確定您要傳輸的所有檔案的許可允許所有使用者的讀取存取。

若要讓 DataSync 存取目錄，您還必須啟用所有執行檔存取。為了確保目錄可供掛載，請先連接至與代理程式具有相同網路組態的任何電腦，然後執行下列 CLI 命令：

mount -t nfs -o nfsvers=<your-nfs-server-version> <your-nfs-server-name>:<nfs-export-path-you-specified> <new-test-folder-on-your-computer>

如果問題仍未解決，請聯絡 AWS 支援 中心。

我的任務因 NFS 掛載錯誤而失敗

執行涉及 NFS 檔案伺服器位置的 DataSync 任務時，您可能會看到下列錯誤：

任務無法存取位置 loc-1111222233334444a：x40016： mount.nfs：連線逾時

要採取的動作

請執行下列動作，直到錯誤解決為止。

1. 請確定您在 DataSync 位置中指定的 NFS 檔案伺服器和匯出有效。如果不是，請刪除您的位置和任務，然後建立使用有效 NFS 檔案伺服器和匯出的新位置和任務。如需詳細資訊，請參閱使用 DataSync 主控台。

2. 檢查您的代理程式與 NFS 檔案伺服器之間的防火牆組態。如需詳細資訊，請參閱 內部部署、自我管理、其他雲端和邊緣儲存的網路需求。

3. 請確定您的代理程式可以存取 NFS 檔案伺服器並掛載匯出。如需詳細資訊，請參閱提供對 NFS 檔案伺服器的 DataSync 存取權。

4. 如果您仍然看到錯誤，請使用 開啟支援管道 支援。如需詳細資訊，請參閱我不知道客服人員的情況。有人可以協助我嗎？。

我的任務因 Amazon EFS 掛載錯誤而失敗

執行涉及 Amazon EFS 位置的 DataSync 任務時，您可能會看到下列錯誤：

任務無法存取位置 loc-1111222233334444a：x40016：無法使用 IP：10.10.1.0 連線至 EFS 掛載目標。

如果您使用位置設定的 Amazon EFS 檔案系統的掛載路徑已更新或刪除，就可能發生這種情況。DataSync 不知道檔案系統中的這些變更。

採取動作

刪除您的位置和任務，並使用新的掛載路徑建立新的 Amazon EFS 位置。

NFS 傳輸不會維護檔案擁有權

傳輸之後，您可能會注意到 DataSync 目的地位置中的檔案具有與來源位置中相同檔案不同的使用者 IDs (UIDs) 或群組 IDs (GIDs)。例如，目的地中的檔案可能具有 65534、 99或 的 UIDnobody。

如果傳輸中涉及的檔案系統使用 NFS 第 4 版 ID 映射，即 DataSync 不支援的功能，就可能發生這種情況。

採取動作

您有幾個選項可以解決此問題：

• 為使用 NFS 第 3 版而非第 4 版的檔案系統建立新的位置。

• 在檔案系統上停用 NFS 第 4 版 ID 映射。

重試傳輸。任一選項都應解決問題。

我的任務無法存取使用 Kerberos 的 SMB 位置

使用 Kerberos 身分驗證的 SMB 位置的 DataSync 錯誤通常與位置和 Kerberos 組態之間的不相符有關。也可能發生網路問題。

無法存取位置

下列錯誤表示您的 SMB 位置或 Kerberos 設定可能有組態問題：

Task failed to access location

驗證下列項目：

• 您為位置指定的 SMB 檔案伺服器是網域名稱。對於 Kerberos，您無法指定檔案伺服器的 IP 地址。

• 您為位置指定的 Kerberos 委託人與您用來建立 Kerberos 金鑰資料表 (keytab) 檔案的委託人相符。主體名稱區分大小寫。

• 自您建立 keytab 檔案以來，Kerberos 主體的映射使用者密碼尚未變更。如果密碼變更 （因為密碼輪換或其他原因），您的任務執行可能會失敗，並出現下列錯誤：

  任務無法存取位置 loc-1111222233334444a：x40015：kinit：取得初始登入資料時預先驗證失敗

無法聯絡 KDC 領域

下列錯誤表示網路問題：

kinit: Cannot contact any KDC for realm 'MYDOMAIN.ORG' while getting initial credentials"

驗證下列項目：

• 您提供 DataSync 的 Kerberos 組態檔案 (krb5.conf) 具有關於 Kerberos 領域的正確資訊。如需範例krb5.conf檔案，請參閱 Kerberos 身分驗證先決條件。

• Kerberos Key Distribution Center (KDC) 伺服器連接埠已開啟。KDC 連接埠通常是 TCP 連接埠 88。

• 您網路上的 DNS 組態。

我的任務因無法配置記憶體錯誤而失敗

當您的 DataSync 任務失敗且發生無法配置記憶體錯誤時，可能表示有幾件不同的事。

採取動作

請嘗試以下操作，直到您不再看到問題為止：

• 如果您的傳輸涉及代理程式，請確定代理程式符合虛擬機器 (VM) 或 Amazon EC2 執行個體需求。

• 使用篩選條件將傳輸分割成多個任務。您嘗試傳輸的檔案或物件可能超過一個 DataSync 任務可以處理的範圍。

• 如果您仍然看到問題，請聯絡 支援 。

我的任務因輸入/輸出錯誤而失敗

如果您的儲存系統失敗來自 DataSync 代理程式的輸入/輸出請求，您可以收到輸入/輸出錯誤訊息。常見的原因包括伺服器磁碟故障、防火牆組態的變更，或網路路由器故障。

如果錯誤涉及 NFS 檔案伺服器或 Hadoop 分散式檔案系統 (HDFS) 叢集，請使用下列步驟來解決錯誤。

要採取的動作 (NFS)

首先，檢查 NFS 檔案伺服器的日誌和指標，以判斷問題是否在 NFS 伺服器上啟動。如果是，請解決此問題。

接著，確定網路組態並未變更。若要檢查 NFS 檔案伺服器是否已正確設定，以及 DataSync 是否可以存取，請執行下列動作：

1. 在與 代理程式相同的網路子網路上設定另一個 NFS 用戶端。

2. 在該用戶端上掛載共用區。

3. 確認用戶端可成功讀取和寫入該共用區。

要採取的動作 (HDFS)

執行下列動作，直到您解決錯誤：

1. 請確定您的 HDFS 叢集允許 DataSync 代理程式與叢集的 NameNode 和 DataNode 連接埠通訊。

   在大多數叢集中，您可以在下列組態檔案中找到叢集使用的連接埠號碼：

   • 若要尋找 NameNode 連接埠，請查看 fs.default或 fs.default.name 屬性下的 core-site.xml 檔案 （取決於 Hadoop 分佈）。

   • 若要尋找 DataNode 連接埠，請查看 dfs.datanode.address 屬性下的 hdfs-site.xml 檔案。

2. 在您的 hdfs-site.xml檔案中，確認您的 dfs.data.transfer.protection 屬性只有一個值。例如：

   <property>
      <name>dfs.data.transfer.protection</name>
      <value>privacy</value>
   </property>

我的任務執行有啟動狀態，但似乎沒有發生

您的 DataSync 任務可能會卡在啟動狀態，通常是因為代理程式已關閉電源或網路連線中斷。

採取動作

請確定客服人員的狀態為線上。如果代理程式為 OFFLINE，請確定已開啟電源。

如果代理程式已開啟，且任務仍在啟動中，則代理程式與 之間可能存在網路連線問題 AWS。如需如何測試網路連線的資訊，請參閱驗證您的代理程式與 DataSync 服務的連線。

如果您仍然遇到此問題，請參閱 我不知道客服人員的情況。有人可以協助我嗎？。

我的任務執行似乎卡在準備狀態

DataSync 傳輸任務的準備狀態時間取決於傳輸來源和目的地中的資料量，以及這些儲存系統的效能。

任務啟動時，DataSync 會執行遞迴目錄清單，以探索來源和目的地中的所有檔案、物件、目錄和中繼資料。DataSync 使用這些清單來識別儲存系統之間的差異，並決定要複製的內容。此程序可能需要幾分鐘或甚至幾個小時。

採取動作

您不應該採取任何動作。繼續等待任務狀態變更為 Transferring。如果狀態仍未變更，請聯絡 AWS 支援 中心。

DataSync 驗證我執行的任務需要多長時間？

根據預設，DataSync 會在傳輸結束時驗證資料完整性。驗證需要多長時間取決於多種因素。檔案或物件的數量、來源和目的地儲存系統中的資料總量，以及這些系統的效能會影響驗證所需的時間。驗證包含所有檔案內容的 SHA256 檢查總和，以及所有檔案中繼資料的確切比較。

採取動作

您不應該採取任何動作。如果任務狀態仍未變更為成功或錯誤，請聯絡 AWS 支援 中心。

我的任務會在傳輸完成之前停止

如果您的 DataSync 任務執行提早停止，您的任務組態可能包含 AWS 區域 在 中停用的 AWS 帳戶。

要採取的動作

執行下列動作以再次執行您的任務：

1. 檢查任務區域的選擇加入狀態，並確認已啟用。

2. 再次啟動任務。

從 Google Cloud Storage 儲存貯體傳輸時，我的任務失敗

由於 DataSync 使用 Amazon S3 API 與 Google Cloud Storage 通訊，因此如果您嘗試複製物件標籤，可能會有限制，可能會導致 DataSync 傳輸失敗。下列與問題相關的訊息會顯示在您的 CloudWatch 日誌中：

【WARN】 無法讀取檔案 /your-bucket/your-object 的中繼資料：S3 取得物件標記失敗：繼續進行而不標記

若要避免這種情況，請在設定傳輸任務設定時取消選取複製物件標籤選項。

我任務的開始和結束時間與日誌中的項目不相符

您在 DataSync 主控台中看到的任務執行的開始和結束時間，可能與您在傳輸的其他相關時間戳記不同。這是因為主控台不會將任務執行花費在啟動或佇列狀態的時間納入考量。

例如，您的 Amazon CloudWatch logs可以指出您的任務執行結束的時間晚於 DataSync 主控台中顯示的內容。您可能會注意到以下區域有類似的差異：

• 傳輸中涉及的檔案系統或物件儲存系統的日誌

• DataSync 寫入的 Amazon S3 物件上上次修改的日期

• 來自 DataSync 代理程式的網路流量

• Amazon EventBridge 事件

錯誤：SyncTaskDeletedByUser

在自動化某些 DataSync 工作流程時，您可能會意外看到此錯誤。例如，您可能有一個指令碼，在任務執行完成或處於佇列狀態之前刪除您的任務。

若要修正此問題，請重新設定您的自動化，讓這些類型的動作不會重疊。

錯誤：NoMem

您嘗試傳輸的一組資料對於 DataSync 而言可能太大。如果看到此錯誤，請聯絡 AWS 支援 中心。

錯誤：FsS3UnableToConnectToEndpoint

DataSync 無法連線至您的 Amazon S3 位置。這可能表示位置的 S3 儲存貯體無法連線，或位置未正確設定。

請執行下列動作，直到您解決問題：

• 檢查 DataSync 是否可以存取您的 S3 儲存貯體。

• 使用 DataSync 主控台或 DescribeLocationS3 操作，確保您的位置設定正確。

錯誤：FsS3HeadBucketFailed

DataSync 無法存取您要從中傳輸的 S3 儲存貯體。檢查 DataSync 是否具有使用 Amazon S3 HeadBucket 操作存取儲存貯體的許可。如果您需要調整許可，請參閱 提供對 S3 儲存貯體的 DataSync 存取權。

我的任務失敗並發生錯誤 Unable to list Azure Blobs on the volume root

如果您的 DataSync 傳輸任務失敗，但發生錯誤Unable to list Azure Blobs on the volume root，則您的共用存取簽章 (SAS) 字符或Azure儲存帳戶的網路可能會發生問題。

要採取的動作

請嘗試以下操作，然後再次執行任務，直到您修正問題為止：

• 請確定您的 SAS 字符具有存取 的正確許可Microsoft Azure Blob Storage。

• 如果您在 中執行 DataSync 代理程式Azure，請設定您的儲存體帳戶，以允許從代理程式所在的虛擬網路存取 。

• 如果您是在 Amazon EC2 上執行代理程式，請將Azure儲存防火牆設定為允許從代理程式的公有 IP 地址存取。

如需如何設定Azure儲存帳戶網路的資訊，請參閱 Azure Blob Storage 文件。

物件無法傳輸到 ，Azure Blob Storage但user metadata key發生錯誤

從 S3 儲存貯體轉移到 時Azure Blob Storage，您可能會看到下列錯誤：

[ERROR] Failed to transfer file /user-metadata/file1: Azure Blob user metadata key must be a CSharp identifier

這表示 /user-metadata/file1包含不使用有效 C# 識別符的使用者中繼資料。如需詳細資訊，請參閱 Microsoft 文件。

錯誤：FsAzureBlobVolRootListBlobsFailed

DataSync 用來存取 的共用存取簽章 (SAS) 字符Microsoft Azure Blob Storage沒有清單許可。

若要解決此問題，請使用具有清單許可的權杖更新您的位置，然後再次嘗試執行您的任務。

錯誤：SrcLocHitAccess

DataSync 無法存取您的來源位置。檢查 DataSync 是否具有存取位置的許可，並嘗試再次執行您的任務。

錯誤：SyncTaskErrorLocationNotAdded

DataSync 無法存取您的位置。檢查 DataSync 是否具有存取位置的許可，並嘗試再次執行您的任務。

任務報告錯誤

嘗試使用任務報告監控 DataSync 傳輸時，您可能會遇到下列其中一個錯誤。

錯誤訊息	解決方法
檔案路徑超過 4，096 個字元的長度上限。無法寫入任務報告	N/A (DataSync 無法傳輸路徑超過 4，096 個位元組的檔案） 如需詳細資訊，請參閱儲存系統、檔案和物件限制。
由於儲存貯體或 IAM 角色無效，無法將任務報告上傳至 S3 (S3)	檢查 DataSync IAM 角色是否具有將任務報告上傳至 S3 儲存貯體的正確許可。
產生任何任務報告之前發生執行錯誤	檢查您的 CloudWatch 日誌，找出任務執行失敗的原因。

具有 Amazon S3 的任務失敗，並出現 HeadObject或 GetObjectTagging 錯誤

如果您要從 S3 儲存貯體傳輸具有特定版本 IDs物件，您可能會看到與 HeadObject或 相關的錯誤GetObjectTagging。例如，以下是與 相關的錯誤GetObjectTagging：

[WARN] Failed to read metadata for file /picture1.png (versionId: 111111): S3 Get Object Tagging Failed
[ERROR] S3 Exception: op=GetObjectTagging photos/picture1.png, code=403, type=15, exception=AccessDenied, 
msg=Access Denied req-hdrs: content-type=application/xml, x-amz-api-version=2006-03-01 rsp-hdrs: content-type=application/xml, 
date=Wed, 07 Feb 2024 20:16:14 GMT, server=AmazonS3, transfer-encoding=chunked, 
x-amz-id-2=IOWQ4fDEXAMPLEQM+ey7N9WgVhSnQ6JEXAMPLEZb7hSQDASK+Jd1vEXAMPLEa3Km, x-amz-request-id=79104EXAMPLEB723

如果您看到這些錯誤，請驗證 DataSync 用來存取 S3 來源位置的 IAM 角色具有下列許可：

• s3:GetObjectVersion

• s3:GetObjectVersionTagging

如果您需要更新具有這些許可的角色，請參閱 為 DataSync 建立 IAM 角色以存取您的 Amazon S3 位置。

為什麼我的目的地位置中有一個/.aws-datasync資料夾？

DataSync /.aws-datasync 會在目的地位置建立名為 的資料夾，以協助促進資料傳輸。

雖然 DataSync 通常會在您傳輸後刪除此資料夾，但在某些情況下，可能不會發生這種情況。

採取動作

只要您沒有正在執行的任務執行複製到該位置，隨時刪除此資料夾。