对 DataSync 任务问题进行故障排除

使用以下信息来帮助您解决与 AWS DataSync 任务和任务执行有关的问题。这些问题可能包括任务设置问题、任务执行停滞以及数据无法按预期传输。

错误： SyncOption 值无效。选项： TransferMode，PreserveDeletedFiles，值：全部，移除。

当您创建或编辑 DataSync 任务并选择 “传输所有数据” 选项并取消选择 “保留已删除文件” 选项时，就会发生此错误。

当您传输所有数据时， DataSync 不会扫描您的目标位置，也不知道要删除什么。

任务执行失败并EniNotFound出现错误

如果您删除虚拟私有云（VPC）中任务的网络接口之一，则会发生此错误。如果您的任务已安排或已排队，则如果缺少传输数据所需的网络接口，则该任务将失败。

要采取的操作

要解决此问题，您具有以下选项：

• 手动重启任务。执行此操作时， DataSync 将创建运行任务所需的所有缺失网络接口。

• 如果您需要清理 VPC 中的资源，请确保不要删除与您仍在使用的 DataSync 任务相关的网络接口。

  要查看分配给任务的网络接口，请执行以下操作之一：

  • 使用 DescribeTask 操作。您可以在 SourceNetworkInterfaceArns 和 DestinationNetworkInterfaceArns 响应元素中查看网络接口。

  • 在 Amazon EC2 控制台中，搜索您的任务 ID（例如task-f012345678abcdef0）以查找其网络接口。

• 考虑不要自动运行任务。这可能包括禁用任务队列或调度（通过 DataSync 或自定义自动化）。

任务执行失败，出现 “无法分配内存” 错误

当您的 DataSync 任务因无法分配内存错误而失败时，这可能意味着一些不同的含义。

要采取的操作

请尝试以下操作，直到问题不再出现为止：

• 如果您的转移涉及代理，请确保代理符合虚拟机 (VM) 或 Amazon EC2 实例的要求。

• 使用筛选器将传输分成多个任务。您尝试传输的文件或对象可能超出了一项 DataSync 任务所能处理的范围。

• 如果问题依然存在，请联系 支持。

Amazon FSx fo Input/Output error r NetApp ONTAP 文件系统的任务失败

当您的 DataSync 任务因使用 Amazon FSx for NetApp ONTAP 文件系统传输数据而失败Input/Output error时，可能是由于以下一个或多个问题所致。

• FSx 适用于 ONTAP 的卷已达到其最大文件容量。当卷上可用 inode 或文件指针的数量用完时，就会发生这种情况。

• FSx 适用于 ONTAP 的卷已用完可用存储容量。

• DataSync 任务执行导致了过多的读写并发，占用了文件系统吞吐容量的很大一部分。

要采取的操作

您可以通过查看 ONTAP 卷的 FSx 状态以确定根本原因来解决此问题。

要确定卷是否已达到其最大文件容量并解决问题，请执行以下操作：

• 查看卷的最大文件容量 — 有关更多信息，请参阅 Amazon FSx for NetApp ONTAP 用户指南中的监控卷的文件容量。

• 通过增加 inode 的数量或增加存储容量来增加卷的文件容量。有关更多信息，请参阅 Amazon FSx f or NetApp ONTAP 用户指南中的增加卷的最大文件容量。

要确定卷是否已用完可用存储容量并解决问题，请执行以下操作：

• 确定卷的可用存储容量 — 有关更多信息，请参阅《ONTAP 用户指南》中的 FSx “监控卷存储容量”。

  如果该卷几乎没有可用的存储容量，则需要增加该卷的存储容量。有关更多信息，请参阅《f or ONTAP 用户指南》中的增加卷 FSx 的存储容量。

• 为避免卷可用存储容量耗尽的问题再次发生，请使用自动调整卷大小功能根据需要自动增加卷的存储容量。有关更多信息，请参阅《适用于 ONTAP 的用户指南》 FSx 中的使用卷自动调整大小。

要确定任务执行是否消耗了文件系统的可用吞吐容量过多，请执行以下操作：

• 使用可用 CloudWatch 指标监控文件系统的性能。有关更多信息，请参阅《适用于 ONTAP 的用户指南》 FSx 中的监控文件系统指标。

• 在 Amazon FSx 控制台中监控文件系统是否存在文件服务器性能警告。有关更多信息，请参阅《适用于 ONTAP 的用户指南》 FSx 中的性能警告和建议。

要解决此问题，您需要确保该任务不会使用文件系统的所有可用吞吐容量。执行以下操作：

• 将任务执行的带宽限制设置 FSx 为小于 ONTAP 文件系统的预配置吞吐量容量。有关更多信息，请参阅 为 AWS DataSync 任务设置带宽限制。

• 或者，您可以增加文件系统的预配置吞吐容量。有关更多信息，请参阅《适用于 ONTAP 的用户指南》 FSx 中的更新吞吐量容量。

任务失Connection Reset by peer败并显示 ONTAP 文件系统的Host is down消息 FSx

使用 for ONTAP 文件系统传输数据时，如果 DataSync 任务失败并Host is down显示Connection Reset by peer或消息，则可能是由于以下一个或多个问题所致。 FSx

• 在任务执行期间，文件系统的 SMB 服务器已重新启动或以其他方式断开连接。

• 任务执行期间，文件系统从主服务器（和 IP 地址）故障转移到辅助服务器。 DataSync 不支持在任务执行期间故障转移到辅助 IP 地址。

  FSx 对于 ONTAP 文件系统在以下事件期间故障切换到辅助服务器和 IP 地址：

  • 主服务器变为不可用。

  • 主服务器的可用区变为不可用（对于多可用区文件系统）。

  • 在用户启动的吞吐量容量更改期间。

  • 在文件系统的定期维护时段内。

  有关更多信息，请参阅《FSx 适用于 ONTAP 的用户指南》 FSx 中的 ONTAP 故障转移流程。

要采取的操作

重新启动任务。

任务执行处于启动状态，但似乎什么也没发生

您的 DataSync 任务可能会停留在 “启动” 状态，这通常是因为代理已关闭电源或已断开网络连接。

要采取的操作

确保您的代理的状态为在线。如果代理处于离线状态，请确保其已开机。

如果代理已打开电源并且任务仍停滞在正在启动状态，则很可能是您的代理和 AWS之间出现网络连接问题。有关如何测试网络连接的信息，请参阅验证您的代理与 DataSync服务的连接。

如果您仍遇到此问题，请参阅 我不知道我的代理出了什么问题。有人能帮我吗？。

任务执行似乎停留在准备状态

DataSync 传输任务处于 “准备中” 状态的时间取决于传输源和目标中的数据量以及这些存储系统的性能。

任务启动时， DataSync 执行递归目录列表以发现源和目标中的所有文件、对象、目录和元数据。 DataSync 使用这些列表来识别存储系统之间的差异并确定要复制的内容。此过程可能耗时数分钟甚至数小时。

要采取的操作

您无需做任何事情。只需继续等待直至任务状态变为正在传输。如果状态仍未变更，请联系 AWS 支持 中心。

任务执行在传输完成前停止

如果您的 DataSync 任务执行提前停止，则您的任务配置中可能包含已禁用的 AWS 账户。 AWS 区域

要采取的操作

执行以下操作以重新运行任务：

1. 检查任务区域的选择加入状态，并确保它们已启用。

2. 再次启动任务。

从 Google 云存储分区传输时任务执行失败

由于使用 Amazon S3 API DataSync 与 Google 云存储进行通信，因此如果您尝试复制对象标签，则存在一个限制，可能会导致 DataSync 传输失败。您的 CloudWatch 日志中会显示以下与该问题相关的消息：

[警告] 无法读取文件的元数据/your-bucket/your-object: S3 获取对象标记失败：继续不加标记

为防止出现这种情况，请在配置传输任务设置时取消选择复制对象标签选项。

任务执行的时间戳不匹配

在查看 DataSync 控制台或 Amazon CloudWatch 日志时，您可能会注意到 DataSync 任务执行的开始和结束时间与您在其他监控工具中看到的时间戳不匹配。这是因为控制台和 CloudWatch 日志会考虑任务执行在启动或排队状态下所花费的时间，而其他一些工具则没有。

在比较 DataSync 控制台或 CloudWatch 日志与以下位置之间的执行时间戳时，您可能会注意到这种差异：

• 传输中涉及的文件系统的日志

• DataSync 写入到 Amazon S3 对象的最后修改日期

• 来自 DataSync 代理的网络流量

• 亚马逊 EventBridge 活动

任务执行失败并NoMem出现错误

您要传输的数据集可能太大 DataSync。如果您看到此错误，请联系 AWS 支持 中心。

对象无法传输到 Azure Blob Storage，并出现 user metadata key 错误

从 S3 存储桶传输到 Azure Blob Storage 时，可能会出现以下错误：

[ERROR] Failed to transfer file /user-metadata/file1: Azure Blob user metadata key must be a CSharp identifier

这表示 /user-metadata/file1 包含的用户元数据没有使用有效的 C# 标识符。有关更多信息，请参阅 Microsoft 文档。

目标位置有一个/.aws-datasync文件夹

DataSync /.aws-datasync在目标位置创建一个名为的文件夹，以帮助简化数据传输。

虽然 DataSync 通常会在传输后删除此文件夹，但在某些情况下可能不会发生这种情况。

要采取的操作

只要没有正在执行的任务将数据复制到该位置，您就可以随时删除此文件夹。

无法使用 SMB 在位置之间传输符号链接

任务执行完成后，您会看到以下错误：

Transfer and verification completed. Selected files transferred except for files skipped due to errors. If no skipped files are listed in Cloud Watch Logs, please contact AWS Support for further assistance.

在 SMB 存储系统（例如 SMB 文件服务器和 Ama FSx zon for Windows 文件服务器文件系统）之间传输时，您可能会在日志中看到以下警告和错误： CloudWatch

[WARN] Failed to read metadata for file /appraiser/symlink: No data available
[ERROR] Failed to read metadata for directory /appraiser/symlink: No data available

要采取的操作

DataSync 不支持在这些位置类型之间传输符号链接（或硬链接）。有关更多信息，请参阅 由 AWS DataSync复制的链接和目录。

任务报告错误

在尝试使用任务报告监控您的 DataSync传输时，您可能会遇到以下错误之一。

错误消息	解决办法
文件路径超过了 4096 个字符的最大长度。无法写入任务报告	不适用（DataSync 无法传输路径超过 4,096 字节的文件） 有关更多信息，请参阅 存储系统、文件和对象限制。
由于存储桶或 IAM 角色无效，无法将任务报告上传到 S3	检查 DataSync IAM 角色是否具有将任务报告上传到您的 S3 存储桶的权限。
生成任何任务报告之前出现执行错误	检查您的CloudWatch 日志，确定任务执行失败的原因。