截止日期云虚拟文件系统 - AWS 截止日期云
启用 VFS 支持VFS 支持疑难解答

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

截止日期云虚拟文件系统

De AWS adline Cloud 中对作业附件的虚拟文件系统支持使工作人员上的客户端软件能够直接与 Amazon Simple Storage Service 通信。工作人员只能在需要时加载文件，而不是在处理之前下载所有文件。文件存储在本地。这种方法可以避免下载多次使用的资源。任务完成后，所有文件都将被删除。

  • 虚拟文件系统为特定的作业配置文件提供了显著的性能提升。通常，文件总量中较小的子集和较大的工作人员队伍显示出最大的好处。工作线程较少的少量文件处理时间大致相同。

  • 虚拟文件系统支持仅适用于服务管理队Linux列中的工作人员。

  • Deadline Cloud 虚拟文件系统支持以下操作，但不兼容 POSIX：

    • 文件create、delete、open、close、read、write、、append、truncate、rename、move、copy、stat、fsync、和 falloc

    • 目录create、delete、rename、move、copy、和 stat

  • 当您的任务仅访问大型数据集的一部分，并且未针对所有工作负载进行优化时，虚拟文件系统旨在减少数据传输并提高性能。在运行生产作业之前，您应该测试您的工作负载。

启用 VFS 支持

为每个作业启用了虚拟文件系统支持 (VFS)。在以下情况下，作业会回退到默认的作业附件框架：

  • 工作器实例配置文件不支持虚拟文件系统。

  • 问题导致无法启动虚拟文件系统进程。

  • 无法装载虚拟文件系统。

使用提交者启用虚拟文件系统支持

  1. 提交作业时，选择 “设置” 按钮以打开 De AWS adline Cloud 工作站配置面板。

  2. 从 Job 附件文件系统选项下拉列表中，选择 V IRTUAL。

    Deadline Cloud 提交者显示了作业附件文件系统的选项。

  3. 要保存更改，请选择 “确定”。

要启用虚拟文件系统支持，请使用 AWS CLI

  • 提交保存的作业时，请使用以下命令：

    deadline bundle submit-job --job-attachments-file-system VIRTUAL

要验证是否为特定任务成功启动了虚拟文件系统，请在 Amazon Logs 中查看您的 CloudWatch 日志。查找以下消息：

Using mount_point mount_point
Launching vfs with command command
Launched vfs as pid PID number

如果日志包含以下消息，则虚拟文件系统支持已禁用：

Virtual File System not found, falling back to COPIED for JobAttachmentsFileSystem.

虚拟文件系统支持疑难解答

您可以使用 Deadline Cloud 监视器查看虚拟文件系统的日志。有关说明，请参阅在截止日期云中查看会话和工作人员日志。

虚拟文件系统日志还会发送到与工作器代理输出共享的队列关联的 CloudWatch 日志组。