开始使用 Nimble Studio File Transfer - Nimble Studio 文件传输功能

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

开始使用 Nimble Studio File Transfer

本教程将说明如何安装和配置 File Transfer。开始以下步骤之前,请确保管理员已阅读本 设置 Nimble Studio File Transfer 教程。

如果您按照本教程操作时遇到任何问题,请参阅 对 Nimble Studio File Transfer 的支持 页面。

先决条件

安装和配置 File Transfer 之前,请完成 设置 Nimble Studio File Transfer 部分。

硬件配置

我们建议您的计算机满足以下要求才能使用 File Transfer。有关如何提高传输速度的更多信息,请参阅 性能优化

  • 8 个逻辑 CPU 内核

  • 8 GB RAM

传输速度取决于硬件、网络配置和带宽。File Transfer 可以在网络和硬件允许的情况下传输文件。例如,如果您的计算机分配的网络带宽为 500 Mbps,则 File Transfer 完成传输的最快速度为 500 Mbps。

步骤 1:安装 File Transfer

File Transfer 安装程序将指导您完成设置,并根据您的计算机设置正确的线程和组块大小。

File Transfer 客户端中下载并安装 Nimble Studio File Transfer 客户端。

步骤 2:配置 File Transfer

File Transfer 可以使用图形用户界面 (GUI) 或命令行界面 (CLI)。如果您使用桌面操作系统 (OS),则可以使用 GUI 配置 File Transfer。如果您并未使用桌面操作系统,则可以使用 File Transfer CLI 配置和运行 File Transfer。使用 CLI 的 File Transfer 灵活性更高。

GUI

必须先添加远程配置,然后才能使用 File Transfer 传输文件。远程配置被视为不同的配置,可用于将文件传输到不同的存储桶或目录。

添加远程配置
  1. 在 GUI 的 S3 存储桶文件浏览器窗口中选择创建远程配置

  2. 添加远程配置部分中,输入以下信息。

    1. 远程配置名称中,输入远程配置的名称。名称在设置后无法修改。

    2. S3 存储桶中,添加要用于 File Transfer 的 S3 存储桶名称。要创建 S3 存储桶,请参阅创建 S3 存储桶

    3. AWS 区域中,输入您的 S3 存储桶所在的区域。

    4. AWS 命名配置文件中,输入要用于 S3 访问的 AWS 命名配置文件。如果选择改为使用 AWS 访问密钥或 AWS 密钥,请将此字段留空。如果您没有 AWS 命名配置文件,请参阅创建 IAM 访问策略。设置 AWS CLI主题。

  3. 选择添加以继续。

  4. 高级部分中,输入以下信息。

    1. 存储类指定 S3 存储桶的存储类。有关存储类的信息,请参阅 Amazon S3 存储类

    2. 校验和算法指定使用哪种校验和算法进行校验和计算。

    3. (可选)本地目录指定本地计算机上的默认目录。

    4. (可选)S3 存储桶前缀指定 S3 存储桶的默认目录。

    5. 过滤器根据格式为文件指定过滤器。此字段接受有效的正则表达式。例如,"^.*\.(mov)$" 仅上传以 .mov 结尾的文件。

    6. 最长时间限制 File Transfer 为在 Max Age 时间值之后和当前时间之前创建或修改的文件。单位为 m(分钟)、h(小时)、d(天)和w(周)。如果未提供单位,则以秒为单位指定该值。例如,输入 5d 会传输过去五天内创建或修改的文件。输入 350 会传输过去 350 秒内创建或修改的文件。

    7. (可选)文件顺序列表按文件扩展名设置传输优先级。输入扩展名以将其添加到此列表中。扩展名不在此列表中的文件优先级最低,将按照文件在文件系统中列出的顺序进行传输。

      带有 .mov 和 .txt 扩展名的文件传输文件顺序列表示例图像。
    8. 传输自动调整在启用后可动态设置文件传输的线程数和组块大小。默认为启用状态。建议您保持启用此选项。

      威胁数量

      用于传输每个单独文件的单一线程数。

      组块大小

      每个线程传送的组块大小(以 MB 为单位)。

    9. 启用使用 S3 Transfer Acceleration 后,可以提高较大文件的传输速度。最佳实践是关闭 S3 Transfer Acceleration,因为在 File Transfer 中实现高速传输不需要使用 S3 Transfer Acceleration。如果存储桶距离您的地理位置上很远,请开启此功能。有关更多信息,请参阅 S3 Transfer Acceleration。如果启用此功能,可能需要支付额外费用。有关更多信息,请参阅 Amazon S3 定价

    10. 启用元数据筛选器在启用后会自动筛选系统元数据文件。这些文件包括以 ._ 开头的文件以及 thumbs.db.DS_Store 文件。

  5. 选择保存

添加 studio ID
  1. 打开 File Transfer。

    1. 转到开始菜单并搜索 File Transfer

    2. 从列表中选择 Nimble Studio File Transfer

  2. 从下拉菜单 ( The menu icon. ) 中选择设置

  3. 输入 在 Nimble Studio 中设置工作室 教程中的工作室 ID 。

  4. 选择 Save(保存)。

CLI

现在 File Transfer 已安装完毕,请编辑配置文件。

编辑配置文件
  1. 使用计算机上的任何文本编辑软件打开配置文件。

    1. Windows:导航到您计算机上的 User/<your username> 文件夹。打开 .filetransfer 文件夹,用文本编辑器打开 filetransfer.yaml 文件。

    2. macOS:输入 Cmd+Shift+G。然后输入 ~/.filetransfer。使用文本编辑器打开 filetransfer.yaml 文件。

    3. Linux:使用任何文本编辑器打开 filetransfer.yaml 文件。文件位于 ~/.filetransfer/configuration.yaml 中。

  2. 定义配置文件中的以下变量。必填值已填充。您必须提供可选值。

    1. studio_id:输入 在 Nimble Studio 中设置工作室 教程中的工作室 ID 。

    2. max_active_checksums:输入同时处理的单个校验和的数量。如果此值超过系统中可用 CPU 内核数,将显示一条警告消息,并且该值上限为 CPU 内核数。有关更多信息,请参阅File Transfer 校验和

    3. max_active_transfers:输入同时处理的单个文件的数量。

  3. 在配置文件中至少定义一个远程配置。未填充远程配置的必填值,因此您必须手动输入这些值。为每个远程配置定义以下变量。

    protocols: s3: remote_configuration: demo: name: demo bucket: my-bucket region: us-west-2 profile: my-profile storage_class: standard auto_tuning: true chunk_size: 25 threads: 10 checksum_algorithm: md5_hex max_age: "" accelerated: false file_order: [] filter: "" upload_hot_folder: enabled: false local_source_folder: "" s3_destination_folder: "" enable_metadata_filter: true paths: local: "" remote: ""
  4. name:输入传输配置文件的名称。

  5. bucket:输入要上传到其中和从其下载的 S3 存储桶的名称。管理员应该已经在 创建 S3 存储桶 中创建了存储桶。

  6. region:输入您的存储桶所在的 AWS 区域。

  7. profile:输入管理员在 设置 AWS CLI 步骤 4 中创建的配置文件的名称。使用此配置文件即可访问 Amazon Simple Storage Service (Amazon S3)。要获取配置的配置文件列表,请在终端窗口中运行以下命令:aws configure list

  8. storage_class:默认情况下,该选项设置为 standard。此变量的可接受值为:

    • reduced_redundancy

    • standard_ia

    • onezone_ia

    • intelligent_tiering

    • glacier

    • deep_archive

    • glacier_ir

    注意

    您可以将任何存储类直接上传到 Amazon S3 中。如果使用 S3 Glacier Deeep Archive 或 S3 Glacier Flexible Retrieval,则不能从 File Transfer 直接下载使用 File Transfer 上传的对象。有关存储类的更多信息,请参阅 Amazon S3 存储类

  9. auto_tuning:根据文件大小自动调整区块大小和最大活动传输量。默认情况下,该选项设置为 true

  10. chunk_size:输入每个线程传送的组块的大小(以 MB 为单位)。如果将 auto_tuning 设置为 true,则此字段不是必填字段。

  11. threads:输入用于传输每个单独文件的单一线程数。如果将 auto_tuning 设置为 true,则此字段不是必填字段。

  12. checksum_algorithm:这是将文件上传到 S3 时将使用的校验和算法。您可以在 md5-hex(默认值)、xxhashxxhash64xxh3 checksum algorithms 之间进行选择。

  13. (可选)Max Age:限制 File Transfer 为在 Max Age 时间值之后和当前时间之前创建或修改的文件。单位为 m(分钟)、h(小时)、d(天)和w(周)。如果未提供单位,则以秒为单位指定该值。例如,输入 5d 会传输过去五天内创建或修改的文件。输入 350 会传输过去 350 秒内创建或修改的文件。

  14. accelerated:启用 S3 Transfer Acceleration。默认情况下,该名称为 false。最佳实践是关闭 S3 Transfer Acceleration,因为在 File Transfer 中实现高速传输不需要使用 S3 Transfer Acceleration。如果存储桶距离您的地理位置上很远,请开启此功能。有关更多信息,请参阅 S3 Transfer Acceleration。如果启用此功能,可能需要支付额外费用。有关更多信息,请参阅 Amazon S3 定价

  15. (可选)file_order:输入以逗号分隔的文件扩展名列表,以定义要传输的文件的优先级。您未列出文件扩展名的文件将按文件系统列出的顺序最后传输。例如,".mov,.txt" 优先传输 .mov 文件而不是 .txt 文件。

  16. (可选)filter:根据文件格式筛选正在传输的文件。filter 字段接受有效的正则表达式。例如,"^.*\.(mov)$" 仅上传以 .mov 结尾的文件。

  17. (可选)upload_hot_folder enabled:开启上传热文件夹功能。

  18. (可选)upload_hot_folder local_source_folder:启用 upload hot folder 时为必填项。File Transfer 将以递归方式监视指定文件夹中的所有文件系统事件,并在添加或修改文件时启动上传。

  19. (可选)upload_hot_folder s3_destination_folder:启用 upload hot folder 时为必填项。上传的热文件夹文件将添加到此文件夹中。

  20. enable_metadata_filter:当为 true 时,File Transfer 会自动筛选系统元数据文件。这些文件包括 Thumbs.db.DS_Store 和以 ._ 开头的文件。

  21. (可选)paths local:本地文件系统中 File Transfer 文件的根文件夹。

  22. (可选)paths remote:S3 存储桶中 File Transfer 文件的根文件夹。

  23. (可选)paths local:输入文件路径。传输将从本地文件系统文件浏览器中的该本地路径开始。

  24. (可选)paths remote:输入文件路径。传输将从 S3 存储桶的文件浏览器中的该路径开始。

  25. 保存配置文件。

  26. 运行以下命令验证 AWS 凭证:filetransfer validate-credentials remote configuration

    1. 远程配置替换为您创建的配置的名称。

    2. 此命令会检查您提供的 AWS 凭证,例如 IAM 密钥。此命令检查 File Transfer 是否能够连接到 Amazon S3,并列出配置文件中指定的存储桶中的对象。

完成安装和配置后,您现在可以开始使用 File Transfer 了。