本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
开始使用 Nimble Studio File Transfer
本教程将说明如何安装和配置 File Transfer。开始以下步骤之前,请确保管理员已阅读本 设置 Nimble Studio File Transfer 教程。
如果您按照本教程操作时遇到任何问题,请参阅 对 Nimble Studio File Transfer 的支持 页面。
先决条件
安装和配置 File Transfer 之前,请完成 设置 Nimble Studio File Transfer 部分。
硬件配置
我们建议您的计算机满足以下要求才能使用 File Transfer。有关如何提高传输速度的更多信息,请参阅 性能优化。
-
8 个逻辑 CPU 内核
-
8 GB RAM
传输速度取决于硬件、网络配置和带宽。File Transfer 可以在网络和硬件允许的情况下传输文件。例如,如果您的计算机分配的网络带宽为 500 Mbps,则 File Transfer 完成传输的最快速度为 500 Mbps。
步骤 1:安装 File Transfer
File Transfer 安装程序将指导您完成设置,并根据您的计算机设置正确的线程和组块大小。
从 File Transfer 客户端
步骤 2:配置 File Transfer
File Transfer 可以使用图形用户界面 (GUI) 或命令行界面 (CLI)。如果您使用桌面操作系统 (OS),则可以使用 GUI 配置 File Transfer。如果您并未使用桌面操作系统,则可以使用 File Transfer CLI 配置和运行 File Transfer。使用 CLI 的 File Transfer 灵活性更高。
- GUI
-
必须先添加远程配置,然后才能使用 File Transfer 传输文件。远程配置被视为不同的配置,可用于将文件传输到不同的存储桶或目录。
添加远程配置
-
在 GUI 的 S3 存储桶文件浏览器窗口中选择创建远程配置。
-
在添加远程配置部分中,输入以下信息。
-
在远程配置名称中,输入远程配置的名称。名称在设置后无法修改。
-
在 S3 存储桶中,添加要用于 File Transfer 的 S3 存储桶名称。要创建 S3 存储桶,请参阅创建 S3 存储桶。
-
在 AWS 区域中,输入您的 S3 存储桶所在的区域。
-
在 AWS 命名配置文件中,输入要用于 S3 访问的 AWS 命名配置文件。如果选择改为使用 AWS 访问密钥或 AWS 密钥,请将此字段留空。如果您没有 AWS 命名配置文件,请参阅创建 IAM 访问策略。和设置 AWS CLI主题。
-
-
选择添加以继续。
-
在高级部分中,输入以下信息。
-
存储类指定 S3 存储桶的存储类。有关存储类的信息,请参阅 Amazon S3 存储类
。 -
校验和算法指定使用哪种校验和算法进行校验和计算。
-
(可选)本地目录指定本地计算机上的默认目录。
-
(可选)S3 存储桶前缀指定 S3 存储桶的默认目录。
-
过滤器根据格式为文件指定过滤器。此字段接受有效的正则表达式。例如,
"^.*\.(mov)$"
仅上传以.mov
结尾的文件。 -
最长时间限制 File Transfer 为在
Max Age
时间值之后和当前时间之前创建或修改的文件。单位为m
(分钟)、h
(小时)、d
(天)和w
(周)。如果未提供单位,则以秒为单位指定该值。例如,输入5d
会传输过去五天内创建或修改的文件。输入350
会传输过去 350 秒内创建或修改的文件。 -
(可选)文件顺序列表按文件扩展名设置传输优先级。输入扩展名以将其添加到此列表中。扩展名不在此列表中的文件优先级最低,将按照文件在文件系统中列出的顺序进行传输。
-
传输自动调整在启用后可动态设置文件传输的线程数和组块大小。默认为启用状态。建议您保持启用此选项。
- 威胁数量
用于传输每个单独文件的单一线程数。
- 组块大小
每个线程传送的组块大小(以 MB 为单位)。
-
启用使用 S3 Transfer Acceleration 后,可以提高较大文件的传输速度。最佳实践是关闭 S3 Transfer Acceleration,因为在 File Transfer 中实现高速传输不需要使用 S3 Transfer Acceleration。如果存储桶距离您的地理位置上很远,请开启此功能。有关更多信息,请参阅 S3 Transfer Acceleration。如果启用此功能,可能需要支付额外费用。有关更多信息,请参阅 Amazon S3 定价
。 -
启用元数据筛选器在启用后会自动筛选系统元数据文件。这些文件包括以
._
开头的文件以及thumbs.db
和.DS_Store
文件。
-
-
选择保存
添加 studio ID
-
打开 File Transfer。
-
转到开始菜单并搜索 File Transfer。
-
从列表中选择 Nimble Studio File Transfer。
-
-
从下拉菜单 (
) 中选择设置。
-
输入 在 Nimble Studio 中设置工作室 教程中的工作室 ID 。
-
选择 Save(保存)。
-
- CLI
-
现在 File Transfer 已安装完毕,请编辑配置文件。
编辑配置文件
-
使用计算机上的任何文本编辑软件打开配置文件。
-
Windows:导航到您计算机上的
User/<your username>
文件夹。打开.filetransfer
文件夹,用文本编辑器打开filetransfer.yaml
文件。 -
macOS:输入
Cmd+Shift+G
。然后输入~/.filetransfer
。使用文本编辑器打开filetransfer.yaml
文件。 -
Linux:使用任何文本编辑器打开
filetransfer.yaml
文件。文件位于~/.filetransfer/configuration.yaml
中。
-
-
定义配置文件中的以下变量。必填值已填充。您必须提供可选值。
-
studio_id
:输入 在 Nimble Studio 中设置工作室 教程中的工作室 ID 。 -
max_active_checksums
:输入同时处理的单个校验和的数量。如果此值超过系统中可用 CPU 内核数,将显示一条警告消息,并且该值上限为 CPU 内核数。有关更多信息,请参阅File Transfer 校验和。 -
max_active_transfers
:输入同时处理的单个文件的数量。
-
-
在配置文件中至少定义一个远程配置。未填充远程配置的必填值,因此您必须手动输入这些值。为每个远程配置定义以下变量。
protocols: s3: remote_configuration:
demo
: name:demo
bucket:my-bucket
region:us-west-2
profile:my-profile
storage_class:standard
auto_tuning:true
chunk_size:25
threads:10
checksum_algorithm:md5_hex
max_age:""
accelerated:false
file_order:[]
filter:""
upload_hot_folder: enabled:false
local_source_folder:""
s3_destination_folder:""
enable_metadata_filter:true
paths: local:""
remote:""
-
name
:输入传输配置文件的名称。 -
bucket
:输入要上传到其中和从其下载的 S3 存储桶的名称。管理员应该已经在 创建 S3 存储桶 中创建了存储桶。 -
region
:输入您的存储桶所在的 AWS 区域。 -
profile
:输入管理员在 设置 AWS CLI 步骤 4 中创建的配置文件的名称。使用此配置文件即可访问 Amazon Simple Storage Service (Amazon S3)。要获取配置的配置文件列表,请在终端窗口中运行以下命令:aws configure list
-
storage_class
:默认情况下,该选项设置为standard
。此变量的可接受值为:reduced_redundancy
standard_ia
onezone_ia
intelligent_tiering
glacier
deep_archive
glacier_ir
注意
您可以将任何存储类直接上传到 Amazon S3 中。如果使用 S3 Glacier Deeep Archive 或 S3 Glacier Flexible Retrieval,则不能从 File Transfer 直接下载使用 File Transfer 上传的对象。有关存储类的更多信息,请参阅 Amazon S3 存储类
。 -
auto_tuning
:根据文件大小自动调整区块大小和最大活动传输量。默认情况下,该选项设置为true
。 -
chunk_size
:输入每个线程传送的组块的大小(以 MB 为单位)。如果将auto
_tuning 设置为true
,则此字段不是必填字段。 -
threads
:输入用于传输每个单独文件的单一线程数。如果将auto_tuning
设置为true
,则此字段不是必填字段。 -
checksum_algorithm
:这是将文件上传到 S3 时将使用的校验和算法。您可以在md5-hex
(默认值)、xxhash
、xxhash64
和xxh3 checksum algorithms
之间进行选择。 -
(可选)
Max Age
:限制 File Transfer 为在Max Age
时间值之后和当前时间之前创建或修改的文件。单位为m
(分钟)、h
(小时)、d
(天)和w
(周)。如果未提供单位,则以秒为单位指定该值。例如,输入5d
会传输过去五天内创建或修改的文件。输入350
会传输过去 350 秒内创建或修改的文件。 -
accelerated
:启用 S3 Transfer Acceleration。默认情况下,该名称为false
。最佳实践是关闭 S3 Transfer Acceleration,因为在 File Transfer 中实现高速传输不需要使用 S3 Transfer Acceleration。如果存储桶距离您的地理位置上很远,请开启此功能。有关更多信息,请参阅 S3 Transfer Acceleration。如果启用此功能,可能需要支付额外费用。有关更多信息,请参阅 Amazon S3 定价。 -
(可选)
file_order
:输入以逗号分隔的文件扩展名列表,以定义要传输的文件的优先级。您未列出文件扩展名的文件将按文件系统列出的顺序最后传输。例如,".mov,.txt"
优先传输.mov
文件而不是.txt
文件。 -
(可选)
filter
:根据文件格式筛选正在传输的文件。filter
字段接受有效的正则表达式。例如,"^.*\.(mov)$"
仅上传以.mov
结尾的文件。 -
(可选)
upload_hot_folder enabled
:开启上传热文件夹功能。 -
(可选)
upload_hot_folder local_source_folder
:启用upload hot folder
时为必填项。File Transfer 将以递归方式监视指定文件夹中的所有文件系统事件,并在添加或修改文件时启动上传。 -
(可选)
upload_hot_folder s3_destination_folder
:启用upload hot folder
时为必填项。上传的热文件夹文件将添加到此文件夹中。 -
enable_metadata_filter
:当为true
时,File Transfer 会自动筛选系统元数据文件。这些文件包括Thumbs.db
、.DS_Store
和以._
开头的文件。 -
(可选)
paths local
:本地文件系统中 File Transfer 文件的根文件夹。 -
(可选)
paths remote
:S3 存储桶中 File Transfer 文件的根文件夹。 -
(可选)
paths local
:输入文件路径。传输将从本地文件系统文件浏览器中的该本地路径开始。 -
(可选)
paths remote
:输入文件路径。传输将从 S3 存储桶的文件浏览器中的该路径开始。 -
保存配置文件。
-
运行以下命令验证 AWS 凭证:
filetransfer validate-credentials
remote configuration
-
将
远程配置
替换为您创建的配置的名称。 -
此命令会检查您提供的 AWS 凭证,例如 IAM 密钥。此命令检查 File Transfer 是否能够连接到 Amazon S3,并列出配置文件中指定的存储桶中的对象。
-
-
完成安装和配置后,您现在可以开始使用 File Transfer 了。