File Transfer 最佳实践 - Nimble Studio 文件传输功能

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

File Transfer 最佳实践

为了最大限度地受益于 Nimble Studio File Transfer,我们建议您执行此页面上的最佳实践。

Amazon Simple Storage Service (Amazon S3)

AWS Key Management Service (AWS KMS)

硬件

我们建议您的计算机满足以下要求才能使用 File Transfer。

  • 8 个逻辑 CPU 内核

  • 8 GB RAM

File Transfer 可以在比这些规格更低的计算机上运行,但性能可能会降低。

配置

可以选择使用自动调整功能或手动调整参数,以最好地满足文件传输用例要求。选择手动调整设置时,如果操作不当,可能会出现性能不佳问题。我们建议大多数用户保持启用自动调整

自动调整配置

我们建议大多数用户将传输自动调整设置保持启用状态。如果启用了传输自动调整设置,则 File Transfer 会自动设置线程数组块大小的值。File Transfer 根据您传输的数据类型确定最有效的设置。

传输自动调整设置会根据每个文件调整性能设置。如果您手动设置线程数组块大小的值,则这些设置将应用于整批传输。因此,传输不同大小的文件时,传输自动调整通常会提高性能。传输大小相似的文件时,传输自动调整的性能与手动设置调整相当。如果您对硬件和传输数据有深入了解,则手动设置的性能可能优于传输自动调整选择的值。

线程

使用 File Transfer 时,每次传输都会被拆分为多个单独的线程,用于传输每个文件。上传较大的文件(> 1 GB)时,线程最有效。线程也可以帮助处理小文件,但是传输速度的差异并不明显。

默认情况下,线程数为 10。我们建议您将此值以 5 为增量提高,直到带宽资源得到充分利用。您可以通过查看传输的下载和上传速度,从图形用户界面 (GUI) 监控带宽资源。

组块大小

组块大小是每个线程传送的大小(以 MB 为单位)。如果在上传的文件集中重复出现一个文件大小,则组块大小会很有用。

我们建议您将组块大小设置为比要传输的平均文件大小大 5 到 10 倍。例如,如果数据集中的平均文件大小为 50 MB,则将组块大小设置在 55 和 60 之间。如果文件大小超过 1 GB,则效果不大。

最大活动传输量

最大活动传输量决定 File Transfer 可同时处理多少个文件。如果传输多个小于 1 GB 的小文件时,调整最大活动传输量最为有效。我们建议随着文件大小的减小,增加最大活动传输量的值。

下表列出了最大活动传输量的推荐起点和增量。从“最大活动传输量”列中的值开始,按增量增加该值,直到达到所需性能。

文件大小 最大活动传输量 增量

< 1 MB

100

20

> 1 MB–< 100 MB

50

10

> 100 MB–< 1 GB

25

5

> 1 GB

10

2

校验和

File Transfer 校验和 是 File Transfer 同时处理的单个校验和的数量。校验和算法是在传输文件时 File Transfer 用于确保文件完整性的算法。

您可以选择四种校验和算法:MD5、XXHash、XXHash64 和 XXH3。这是基于您想要的安全级别和速度的首选项。最早、最标准的安全校验和方法是 MD5。

建议的最大活动校验和值为 CPU 内核总数减去 1。