效能 - AWS Storage Gateway

Amazon S3 檔案閘道文件已移至什麼是 Amazon S3 檔案閘道?

Amazon FSx 檔案閘道文件已移至什麼是 Amazon FSx 檔案閘道?

磁碟區閘道文件已移至什麼是磁碟區閘道?

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

效能

本節說明 Storage Gateway 效能。

適用於磁帶閘道的效能指引

在此章節,您可以找到為磁帶閘道 VM 佈建硬體的組態指引。資料表中的 Amazon EC2 執行個體大小和類型為範例,僅供參考。

組態 寫入輸送量 (Gbps) 從快取讀取輸送量 (Gbps) 讀取來自 Amazon Web Services 雲輸送量 Gbps

主機平台:Amazon EC2 執行個體 — c5.4xlarge

CPU:16 vCPU | RAM: 32 GB

根磁碟:80 GB、io1 SSD、4000 IOPS

快取磁碟:條紋化 RAID (2 x 500 GB、io1 EBS SSD、25000 IOPS)

上傳緩衝磁碟:450 GB、io1 SSD、2000 IOPS

雲端的網路頻寬:10 Gbps

2.3 4.0 2.2

主機平台:Storage Gateway 硬體設備

快取磁碟:2.5 TB

上傳緩衝磁碟:2 TB

雲端的網路頻寬:10 Gbps

2.3 8.8 3.8

主機平台:Amazon EC2 執行個體 — c5d.9xlarge

CPU:36 個 vCPU | RAM:72 GB

根磁碟:80 GB、io1 SSD、4000 IOPS

快取磁碟:900 GB NVMe 磁碟

上傳緩衝磁碟:900 GB NVMe 磁碟

雲端的網路頻寬:10 Gbps

5.2 11.6 5.2

主機平台:Amazon EC2 執行個體 — c5d.metal

CPU:96 個 vCPU | RAM:192 GB

根磁碟:80 GB、io1 SSD、4000 IOPS

快取磁碟:條紋化 RAID (2 x 900 GB NVMe 磁碟)

上傳緩衝磁碟:900 GB NVMe 磁碟

雲端的網路頻寬:10 Gbps

5.2 11.6 7.2
注意

同時使用 1 MB 區塊大小和十個磁帶磁碟即達成此效能。

以上資料表中的 EC2 組態僅用於代表您在具有類似資源的實體伺服器上可能獲得的效能。例如,使用條紋化 RAID 的 EC2 組態是透過 EC2 上的閘道一般不支援的特殊機制完成。若要達到類似的效能,您應改為使用連接至執行閘道的內部部署伺服器的硬體 RAID 控制器。

效能可能會根據您的主機平台組態和網路頻寬而有所不同。

若要改善磁帶閘道的讀寫輸送量效能,請參閱 最佳化 iSCSI 設定針對磁帶硬碟使用較大的區塊大小最佳化備份軟體中虛擬磁帶機的效能

最佳化閘道效能

若要取得閘道的最佳效能,Storage Gateway 建議您為閘道的主機伺服器採用下列閘道組態:

  • 至少 64 個專屬實體 CPU 核心

  • 針對磁帶閘道,您的硬體應該專用以下數量的 RAM:

    • 至少 16 GiB 的保留 RAM,適用於快取大小高達 16 TiB 的閘道

    • 至少 32 GiB 的保留 RAM,適用於快取大小為 16 TiB 至 32 TiB 的閘道

    • 至少 48 GiB 的保留 RAM,適用於快取大小為 32 TiB 至 64 TiB 的閘道

    注意

    若要取得最佳閘道效能,您必須佈建至少 32 GiB 的 RAM。

  • 磁碟 1,用作閘道快取,如下所示:

    • 由 NVMe SSD 組成的條紋式 RAID (獨立磁碟備援陣列)。

  • 磁碟 2,用作閘道上傳緩衝,如下所示:

    • 由 NVMe SSD 組成的條紋式 RAID

  • 磁碟 3,用作閘道上傳緩衝,如下所示:

    • 由 NVMe SSD 組成的條紋式 RAID

  • 在 VM 網路 1 上設定的網路轉接器 1:

    • 使用 VM 網路 1 及新增用於擷取的 VMXnet3 (10 Gbps)。

  • 在 VM 網路 2 上設定的網路轉接器 2:

    • 使用 VM 網路 2 及新增用於連線至 AWS的 VMXnet3 (10 Gbps)。

新增資源至您的閘道

下列瓶頸可能會降低磁帶閘道磁道的效能低於理論上最大持續輸送量 (您到 AWS 雲端的頻寬):

  • CPU 核心数

  • 快取/上傳緩衝區磁碟輸送量

  • RAM 總容量

  • 網路頻寬至 AWS

  • 從啟動器到閘道的網路頻寬

本節包含最佳化閘道效能時可採取的步驟。本指南是以將資源新增至您的閘道或至您的應用程式伺服器為基礎。

您可以利用下列其中一或多個方法,將資源新增到您的閘道,以將閘道效能最佳化。

使用高效能磁碟

快取和上傳緩衝磁碟輸送量可能會限制閘道的上傳和下載效能。如果閘道的效能大幅低於預期效能,請考慮改善快取和上傳緩衝磁碟輸送量,方法如下:

  • 使用諸如 RAID 10 之類的條紋化 RAID 來提高磁碟輸送量,最好是使用硬件 RAID 控制器。

    注意

    RAID(獨立磁碟冗餘陣列)或特別是磁碟條紋化 RAID 組態(如 RAID 10)是將資料主體劃分為塊並將資料塊分散到多個存儲設備的過程。您使用的 RAID 層級會影響您可達到的確切速度和容錯能力。藉由跨多個磁碟分割 IO 工作負載,RAID 裝置的整體輸送量遠高於任何單一成員磁碟的整體輸送量。

  • 使用直接連接的高效能磁碟

    若要最佳化閘道效能,您可以新增高效能磁碟,例如固態硬碟 (SSD) 和 NVMe 控制器。您也可以將虛擬磁碟從儲存區區域網路 (SAN) 直接連接到您的 VM,而非從 Microsoft Hyper-V NTFS。改善的磁碟效能通常得以提供更高的輸送量及每秒讀寫次數 (IOPS)。

    若要測量輸送量,請使用ReadBytesWriteBytes指標搭配 Samples Amazon CloudWatch 統計資料。例如,將 5 分鐘範例期間內 Samples 指標的 ReadBytes 統計資料除以 300 秒,便可取得 IOPS。做為一般規則,當您檢閱閘道的這些指標時,請尋找低輸送量及低 IOPS 趨勢,以指出磁碟相關的瓶頸。如需閘道指標的詳細資訊,請參閱 測量磁帶閘道與之間的效能 AWS

    注意

    CloudWatch 並非所有閘道都可以使用指標。如需閘道指標的資訊,請參閱 監控 Storage Gateway

新增更多上傳緩衝磁碟

若要達到更高的寫入輸送量,請至少新增兩個上傳緩衝磁碟。將資料寫入閘道時,資料會寫入並儲存在本機的上傳緩衝磁碟。之後,儲存的本機資料會以非同步方式在要處理的磁碟上讀取,並上傳至 AWS。新增更多上傳緩衝磁碟,可能會減少對每個磁碟執行的並行 I/O 作業數量。這可能會增加閘道的寫入輸送量。

具備個別實體磁碟的後端閘道虛擬磁碟

佈建閘道磁碟時,強烈建議您不要為使用相同基礎實體儲存體磁碟的上傳緩衝及快取儲存體佈建本機磁碟。例如,針對 VMware ESXi,基礎實體儲存體資源會以資料存放區表示。當您部署閘道 VM 時,您會選擇要存放 VM 檔案的資料存放區。當您佈建虛擬磁碟 (例如:做為上傳緩衝) 時,您可以將虛擬磁碟存放在與 VM 相同或不同的資料存放區。

若您有超過一個資料存放區,我們強烈建議您為每一種您正在建立的本機儲存體類型選擇一個資料存放區。只用一個基礎實體磁碟支援的資料存放區,可能導致效能不佳。當您使用這種磁碟來同時支援快取儲存體和閘道設定中上傳緩衝的情形時,即為一個例子。同樣地,使用較少高效能 RAID 組態 (例如 RAID 1 或 RAID 6) 支援的資料存放區,可能導致效能不佳。

新增 CPU 資源至您的閘道主機

閘道主機伺服器的最低需求為四個虛擬處理器。若要最佳化閘道效能,請確認指派給閘道 VM 的每個虛擬處理器受到專屬 CPU 核心的支援。此外,確認您沒有過度訂閱主機伺服器的 CPU。

將額外的 CPU 新增到閘道主機伺服器時,您會提高閘道的處理容量。這樣做可讓您的閘道平行處理將資料從您的應用程式存放到本機儲存以及將此資料上傳至 Amazon S3。額外的 CPU 也可協助確保您的閘道在主機與其他 VM 共享時,也能取得足夠的 CPU 資源。提供足夠的 CPU 資源對於改善輸送量具有一般性的效果。

增加閘道與 AWS 雲端之間的頻寬

增加頻寬 AWS 會增加到閘道和輸出到雲端的資料輸入速率上限。 AWS 如果網路速度是閘道組態中的限制因素,而不是其他因素(例如磁碟速度緩慢或閘道 - 啟動器連線頻寬不佳),這樣可以改善閘道效能。

往返網路頻寬 AWS 定義磁帶閘道在持續工作負載期間理論上的最大平均效能。

  • 您可以長時間將資料寫入磁帶閘道的平均速率不會超過到 AWS的上傳頻寬。

  • 您可以長時間從磁帶閘道讀取資料的平均速率不會超過下載頻寬 AWS。

注意

由於此處列出的其他限制因素(例如快取/上傳緩衝磁碟輸送量、CPU 核心數、RAM 總容量,或啟動器與閘道之間的頻寬),觀察到的閘道效能可能會低於網路頻寬。此外,閘道的正常操作包含許多為保護資料而採取的動作,這可能會導致觀察到的效能低於網路頻寬。

最佳化 iSCSI 設定

您可在 iSCSI 啟動器上將 iSCSI 設定最佳化,以提升 I/O 效能。建議您在 MaxReceiveDataSegmentLengthFirstBurstLength 選擇 256 KiB,在 MaxBurstLength 選擇 1 MiB。如需關於配置 iSCSI 設定的詳細資訊,請參閱自訂 iSCSI 設定

注意

這些建議設定可提升整體效能。但最佳化效能需要的特定 iSCSI 設定,則取決於您使用的備份軟體。如需詳細資訊,請參閱備份軟體的文件。

針對磁帶硬碟使用較大的區塊大小

針對磁帶閘道,磁帶機的預設區塊大小是 64 KB。不過,您可以將區塊大小增加至最高 1 MB,以改善 I/O 效能。

您選擇的區塊大小取決於您備份軟體支援的區塊大小上限。建議您將備份軟體中磁帶機的區塊大小,盡可能設定為越大的大小。不過,此區塊大小不能超過閘道支援的 1 MB 大小上限。

磁帶閘道會協調虛擬磁帶機的區塊大小,以自動比對備份軟體上的設定。增加備份軟體上的區塊大小時,建議您也檢查設定,以確保主機啟動器支援新的區塊大小。如需詳細資訊,請參閱您備份軟體的文件。如需特定閘道效能指導方針的詳細資訊,請參閱 效能

最佳化備份軟體中虛擬磁帶機的效能

您的備份軟體可以同時在磁帶閘道上的最多 10 個虛擬磁帶機上備份資料。建議您在備份軟體中設定備份工作,以同時在磁帶閘道上使用至少 4 個虛擬磁帶機。當備份軟體同時將資料備份到多個虛擬磁帶時,您可以達到更佳的寫入傳輸量。

一般而言,您可以同時在(讀取或寫入)更多虛擬磁帶上作業,以達到更高的最大輸送量。藉由使用更多磁帶機,您可以讓閘道同時服務更多要求,進而提升效能。

新增資源到您的應用程式環境

增加您應用程式伺服器和閘道之間的頻寬

iSCSI 啟動器與閘道之間的連線可能會限制您的上傳和下載效能。如果閘道的效能明顯差於預期,而且您已經改善了 CPU 核心數和磁碟輸送量,請考慮:

  • 升級您的網路纜線,使其在啟動器和閘道之間擁有更高的頻寬。

  • 儘可能同時使用多個磁帶機。iSCSI 不支援將同一目標的多個要求排入佇列,這表示您使用的磁帶機越多,閘道可同時服務的要求就越多。這可讓您更充分利用閘道與啟動器之間的頻寬,從而增加閘道的明顯輸送量。

若要最佳化閘道效能,請確認您應用程式和閘道之間的頻寬足以供給您應用程式的需求。您可以使用閘道的 ReadBytesWriteBytes 指標測量總資料輸送量。如需這些指標的詳細資訊,請參閱 測量磁帶閘道與之間的效能 AWS

針對您的應用程式,將所需要的輸送量與測量的輸送量進行比較。若測量的輸送量低於所需的輸送量,則在網路為瓶頸時,增加應用程式與閘道之間的頻寬便可改善效能。同樣地,若 VM 和本機磁碟沒有直接連接,您可以增加兩者間的頻寬。

新增 CPU 資源到您的應用程式環境

若您的應用程式可使用額外的 CPU 資源,則增加更多 CPU 可協助您的應用程式擴展其 I/O 負載。

將 VMware vSphere High Availability 與 Storage Gateway 搭配使用

Storage Gateway 透過與 VMware vSphere High Availability (VMware HA) 整合的一組應用程式層級運作狀態檢查,在 VMware 上提供高可用性。此方法可協助防範儲存工作負載出現硬體、Hypervisor 或網路故障。這也有助於防範軟體錯誤,例如連線逾時和檔案共用或磁碟區無法使用。

vSphere HA 的運作方式是將虛擬機器及其所在的主機共用到叢集中以取得備援。系統會監控叢集中的主機,如果發生故障,則會在替代主機上重新啟動故障主機上的虛擬機器。通常,這種恢復可以快速發生,而不會丟失數據。如需有關 vSphere HA 的詳細資訊,請參閱 VMware 說明文件中的 vSphere HA 運作方式。

注意

在新主機上重新啟動失敗的虛擬機器並重新建立 iSCSI 連線所需的時間取決於許多因素,例如主機作業系統和資源負載、磁碟速度、網路連線以及 SAN /儲存基礎結構。若要將容錯移轉停機時間降至最低,請實作最最佳化閘道效能中所

若要將 VMware HA 與 Storage Gateway 搭配使用,請進行下列步驟。

設定 vSphere VMware HA 叢集

首先,如果您尚未建立 VMware 叢集,請立即建立。如需如何建立 VMware 叢集的相關資訊,請參閱 VMware 文件中的建立 vSphere HA 叢集

接下來,將 VMware 叢集設定為與 Storage Gateway 搭配運作。

設定 VMware 叢集
  1. 在 VMware vSphere 的 編輯叢集設定 頁面上,確認已針對 VM 和應用程式監控設定 VM 監控。若要執行此操作,請依照列出內容設定下列選項:

    • 主機故障回應重新啟動 VM

    • 主機隔離回應關閉並重新啟動 VM

    • 具有 PDL 的資料存放區已停用

    • 具有 APD 的資料存放區已停用

    • VM 監控VM 和應用程式監控

    如需範例,請參閱下列螢幕擷取畫面。

    
                        已設定虛擬機器和應用程式監控選項的 VMware vSphere 編輯叢集設定畫面。
  2. 調整下列的值以微調叢集敏感度:

    • 失敗間隔:在此間隔後,如果沒有收到 VM 訊號,則會重新啟動 VM。

    • 最短執行時間:在 VM 啟動以開始監控 VM 工具的訊號後,叢集會等待這段指定的時間。

    • 每個 VM 的最大重設:在最大重設時間範圍內,叢集會重新啟動 VM 的最大次數。

    • 最大重設時間範圍:計算每個 VM 重設的最大重設次數的時間範圍。

    如果您不確定要設定哪些值,請使用這些設定範例:

    • 失敗間隔30

    • 最短執行時間120

    • 每個 VM 的最大重設次數3

    • 最大重設時間範圍1 小時

如果您在叢集上有其他正在執行的 VM,您可能會想要設定可供 VM 專用的這些值。在從 .ova 部署 VM 前,您無法這樣做。如需設定這些值的詳細資訊,請參閱(選用) 為叢集上的其他 VM 新增覆寫選項

從 Storage Gateway 主控台下載 .ova 映像

下載您的閘道的 .ova 映像
  • 在 Storage Gateway 主控台的設定閘道頁面上,選取您的閘道類型和主機平台,然後使用主控台中提供的連結來下載 .ova,如設定磁帶閘道所述。

部署閘道

在您設定的叢集中,將 .ova 映像部署到其中一個叢集主機。

部署閘道 .ova 映像
  1. 將 .ova 映像部署到叢集中的其中一個主機。

  2. 確認您選擇用於根磁碟的資料存放區以及快取可供叢集中的所有主機使用。在 VMware 或內部部署環境中部署 Storage Gateway .ova 檔案時,會將磁碟描述為半虛擬化 SCSI 磁碟。「全虛擬化」是閘道 VM 與主機作業系統搭配運作的模式,讓主控台可以識別您新增至 VM 的虛擬磁碟。

    設定 VM 以使用全虛擬化控制器

    1. 在 VMware vSphere 用戶端中,開啟閘道 VM 的內容 (按右鍵) 選單,然後選擇 編輯設定

    2. 虛擬機器屬性 對話方塊中,選擇 硬體 標籤,並選取 SCSI 控制器 0,然後選擇 變更類型

    3. 變更 SCSI 控制器類型 對話方塊中,選取 VMware 全虛擬化 SCSI 控制器類型,然後選擇 確定

(選用) 為叢集上的其他 VM 新增覆寫選項

如果您在叢集上有其他正在執行的 VM,您可能會想要設定可供每個 VM 專用的叢集值。

為叢集上的其他 VM 新增覆寫選項
  1. 在 VMware vSphere 的 摘要 頁面上,選擇叢集以開啟叢集頁面,然後選擇 設定

  2. 選擇 組態 標籤,然後選擇 VM 覆寫

  3. 新增 VM 覆寫選項以變更每個值。

    如需覆寫選項,請參閱下列螢幕擷取畫面。

    
                        已設定覆寫選項的 VMware vSphere 新增虛擬機器覆寫叢集畫面。

啟用閘道

部署閘道的 .ova 後,請啟用您的閘道。做法說明會依各個閘道類型而有所不同。

啟用閘道

測試 VMware High Availability 組態

啟用閘道後,請測試您的組態。

測試 VMware HA 組態
  1. 開啟儲存裝置閘道主控台,網址為 https://console.aws.amazon.com/storagegateway/home

  2. 在導覽窗格中,選擇 閘道,然後選擇您要測試 VMware HA 的閘道。

  3. 針對 動作,選擇 驗證 VMware HA

  4. 在出現的 驗證 VMware High Availability 組態 方塊中,選擇 確定

    注意

    測試 VMware HA 組態會重新啟動閘道 VM 並中斷閘道連線。測試可能需要幾分鐘的時間才會完成。

    如果測試成功,已驗證 狀態會顯示在主控台閘道的詳細資料標籤中。

  5. 選擇 退出

您可以在 Amazon CloudWatch 日誌群組中找到 VMware HA 事件的相關資訊。如需詳細資訊,請參閱使用記錄群組取得磁帶閘道健全狀況記 CloudWatch 錄