效能 - AWS Storage Gateway

Amazon S3 檔案閘道文件已移至什麼是 Amazon S3 檔案閘道?

Amazon FSx 檔案閘道文件已移至什麼是 Amazon FSx 檔案閘道?

磁碟區閘道文件已移至什麼是磁碟區閘道?

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

效能

本節說明 Storage Gateway 效能。

磁帶閘道的效能指引

在本節中,您可以找到授予磁帶閘道虛擬機器之組態指導。表格中列出的 Amazon EC2 執行個體大小和類型為範例,僅供參考。

組態 寫入輸送量 (Gbps) 從快取讀取輸送量 (Gbps) 閱讀來自 Amazon Web Services 雲吞吐量 Gbps

主機平台:Amazon EC2 實例 —

CPU:16 vCPU | RAM: 32 GB

根磁碟:80 GB、IO1 固態硬碟、4,000 IOPS

快取磁碟:分段式磁碟陣列 (2 x 500 GB、IO1 EBS 固態硬碟、25000 IOP)

上傳緩衝磁碟:450 GB、io1 SSD、2000 IOPS

雲端的網路頻寬:10 Gbps

2.3 4.0 2.2

主機平台:Storage Gateway 硬體設備

CPU:20 顆核心 | RAM:128 GB

快取磁碟:2.5 TB

上傳緩衝磁碟:2 TB

雲端的網路頻寬:10 Gbps

2.3 8.8 3.8

主機平台:亞馬遜 EC2 實例 — c5d.9

CPU:36 個 vCPU | RAM:72 GB

根磁碟:80 GB、IO1 固態硬碟、4,000 IOPS

快取磁碟:900 GB NVMe 磁碟

上傳緩衝磁碟:900 GB NVMe 磁碟

雲端的網路頻寬:10 Gbps

5.2 11.6 5.2

主機平台:亞馬遜 EC2 實例 —

中央處理器:96 vCPU | 記憶體:192 GB

根磁碟:80 GB、IO1 固態硬碟、4,000 IOPS

快取磁碟:分區磁碟陣列 (2 x 900 GB NVMe 磁碟)

上傳緩衝磁碟:900 GB NVMe 磁碟

雲端的網路頻寬:10 Gbps

5.2 11.6 7.2
注意

此效能是透過同時使用 1 MB 區塊大小和十個磁帶機來實現的。

上表中的 EC2 組態僅用於代表您在具有類似資源的實體伺服器上可能獲得的效能。例如,使用分區 RAID 的 EC2 組態是透過 EC2 閘道一般不支援的特殊機制完成的。若要達到類似的效能,您應改用連接至執行閘道的內部部署伺服器的硬體 RAID 控制器。

效能可能會根據您的主機平台組態和網路頻寬而有所不同。

若要改善磁帶閘道的寫入和讀取輸送量效能最佳化 iSCSI 設定,請參閱針對磁帶硬碟使用較大的區塊大小、和最佳化備份軟體中虛擬磁帶機的效能

最佳化閘道效能

若要取得閘道的最佳效能,Storage Gateway 建議您為閘道的主機伺服器採用下列閘道組態:

  • 至少 64 個專屬實體 CPU 核心

  • 對於磁帶閘道,您的硬體應該專用以下數量的 RAM:

    • 至少 16 GiB 的保留記憶體,適用於快取大小高達 16 TiB 的閘道

    • 至少 32 GiB 的保留記憶體,適用於快取大小為 16 TiB 至 32 TiB 的閘道

    • 至少 48 GiB 的保留記憶體,適用於快取大小為 32 TiB 至 64 TiB 的閘道

    注意

    若要取得最佳閘道效能,您必須佈建至少 32 GiB 的 RAM。

  • 磁盤 1,用作網關緩存,如下所示:

    • 由 NVMe 固態硬碟組成的分段式 RAID (獨立磁碟備援陣列)。

  • 磁盤 2,用作網關上傳緩衝區,如下所示:

    • 由 NVMe 固態硬碟組成的分段式 RAID。

  • 磁盤 3,用作網關上傳緩衝區,如下所示:

    • 由 NVMe 固態硬碟組成的分段式 RAID。

  • 在 VM 網路 1 上設定的網路轉接器 1:

    • 使用 VM 網路 1 及新增用於擷取的 VMXnet3 (10 Gbps)。

  • 在 VM 網路 2 上設定的網路轉接器 2:

    • 使用 VM 網路 2 及新增用於連線至 AWS 的 VMXnet3 (10 Gbps)。

新增資源至您的閘道

下列瓶頸可能會降低磁帶閘道磁道的效能低於理論上最大持續輸送量 (您到AWS雲端的頻寬):

  • 核心

  • 快取/上傳緩衝區磁碟輸送量

  • 總記憶體數量

  • 網路頻寬至AWS

  • 從啟動器到閘道的網路頻寬

本節包含最佳化閘道效能時可採取的步驟。本指引是以新增資源至閘道或應用程式伺服器為基礎。

您可以利用下列其中一或多個方法,將資源新增到您的閘道,以將閘道效能最佳化。

使用高效能磁碟

快取和上傳緩衝區磁碟輸送量可能會限制閘道的上傳和下載效能。如果閘道的效能大幅低於預期的效能,請考慮改善快取和上傳緩衝區磁碟輸送量,方法如下:

  • 使用諸如 RAID 10 之類的分區 RAID 來提高磁盤吞吐量,最好是使用硬件 RAID 控制器。

    注意

    RAID(獨立磁盤冗餘陣列)或特別是磁盤分區 RAID 配置(如 RAID 10)是將數據主體劃分為塊並將數據塊分散到多個存儲設備的過程。您使用的 RAID 層級會影響您可達到的確切速度和容錯能力。藉由跨多個磁碟分割 IO 工作負載,RAID 裝置的整體輸送量遠高於任何單一成員磁碟的整體輸送量。

  • 使用直接連接的高效能磁碟

    若要最佳化閘道效能,您可以新增高效能磁碟,例如固態硬碟 (SSD) 和 NVMe 控制器。您也可以將虛擬磁碟從儲存區區域網路 (SAN) 直接連接到您的 VM,而非從 Microsoft Hyper-V NTFS。改善的磁碟效能通常得以提供更高的輸送量及每秒輸入/輸出操作數 (IOPS)。

    若要測量輸送量,請使用 ReadBytesWriteBytes 指標搭配 Samples Amazon CloudWatch 統計資料。例如,將 5 分鐘範例期間內 Samples 指標的 ReadBytes 統計資料除以 300 秒,便可取得 IOPS。做為一般規則,當您檢閱閘道的這些指標時,請尋找低輸送量及低 IOPS 趨勢,以指出磁碟相關的瓶頸。如需閘道指標的詳細資訊,請參閱測量磁帶閘道與之間的效能AWS

    注意

    CloudWatch 並非所有閘道都可以使用指標。有关网关指标的信息,请参阅監看 SStorage Gateway

新增 CPU 資源至您的閘道主機

閘道主機伺服器的最低需求為四個虛擬處理器。若要最佳化閘道效能,請確認指派給閘道虛擬機器的每個虛擬處理器都有專用 CPU 核心的支援。此外,確認您沒有過度訂閱主機伺服器的 CPU。

將額外的 CPU 新增到閘道主機伺服器時,您會提高閘道的處理容量。這樣做可讓您的閘道 parallel 處理將資料從應用程式存放到本機儲存,以及將此資料上傳到 Amazon S3。額外的 CPU 也可協助確保您的閘道在主機與其他 VM 共享時,也能取得足夠的 CPU 資源。提供足夠的 CPU 資源對於改善輸送量具有一般性的效果。

具備個別實體磁碟的後端閘道虛擬磁碟

佈建閘道磁碟時,強烈建議您不要為使用相同基礎實體儲存磁碟的上傳緩衝區和快取儲存區佈建本機磁碟。例如,針對 VMware ESXi,基礎實體儲存體資源會以資料存放區表示。當您部署閘道 VM 時,您會選擇要存放 VM 檔案的資料存放區。當您佈建虛擬磁碟 (例如:做為上傳緩衝) 時,您可以將虛擬磁碟存放在與 VM 相同或不同的資料存放區。

若您有超過一個資料存放區,我們強烈建議您為每一種您正在建立的本機儲存體類型選擇一個資料存放區。只用一個基礎實體磁碟支援的資料存放區,可能導致效能不佳。當您使用這種磁碟來同時支援快取儲存體和閘道設定中上傳緩衝的情形時,即為一個例子。同樣地,由效能較低的 RAID 組態 (例如 RAID 1 或 RAID 6) 所支援的資料存放區可能會導致效能不佳。

增加閘道與AWS雲端之間的頻寬

增加頻寬AWS會增加到閘道和輸出到AWS雲端的資料輸入速率上限。如果網路速度是閘道組態中的限制因素,而不是其他因素 (例如磁碟速度慢或閘道啟動器連線頻寬不佳),這樣可以改善閘道效能。

往返網路頻寬AWS定義磁帶閘道在持續工作負載期間理論上的最大平均效能。

  • 長時間間隔將資料寫入磁帶閘道的平均速率不會超過上傳頻寬AWS。

  • 您可以長時間從磁帶閘道讀取資料的平均速率不會超過下載頻寬AWS。

注意

由於此處列出的其他限制因素,例如快取/上傳緩衝區磁碟輸送量、CPU 核心數、總 RAM 容量,或啟動器與閘道之間的頻寬,觀察到的閘道效能可能會低於網路頻寬。此外,閘道的正常作業包含許多為保護資料而採取的動作,這可能會導致觀察到的效能低於網路頻寬。

最佳化 iSCSI 設定

您可在 iSCSI 啟動器上將 iSCSI 設定最佳化,以提升 I/O 效能。建議您在 MaxReceiveDataSegmentLengthFirstBurstLength 選擇 256 KiB,在 MaxBurstLength 選擇 1 MiB。如需關於配置 iSCSI 設定的詳細資訊,請參閱自訂 iSCSI 設定

注意

這些建議的設定可以促進整體更好的效能。但最佳化效能需要的特定 iSCSI 設定,則取決於您使用的備份軟體。如需詳細資訊,請參閱備份軟體的文件。

針對磁帶硬碟使用較大的區塊大小

對於磁帶閘道,磁帶機的預設區塊大小為 64 KB。不過,您可以將區塊大小增加至最高 1 MB,以改善 I/O 效能。

您選擇的區塊大小取決於您備份軟體支援的區塊大小上限。建議您將備份軟體中磁帶機的區塊大小,盡可能設定為越大的大小。不過,此區塊大小不能超過閘道支援的 1 MB 大小上限。

磁帶閘道會交涉虛擬磁帶機的區塊大小,以自動符合備份軟體上所設定的內容。增加備份軟體上的區塊大小時,建議您也檢查設定,以確保主機啟動器支援新的區塊大小。如需詳細資訊,請參閱您備份軟體的文件。如需特定閘道效能指導方針的詳細資訊,請參閱 效能

最佳化備份軟體中虛擬磁帶機的效能

您的備份軟體可同時備份磁帶閘道上最多 10 個虛擬磁帶機上的資料。建議您在備份軟體中設定備份工作,以便在磁帶閘道上同時使用至少 4 個虛擬磁帶機。當備份軟體同時將資料備份到多個虛擬磁帶時,您可以達到更佳的寫入傳輸量。

一般而言,您可以同時在 (讀取或寫入) 更多虛擬磁帶上作業,以達到更高的最大輸送量。藉由使用更多磁帶機,您可以讓閘道同時服務更多要求,進而提升效能。

新增資源到您的應用程式環境

增加您應用程式伺服器和閘道之間的頻寬

iSCSI 啟動器與閘道之間的連線可能會限制您的上傳和下載效能。如果閘道的效能明顯差於預期,而且您已經改善了 CPU 核心數和磁碟輸送量,請考慮:

  • 升級您的網路纜線,使其在啟動器和閘道之間擁有更高的頻寬。

  • 儘可能同時使用多個磁帶機。iSCSI 不支援將同一目標的多個要求排入佇列,這表示您使用的磁帶機越多,閘道可同時服務的要求就越多。這可讓您更充分利用閘道與啟動器之間的頻寬,從而增加閘道的明顯輸送量。

若要最佳化閘道效能,請確認您應用程式和閘道之間的頻寬足以供給您應用程式的需求。您可以使用閘道的ReadBytesWriteBytes指標來測量總資料輸送量。 如需這些指標的詳細資訊,請參閱測量磁帶閘道與之間的效能AWS

針對您的應用程式,將所需要的輸送量與測量的輸送量進行比較。若測量的輸送量低於所需的輸送量,則在網路為瓶頸時,增加應用程式與閘道之間的頻寬便可改善效能。同樣地,若 VM 和本機磁碟沒有直接連接,您可以增加兩者間的頻寬。

新增 CPU 資源到您的應用程式環境

若您的應用程式可使用額外的 CPU 資源,則增加更多 CPU 可協助您的應用程式擴展其 I/O 負載。

將 VMware vSphere 高可用性與 Storage Gateway 搭配使用

Storage Gateway 透過與 VMware vSphere 高可用性 (VMware HA) 整合的一組應用程式層級健康狀態檢查,在 VMware 上提供高可用性。此方法可協助防範儲存工作負載出現硬體、Hypervisor 或網路故障。這也有助於防範軟體錯誤,例如連線逾時和檔案共用或磁碟區無法使用。

藉由此整合,在 VMware 環境內部部署中或在 VMware Cloud on AWS 中部署的閘道,會在大多數服務中斷時自動復原。此操作通常會在 60 秒以內完成,而且不會遺失資料。

若要將 VMware HA 與 Storage Gateway 搭配使用,請執行下列步驟。

設定 vSphere VMware HA 叢集

首先,如果您尚未建立 VMware 叢集,請立即建立。如需如何建立 VMware 叢集的相關資訊,請參閱 VMware 文件中的建立 vSphere HA 叢集

接下來,將您的 VMware 叢集設定為與 Storage Gateway 搭配使用。

設定 VMware 叢集
  1. 在 VMware vSphere 的 Edit Cluster Settings (編輯叢集設定) 頁面上,確認已針對 VM 和應用程式監控設定 VM 監控。若要執行此操作,請依照列出內容設定下列選項:

    • Host Failure Response (主機故障回應)Restart VMs (重新啟動 VM)

    • Response for Host Isolation (主機隔離回應)Shut down and restart VMs (關閉並重新啟動 VM)

    • Datastore with PDL (具有 PDL 的資料存放區)Disabled (已停用)

    • Datastore with APD (具有 APD 的資料存放區)Disabled (已停用)

    • VM Monitoring (VM 監控)VM and Application Monitoring (VM 和應用程式監控)

    如需範例,請參閱下列螢幕擷取畫面。

    
                        已設定虛擬機器和應用程式監控選項的 VMware vSphere 編輯叢集設定畫面。
  2. 調整下列的值以微調叢集敏感度:

    • 失敗間隔 — 在此間隔之後,如果未收到虛擬機器活動訊號,則會重新啟動虛擬機器。

    • 最小執行時間 — 在虛擬機器開始監視虛擬機器工具的活動訊號之後,叢集會等待這麼長時間。

    • 每部虛擬機器重設上限 — 叢集會在最大重設時間範圍內重新啟動虛擬機器多次。

    • 重設時間範圍上限 — 計算每部虛擬機器重設之重設上限的時間範圍。

    如果您不確定要設定哪些值,請使用這些設定範例:

    • Failure interval (失敗間隔)30

    • Minimum uptime (最短執行時間)120

    • 每個 VM 的最大重設次數3

    • Maximum resets time window (最大重設時間範圍)1 小時

如果您在叢集上有其他正在執行的 VM,您可能會想要設定可供 VM 專用的這些值。在從 .ova 部署 VM 前,您無法這樣做。如需設定這些值的詳細資訊,請參閱(選用) 為叢集上的其他 VM 新增覆寫選項

從 Storage Gateway 主控台下載 .ova 映像

下載閘道的 .ova 影像
  • 在 Storage Gateway 主控台的 [設定閘道] 頁面上,選取您的閘道類型和主機平台,然後使用主控台中提供的連結來下載 .ova,如設定磁帶閘道所述。

部署閘道

在您設定的叢集中,將 .ova 映像部署到其中一個叢集主機。

部署閘道 .ova 映像
  1. 將 .ova 映像部署到叢集中的其中一個主機。

  2. 確認您選擇用於根磁碟的資料存放區以及快取可供叢集中的所有主機使用。在 VMware 或內部部署環境中部署 Storage Gateway .ova 檔案時,會將磁碟描述為半虛擬化 SCSI 磁碟。「全虛擬化」是閘道 VM 與主機作業系統搭配運作的模式,讓主控台可以識別您新增至 VM 的虛擬磁碟。

    設定 VM 以使用全虛擬化控制器

    1. 在 VMware vSphere 用戶端中,開啟閘道 VM 的內容 (按右鍵) 選單,然後選擇 Edit Settings (編輯設定)

    2. Virtual Machine Properties (虛擬機器屬性) 對話方塊中,選擇 Hardware (硬體) 標籤,並選取 SCSI controller 0 (SCSI 控制器 0),然後選擇 Change Type (變更類型)

    3. Change SCSI Controller Type (變更 SCSI 控制器類型) 對話方塊中,選取 VMware Paravirtual (VMware 全虛擬化) SCSI 控制器類型,然後選擇 OK (確定)

(選用) 為叢集上的其他 VM 新增覆寫選項

如果您在叢集上有其他正在執行的 VM,您可能會想要設定可供每個 VM 專用的叢集值。

為叢集上的其他 VM 新增覆寫選項
  1. 在 VMware vSphere 的 Summary (摘要) 頁面上,選擇叢集以開啟叢集頁面,然後選擇 Configure (設定)

  2. 選擇 Configuration (組態) 標籤,然後選擇 VM Overrides (VM 覆寫)

  3. 新增虛擬機器覆寫選項以變更每個值。

    如需覆寫選項,請參閱下列螢幕擷取畫面。

    
                        已設定覆寫選項的 VMware vSphere 新增虛擬機器覆寫叢集畫面。

啟用閘道

部署閘道的 .ova 後,請啟用您的閘道。做法說明會依各個閘道類型而有所不同。

啟用閘道

測試 VMware High Availability 組態

啟用閘道後,請測試您的組態。

測試 VMware HA 組態
  1. 開啟儲存裝置閘道主控台,網址為 https://console.aws.amazon.com/storagegateway/home

  2. 在導覽窗格中,選擇 Gateways (閘道),然後選擇您要測試 VMware HA 的閘道。

  3. 針對 Actions (動作),選擇 Verify VMware HA (驗證 VMware HA)

  4. 在出現的 Verify VMware High Availability Configuration (驗證 VMware High Availability 組態) 方塊中,選擇 OK (確定)

    注意

    測試 VMware HA 組態會重新啟動閘道 VM 並中斷閘道連線。測試可能需要幾分鐘的時間才會完成。

    如果測試成功,Verified (已驗證) 狀態會顯示在主控台閘道的詳細資料標籤中。

  5. 選擇 Exit (退出)

您可以在亞馬遜 CloudWatch 日誌群組中找到 VMware HA 事件的相關資訊。如需詳細資訊,請參閱使用記錄群組取得磁帶閘道健全狀況記 CloudWatch 錄