本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
在 Snowball Edge 上搭配 Snow 裝置叢集使用 Amazon S3 相容儲存
叢集是三個或多個 Snowball Edge 裝置的集合,用作本機儲存和運算用途的單一邏輯單位。相較於獨立的 Snowball Edge 裝置,叢集為本機儲存和運算提供兩種主要優點:
-
提高耐用性 – 存放在 Snowball Edge 裝置叢集中的 S3 資料比單一裝置享有更高的資料耐用性。此外,即使可能影響叢集的硬體中斷,叢集上的資料仍會保持安全且可行。在資料處於危險狀態之前,叢集可以承受 3 和 4 個裝置叢集中的一個裝置遺失,以及 5 到 16 個裝置叢集中最多兩個裝置遺失。您可以取代運作狀態不佳的節點,以維持叢集中所存放資料的耐久性和安全性。
-
增加的儲存 – 使用 Snowball Edge 儲存最佳化裝置,您可以建立 16 個節點叢集,具有最多 2.6 PB 的可用 S3-compatible儲存容量。使用 Snowball Edge 運算最佳化裝置,您可以建立單一 16 節點叢集,最多 501 TB 的可用 S3-compatible儲存容量。
Snowball Edge 裝置的叢集是由無領導節點組成。任何節點都可以將資料寫入至整個叢集以及從中讀取資料,而且所有節點都能執行叢集的幕後管理。
規劃使用 Snowball Edge 裝置叢集時,請謹記下列考量:
-
我們建議您為叢集中的所有裝置提供備援電源,以減少叢集的潛在效能和穩定性問題。
-
如同獨立本機儲存和運算任務,在未將其他裝置訂購為個別匯入任務的一部分的情況下,儲存在叢集中的資料無法匯入 Amazon S3。如果您將其他裝置訂購為匯入任務,您可以將資料從叢集傳輸到匯入任務裝置。
-
若要從 Amazon S3 取得叢集的資料,請使用 Amazon S3 API 在叢集上建立 Amazon S3 儲存貯體,以從 S3 存放和擷取物件。此外,您可以使用 AWS DataSync 在 AWS Snowball Edge 裝置上的儲存服務與 Snowball Edge 上的 Amazon S3 相容儲存之間傳輸物件。如需詳細資訊,請參閱在 Snowball Edge 上使用 S3 相容儲存設定傳輸。
-
您可以建立任務,從 AWS Snow 系列管理主控台 AWS CLI、 或其中一個 AWS SDKs 訂購裝置叢集。如需詳細資訊,請參閱Snowball Edge 入門。
-
叢集中的每個裝置都有節點 ID。節點 ID 是叢集中每個裝置的唯一識別符,例如獨立裝置的任務 ID。您可以從 AWS Snow 系列管理主控台、 AWS CLI、 AWS SDKs 和 Snowball Edge 用戶端取得節點 IDs。Snowball Edge 用戶端命令
describe-device
和describe-cluster
傳回節點 IDs以及裝置或叢集的其他資訊。 -
叢集的生命週期受限於佈建叢集時授予叢集裝置的安全憑證。根據預設,Snowball Edge 裝置最多可以使用 360 天,之後才需要傳回。365 天之後,裝置即會停止回應讀取/寫入要求。如果您需要保留一或多個裝置超過 360 天,請聯絡 AWS 支援。
-
當 AWS 收到屬於叢集一部分的傳回裝置時,我們會執行裝置的完整清除。此清除遵循國家標準技術研究所 (NIST) 800-88 標準。
叢集大小 | 容錯能力 | Snowball Edge Compute Optimized (使用 AMD EPYC Gen2 和 NVMe 進行運算最佳化) 裝置 (TB) 的儲存容量 | Snowball Edge 儲存體最佳化 210 TB 裝置的儲存容量 (以 TB 為單位) |
---|---|---|---|
3 |
遺失最多 1 個節點 |
38 |
438 |
4 |
遺失最多 1 個節點 |
57 |
657 |
5 |
最多遺失 2 個節點 |
57 |
657 |
6 |
最多遺失 2 個節點 |
76 |
904 |
7 |
最多遺失 2 個節點 |
95 |
1096 |
8 |
最多遺失 2 個節點 |
114 |
1315 |
9 |
最多遺失 2 個節點 |
133 |
1534 |
10 |
最多遺失 2 個節點 |
152 |
1754 |
11 |
最多遺失 2 個節點 |
165 |
1970 |
12 |
最多遺失 2 個節點 |
171 |
1973 |
13 |
最多遺失 2 個節點 |
190 |
2192 |
14 |
最多遺失 2 個節點 |
209 |
2411 |
15 |
最多遺失 2 個節點 |
225 |
2625 |
16 |
最多遺失 2 個節點 |
228 |
2631 |
解除鎖定叢集之後,您就可以在該叢集上存放和存取資料。您可以使用 Amazon S3 相容端點從叢集讀取和寫入資料。
若要從叢集讀取或寫入資料,您必須具有讀取/寫入規定人數,且不超過裝置叢集中允許的無法使用節點數量。
Snowball Edge 叢集規定人數
規定人數代表叢集中必須互相通訊以維持讀取/寫入規定人數的 Snowball Edge 裝置數量下限。
當叢集中的所有裝置都正常運作時,您的叢集會有讀取/寫入規定人數。如果其中一或兩個裝置離線,您可以降低叢集的操作容量。不過,您仍然可以讀取和寫入至叢集。除了 叢集操作的一或兩個裝置之外,叢集仍有讀取/寫入規定人數。在 中找到叢集的操作容量受到影響之前可以離線的節點數量this table。
如果叢集遺失的裝置數量超過 中指定的裝置數量,則 Quorom 可能會遺失this table。當規定人數遺失時,叢集會離線,且叢集中的資料無法使用。您或許能夠修正此問題,否則資料可能會永久遺失 (取決於事件的嚴重性)。如果這是一個臨時外部電源事件,並且您可以重新開啟 Snowball Edge 裝置的電源並解鎖叢集中的所有節點,則您的資料會再次可用。
重要
如果運作狀態良好的節點最小規定人數不存在,請聯絡 AWS 支援。
您可以使用 describe-cluster
命令來檢視每個節點的鎖定狀態和網路連線能力。確保叢集中的裝置運作狀態良好且連線良好,是您在使用叢集儲存體時所承擔的管理責任。如需詳細資訊,請參閱取得裝置狀態。
如果您判斷一或多個節點運作狀態不佳,您可以取代叢集中的節點,以維持資料的量值和運作狀態和穩定性。如需詳細資訊,請參閱取代叢集中的節點。