Lindorm將容量型雲端儲存作為冷儲存介質,用於儲存資料庫中訪問頻率較低的歷史資料(冷資料),從而降低儲存成本。本文介紹容量型雲端儲存的功能特性及效能測試結果。
功能特性
-
儲存成本低。
儲存成本僅為標準型雲端儲存成本的20%。
-
支援資料寫入能力,並保證資料隨時可讀。
-
使用簡單。
購買Lindorm執行個體時選擇容量型雲端儲存並選擇儲存空間,然後通過建立表格語句將冷資料存放區至容量型雲端儲存中即可。
-
支援同一張表內的冷熱分離功能。
冷熱分離功能可以自動將表中的熱資料存放區至讀寫速度更快的熱儲存中,將不常訪問的歷史資料存放區至容量型雲端儲存中,從而降低儲存成本。如果您在業務上有冷熱分離的需求,請參見冷熱分離介紹。
開通容量型雲端儲存
如何開通容量型雲端儲存,請參見開通容量型雲端儲存。
容量型雲端儲存效能測試
測試環境:Master: ecs.c5.xlarge,4 Core 8GB;4個 RegionServer:ecs.c5.xlarge,4 Core 8 GB。
寫效能:
|
表類型 |
avg rt |
p99 rt |
|
熱儲存表 |
1736 us |
4811 us |
|
容量型雲端儲存表 |
1748 us |
5243 us |
每條記錄10列,每列100 B,也就是單行1KB,16線程寫。
隨機查詢Get效能:
|
表類型 |
avg rt |
p99 rt |
|
熱儲存表 |
1704 us |
5923 us |
|
容量型雲端儲存表 |
14738 us |
31519 us |
關閉表的BlockCache。每條記錄10列,每列100 B,也就是單行1KB。8線程讀,每次讀出1KB。
範圍查詢Scan效能:
|
表類型 |
avg rt |
p99 rt |
|
熱儲存表 |
6222 us |
20975 us |
|
容量型雲端儲存表 |
51134 us |
115967 us |
關閉表的BlockCache。每條記錄10列,每列100 B,也就是單行1KB。8線程讀,每次讀出1KB。Scan的Caching設定為30。
容量型雲端儲存效能保障
Lindorm根據您購買的容量型儲存容量提供讀寫頻寬保障。當底層儲存池有閑置頻寬時,系統可能提供超出保障頻寬的讀寫能力,但這部分超額頻寬不承諾穩定性保障。
不同地區的保障頻寬:
|
地區 |
讀保障頻寬規則 |
寫保障頻寬規則 |
|
華東2(上海) 華南1(深圳) 華北2(北京) 華東1(杭州) 新加坡 |
最低保障5Gbps,每增加1PiB容量提升20Gbps,最高不超過50Gbps。 |
最低保障2Gbps,每增加1PiB容量提升5Gbps,最高不超過20Gbps。 |
|
華南3(廣州) 華南2(河源) 華北1(青島) 華北3(張家口) 西南1(成都) 華北6(烏蘭察布) 華北5(呼和浩特) |
最低保障2Gbps,每增加1PiB容量提升20Gbps,最高不超過10Gbps。 |
最低保障1Gbps,每增加1PiB容量提升5Gbps,最高不超過10Gbps。 |
|
中國香港 日本(東京) 馬來西亞(吉隆坡) 印尼(雅加達) 英國(倫敦) 德國(法蘭克福) |
最低保障1Gbps,每增加1PiB容量提升20Gbps,最高不超過5Gbps。 |
最低保障1Gbps,每增加1PiB容量提升5Gbps,最高不超過5Gbps。 |
|
泰國(曼穀) 美國(維吉尼亞) 美國(矽谷) |
最低保障0.6Gbps,每增加1PiB容量提升20Gbps,最高不超過2Gbps。 |
最低保障0.6Gbps,每增加1PiB容量提升5Gbps,最高不超過2Gbps。 |
容量型雲端儲存讀取限流說明
容量型雲端儲存目前僅適用於寫多讀少的情境。同時,容量型雲端儲存對讀取IOPS(Input/Output Operations Per Second)存在以下限制:
-
每個執行個體的容量型雲端儲存有一個Token(令牌)池,當監控中剩餘可用Token數為
0時,容量型雲端儲存的讀取將會被限速。此時系統僅提供一個最低保底的IOPS,每個節點僅提供保底10 IOPS能力。 -
Token池中的Token會以一定速率積累,該速率取決於執行個體容量型雲端儲存的實際容量,容量越大,積累速率越快。
-
在Token池中還有存量的情況下,容量型雲端儲存每次IO讀取會消耗一個Token,單節點的最高IOPS為1500。
-
每GiB容量獲得0.04 IOPS,相當於每25 GiB容量可獲得1 IOPS。也就是說,每增加25 GiB容量,每秒可額外獲得1個Token。
-
Token池存在最大容量上限,積累滿後可用Token數將不再繼續增加。同時,該上限也取決於容量型雲端儲存的實際容量,容量越大,上限越大。
-
Token池的最大容量由執行個體配置決定,當積累的Token達到預設上限時,系統將停止緩衝新產生的Token。具體而言,若在預設的有效周期(如48小時)內未發生Token消耗行為,Token池將僅保留最新周期內的Token資料,超出部分將被自動替換或丟棄。
-
上層資料引擎(例如寬表引擎、時序引擎等)對容量型雲端儲存的訪問,取決於資料引擎如何將讀取請求轉換為實際的IO請求。例如,一次請求命中了多個資料區塊因此產生了多次IO請求,或請求資料區塊位於緩衝中因此不產生實際IO等情況。因此,無法簡單地通過預估來確定上層多模引擎可以承擔的讀取請求QPS,建議根據Token池的消耗情況進行評估。
容量型雲端儲存監控指標說明
登入Lindorm管理主控台。在左上方選擇執行個體所屬的地區。在实例列表頁,單擊目標執行個體ID或者目標執行個體所在行操作列的管理。
-
在左側導覽列,單擊執行個體監控,查看叢集概況中的叢集儲存詳情。各項指標說明如下:
指標
說明
容量型雲端儲存讀取token
執行個體層級指標,包括容量型雲端儲存可用Token的百分比,可用Token數量和最大Token數量。每次讀取IO會消耗1個Token,如果執行個體整體可用Token百分比降為
0%,讀請求將會被限流等待。容量型雲端儲存讀取情況
包括所有節點和用戶端讀取IOPS的總和、讀取流量,每次讀取IO會消耗1個Token。讀取IOPS數值越高,Token消耗越快。由於資料引擎與IO模型的不同,資料庫的讀請求可能會讀多次資料並消耗多個Token。
容量型雲端儲存限流情況
表示所有節點和用戶端被限流的讀取請求OPS總和。該值大於
0表示有讀請求被限流,會導致上層讀延遲增加。重要執行個體整體可用Token百分比大於
0,但單節點IOPS大於1500,也會觸發限流。
注意事項
-
容量型雲端儲存讀IOPS的能力很低,因此只適用於低頻查詢的情境。
-
容量型雲端儲存與標準型雲端儲存在寫入輸送量方面的效能差異較小,二者均可滿足常規寫入需求。
-
由於索引(包括二級索引、列存索引和搜尋索引)的構建過程中需要回查資料,從而產生讀取操作,如果的執行個體已開啟冷熱分離功能,請務必關注冷儲存(容量型雲端儲存)的限流情況。如果冷儲存的讀取操作受到限流,將直接影響索引的構建效率,進而可能導致寫入操作出現反壓現象。
-
容量型雲端儲存不適合并發大量讀請求的情境,並發大量的讀請求可能會導致請求異常。
-
如果您購買的容量型雲端儲存的儲存空間較大,可根據實際業務情況調整讀IOPS能力。如何調整,請聯絡支援人員。
-
每個節點管理冷資料的資料量不能超過30 TB。如果需要增加管理上限,請聯絡支援人員。
-
容量型雲端儲存的使用佔比超過95%後,將無法繼續寫入資料,請您在使用過程中及時關注容量型儲存的使用方式。如何查看容量型儲存的使用方式,請參見查看容量型雲端儲存容量。