Openstore儲存計算分離是Elasticsearch基於共用儲存架構自研的檢索引擎,通過將資料存放區與計算節點分離,解決了傳統多副本架構儲存成本高、因資料移轉導致節點擴縮容慢的問題。它在保證資料高可用的前提下,實現資源的快速Auto Scaling並降低儲存成本,適用於通用或檢索情境。
背景資訊
在檢索情境下,為了查詢的高效能和高可用,通常需要設定多副本,這會帶來多倍的寫入和儲存開銷。同時在業務流量波動情況下,因需要shard資料搬遷,無法快速進行擴縮節點,需要預留較多計算資源,存在的資一定的源浪費。
OpenStore儲存計算分離(高效能檢索)引擎是Elasticsearch 7.10核心增強版的重要功能,您可以按需建立7.10核心增強版執行個體,開啟Openstore儲存計算分離(高效能檢索情境)。
功能優勢
海量儲存彈性擴充:基於共用儲存架構,可快速擴容遠端儲存空間,無縫滿足業務增長需求。
超低成本與高效能:
即時支援資料寫入與更新,無需配置複雜索引生命週期策略,資料自動下沉至遠端共用儲存,使用門檻極低。
單副本情境下:儲存成本較ESSD雲端硬碟降低40%+,寫入效能提升40%。
多副本情境下:副本數越多,儲存成本節省越顯著。
適用範圍
地區和開通方式:當前服務僅對白名單使用者開放(需聯絡支援人員開通),支援地區包括:
華東1(杭州):可用性區域 J/K
中國(香港):可用性區域 B/C/D
北京:可用性區域 K/F/I
上海:可用性區域 E/G/L
深圳:可用性區域 C/D/E
執行個體版本:僅支援 7.10 版本核心增強版執行個體。
執行個體規格:最低規格2core8G、最小資料節點數4。
執行個體儲存容量:資料單節點本機快取儲存空間最小50GB、總邏輯共用儲存空間最小160GB。
付費模式:支援訂用帳戶和隨用隨付。
可用性區域數量:支援單可用性區域、雙可用性區域(高可用),目前暫不支援三可用性區域。
資料寫入:Openstore預設設定共用儲存空間使用率95%為寫入閾值,當主分區(primary shard)索引資料達到此閾值時,系統將自動阻止新資料寫入(block writes),避免儲存溢出導致叢集故障。可通過以下API可臨時提高寫入閾值至98%,為儲存擴容爭取緩衝時間:
PUT _cluster/settings { "persistent": { "apack.openstore.quota.limit.ratio": "98%" } }
相關指標
指標 | 資料 |
訪問延遲(本機快取命中) | 0.2ms |
訪問延遲(本機快取未命中) | 1ms |
訪問吞吐(本機快取未命中) | 最大350MB/s (ESSD PL1效能,和磁碟大小相關,請參考ESSD雲端硬碟) |
訪問吞吐(本機快取未命中) | 實際機型頻寬相關,請參考計算型執行個體規格類型系列c8i |
適用情境 | 即時報表、線上計算、即時搜尋等低延遲訪問資料 |