OpenStore智能混合儲存引擎 -

OpenStore智能混合儲存引擎是Elasticsearch團隊針對日誌情境自研的彈性、高效、低成本的日誌儲存引擎，支援根據實際儲存資料量隨用隨付，無須提前預留叢集儲存容量，真正做到儲存Serverless。可突破傳統冷熱分離架構，大幅降低叢集資料接入複雜度的同時，進一步降低雲上海量資料的儲存成本。本文主要介紹OpenStore智能混合儲存引擎的適用情境、架構、優勢以及效能指標。

重要

該功能目前已開放中國香港地區，其他地區敬請期待。

背景資訊

在日誌全觀測情境下，通常因為業務情境或監管需求，需要長時間儲存資料或歸檔審計。在使用開源Elasticsearch的過程中，需要進行叢集冷熱資料分離，將30天或者更長時間的資料通過叢集快照的方式儲存在其他儲存介質上，例如Object Storage Service等。該方式雖然能夠實現長期日誌資料歸檔，但是儲存後不能直接進行查詢，查詢前需要調用相關API把快照資訊恢複到叢集中，等待快照中的索引初始化完成後再進行查詢，面臨著查詢複雜度大、長時間儲存成本高的問題。

OpenStore儲存引擎是Elasticsearch 7.10核心增強版的重要功能，結合Indexing Service寫入託管服務，滿足使用者在日誌情境下低成本的高並發寫入及長期資料存放區需求。您可以按需建立7.10核心增強版執行個體，開啟OpenStore智能混合儲存功能。

說明

您可以在執行個體基本資料頁面的節點可視化地區查看是否已開啟OpenStore功能、開啟OpenStore功能並查看OpenStore儲存資訊，詳細資料請參見查看叢集狀態和節點資訊。
開啟OpenStore的Indexing Service執行個體，底層儲存服務保證了叢集的資料高可用，不支援設定自動備份。

功能優勢

海量儲存：儲存Serverless付費，無須提前規劃及購買儲存容量，資料存放區按小時統計實際使用量，儲存資源使用率達到100%。
低成本：即時可修改、支援寫入更新，無須配置複雜索引生命週期，自動完成資料降級，超低使用門檻；資料存放區單價相較於使用本地SATA盤儲存成本降低了60%，相較於高效雲端硬碟降低了70%。
高可用：基於儲存計算分離架構，多副本之間共用一份資料，不增加額外儲存成本；底層儲存服務保證叢集的資料高可用，提供99.9999999999%（可達12個9）的資料持久性。
查詢效能提升：對於典型日誌情境的常用查詢分析，效能相較於本地SATA提升了100%，與高效雲端硬碟或者PL0層級的ESSD雲端硬碟效能相當。

使用限制

購買和使用OpenStore儲存時，存在以下使用限制。

類別	限制說明
地區	目前僅開放以下地區（具體以控制台為準）：華東2（上海）、華北3（張家口）、華東1（杭州）、華南 1（深圳）、華北 2（北京）新加坡、德國（法蘭克福）、美國（維吉尼亞）、日本（東京）
執行個體版本	僅7.10版本執行個體支援開啟Openstore智能混合儲存功能。
執行個體規格	僅支援選擇OpenStore儲存型8核64 GB、16核64 GB規格。
執行個體儲存容量	單節點最大儲存資料容量為30 TB。說明如果您有更大的單節點儲存需求，請提交工單申請，最大支援50 TB。
shard副本數	開啟OpenStore智能混合儲存，shard副本數須大於等於1。警告多副本之間共用一份資料，不增加額外儲存成本。多副本用於保證本機存放區寫入加速的可靠性，如果未設定多副本可能會導致部分即時寫入資料的丟失，丟失後資料無法恢複。
索引模板	核心1.8及以下版本，建立模板必須手動指定component-hybrid-openstore-index-template組合模板。 1.9及以上核心無需手動指定組合模板。說明手動刪除OpenStore儲存索引時，需要將索引及索引對應的別名一起刪除才能成功刪除。
索引生命週期配置	不支援在索引生命週期中自訂freeze。
查詢限制	以下Agg查詢類型僅核心1.9及以上版本支援，其他核心版本不支援。 PercentilesAggregation、PercentileRanksAggregation、SamplerAggregation、DiversifiedAggregation、SignificantTextAggregation、GeoDistanceAggregation、GeoHashGridAggregation、GeoTileGridAggregation、GeoBoundsAggregation、GeoCentroidAggregation、ScriptedMetricAggregation。以下Agg查詢類型暫不支援，不區分核心版本。 FiltersAggregation、AdjacencyMatrixAggregation、ReverseNestedAggregation、CompositeAggregation。
叢集分區數限制	建議80000以下。
節點分區數限制	建議3000以下。
單分區大小	建議40 G以下。
資料盤寫入吞吐	資料盤實際使用水位在85%以下，300 MB/s。資料盤實際使用水位在85%以上，100 MB/s。

適用情境

Elasticsearch自研Openstore儲存引擎，適用於有海量資料寫入及長期儲存需求，資料查詢QPS較低且查詢時延容忍度相對較高的日誌檢索、指標分析等情境。

智能混合儲存引擎適用於業務上對於資料有即時更新的需求，資料沒有嚴格的冷熱區分。

混合儲存架構

此架構具備以下優勢：

儲存計算分離：相較於冷熱分離架構，進一步解耦計算與儲存資源，使用者不需要再關注儲存容量。實現彈性儲存、隨用隨付的同時，立足雲原生最佳化叢集擴充性，極大地提升了索引遷移和恢複的速度，適應海量資料情境。
易用性：全自動的索引生命週期管理，您只需要做簡單的索引周期配置，引擎完全託管了索引冷熱分離和資料移轉OpenStore儲存的全過程。
資料一致性：智能混合儲存通過基於Raft實現的混合儲存一致性協議，保證不同儲存介質之間的資料一致性，在使用者無感知的情況下，自動完成資料降級及緩衝加速，並支援資料即時更新。

效能測試

測試環境
- 資料集：某日誌情境資料集。
- 叢集規格：均採用某日誌情境的相同配置，其中：
  - 節點數：10
  - Shard數：108
- 查詢條件：
  - 查詢類型：sort
  - 文檔個數：3,800,000,000
測試結果
儲存類型
查詢時間
本地SATA盤
30秒以上
高效雲端硬碟
12.229秒
OpenStore儲存
15.841秒
測試結論：
在叢集配置相同的情況下，查詢日誌資料時，通過OpenStore儲存的查詢耗時明顯低於通過本地SATA盤儲存的耗時，與高效雲端硬碟查詢耗時基本持平。從價格方面來看，OpenStore儲存的單價比高效雲端硬碟儲存的單價低60%左右，而且是隨用隨付，無須提前購買儲存容量。所以，通過使用OpenStore儲存，可以為您節省一定的費用。

指標	資料
訪問延遲（本機快取命中）	0.2ms
訪問延遲（本機快取未命中）	50ms~400ms
訪問吞吐（本機快取命中）	1GB/s
訪問吞吐（本機快取未命中）	750MB/s
適用情境	監控日誌、歷史訂單、歸檔資料等低頻訪問資料

：OpenStore智能混合儲存（日誌分析型）引擎