OpenStore インテリジェントハイブリッドストレージエンジンは、Alibaba Cloud Elasticsearch チームがログシナリオ向けに開発した、弾力的で効率的、かつ低コストなログストレージエンジンです。実際に保存するデータ量に基づいた従量課金方式を採用しているため、事前にクラスターのストレージ容量を予約する必要がなく、真のサーバーレスストレージ体験を提供します。このエンジンは、従来のコールド・ホットデータ分離アーキテクチャを改善し、クラスターのデータインジェストの複雑さを軽減し、クラウド上の大量データのストレージコストを削減します。このトピックでは、OpenStore インテリジェントハイブリッドストレージエンジンのシナリオ、アーキテクチャ、利点、およびパフォーマンスメトリックについて説明します。
この機能は現在、中国 (香港) リージョンで利用可能です。他のリージョンでのサポートも間もなく開始される予定です。
背景情報
包括的なログ観測シナリオでは、ビジネス上または規制上の要件により、データを長期間保存したり、監査のためにアーカイブしたりする必要がしばしばあります。オープンソースの Elasticsearch を使用する場合、クラスター内でコールド・ホットデータを分離する必要があります。30 日より古いデータは通常、クラスターのスナップショットを使用して、Object Storage Service (OSS) などの他のストレージメディアに保存されます。この方法は、ログデータを長期間アーカイブするために使用されます。ただし、データがアーカイブされた後、直接クエリすることはできません。データをクエリする前に、API を呼び出してスナップショットをクラスターに復元し、スナップショット内のインデックスが初期化されるのを待つ必要があります。このプロセスは複雑であり、長期的なストレージコストが高くなります。
OpenStore ストレージエンジンは、Alibaba Cloud Elasticsearch 7.10 の拡張版の重要な機能です。これは インデックスサービスマネージド書き込みサービス と連携して、ログシナリオにおける低コスト、高同時実行書き込み、および長期データストレージの要件を満たします。必要に応じてバージョン 7.10 の拡張版のインスタンスを作成し、OpenStore インテリジェントハイブリッドストレージ機能を有効にすることができます。
インスタンスの [基本情報] ページで、[ノード可視化] セクションに移動します。このセクションでは、OpenStore 機能が有効になっているかどうかを確認し、機能を有効にし、OpenStore ストレージ情報を表示できます。詳細については、「クラスターのステータスとノード情報を表示する」をご参照ください。
インデックスサービス インスタンスで OpenStore が有効になっている場合、クラスターの高いデータ可用性を保証する基盤となるストレージサービスが使用されます。これらのインスタンスは 自動バックアップ をサポートしていません。
利点
大容量ストレージ: 従量課金のサーバーレスストレージを提供します。事前にストレージ容量を計画または購入する必要はありません。ストレージ使用量は時間単位で計算され、100% のストレージリソース使用率を達成します。
低コスト: リアルタイムの変更と書き込み更新をサポートします。複雑なインデックスライフサイクルを構成する必要はありません。データは自動的に階層化されるため、エンジンは使いやすくなっています。データストレージの単価は、ローカル SATA ディスクよりも 60% 低く、Ultra ディスクよりも 70% 低くなっています。
高可用性: ストレージとコンピューティングの分離アーキテクチャにより、複数のレプリカがストレージコストを増やすことなく単一のデータコピーを共有できます。基盤となるストレージサービスは、クラスターの高いデータ可用性を保証し、99.9999999999% (トゥエルブナイン) のデータ耐久性を提供します。
クエリパフォーマンスの向上: 一般的なログシナリオでの一般的なクエリ分析では、パフォーマンスはローカル SATA ディスクよりも 100% 優れており、Ultra ディスクまたは PL0 企業向け SSD (ESSD) に匹敵します。
制限
OpenStore ストレージを購入して使用する際には、以下の制限が適用されます。
カテゴリ | 制限事項 |
リージョン | 現在、以下のリージョンでのみ利用可能です (コンソールに表示される内容に従います):
|
インスタンスバージョン | バージョン 7.10 のインスタンスのみが OpenStore インテリジェントハイブリッドストレージ機能をサポートします。 |
インスタンスタイプ | OpenStore ストレージ最適化 8 コア 64 GB および 16 コア 64 GB のインスタンスタイプのみがサポートされています。 |
インスタンスストレージ容量 | 単一ノードの最大ストレージ容量は 30 TB です。 説明 単一ノードでより大きなストレージ容量が必要な場合は、チケットを送信してリクエストしてください。最大 50 TB がサポートされます。 |
シャードレプリカの数 | OpenStore インテリジェントハイブリッドストレージが有効な場合、シャードレプリカの数は 1 以上である必要があります。 警告 複数のレプリカは、ストレージコストを増やすことなく 1 つのデータコピーを共有します。複数のレプリカは、ローカルストレージへの高速書き込みの信頼性を保証します。複数のレプリカを構成しない場合、一部のリアルタイム書き込みデータが失われる可能性があります。失われたデータは回復できません。 |
インデックス テンプレート |
説明 OpenStore ストレージインデックスを手動で削除する場合、インデックスを正常に削除するには、インデックスとその対応するエイリアスの両方を削除する必要があります。 |
インデックスライフサイクル構成 | インデックスライフサイクルにおけるフリーズ操作のカスタマイズはサポートされていません。 |
クエリの制限 |
|
クラスターのシャード制限 | 80,000 未満を推奨します。 |
ノードのシャード制限 | 3,000 未満を推奨します。 |
単一シャードサイズ | 40 GB 未満を推奨します。 |
データディスクの書き込みスループット | データディスク使用率が 85% 未満の場合は 300 MB/s。 データディスク使用率が 85% を超える場合は 100 MB/s。 |
シナリオ
Alibaba Cloud Elasticsearch によって開発された OpenStore ストレージエンジンは、大量のデータ書き込みと長期保存を必要とし、低いクエリ QPS と比較的に高いクエリレイテンシを許容できる、ログ検索やメトリック分析などのシナリオに適しています。
インテリジェントハイブリッドストレージエンジンは、リアルタイムのデータ更新を必要とし、コールド・ホットデータ間に厳密な分離がないビジネスシナリオに適しています。
ハイブリッドストレージアーキテクチャ
このアーキテクチャには、以下の利点があります。
ストレージとコンピューティングの分離: コールド・ホットデータ分離アーキテクチャと比較して、このアーキテクチャはコンピューティングリソースとストレージリソースをさらに分離します。これにより、ストレージ容量を管理する必要がなくなります。弾力的なストレージと従量課金を提供します。また、クラウドネイティブの原則を活用して、クラスターの拡張性を最適化します。これにより、インデックスの移行と回復の速度が大幅に向上し、大規模なデータシナリオに適しています。
使いやすさ: 完全に自動化されたインデックスライフサイクル管理を提供します。単純なインデックスライフサイクルを構成するだけで、エンジンがコールド・ホットデータ分離と OpenStore ストレージへのデータ移行の全プロセスを管理します。
データ整合性: インテリジェントハイブリッドストレージエンジンは、Raft ベースのハイブリッドストレージ整合性プロトコルを使用して、異なるストレージメディア間でのデータ整合性を保証します。ユーザーの介入なしに自動的にデータ階層化とキャッシュアクセラレーションを実行し、リアルタイムのデータ更新をサポートします。
パフォーマンステスト
テスト環境
データセット: ログシナリオのデータセット。
クラスター構成: 一般的なログシナリオで同じ構成が使用されました:
ノード数: 10
シャード数: 108
クエリ条件:
クエリタイプ: ソート
ドキュメント数: 3,800,000,000
テスト結果
ストレージクラス
クエリ時間
ローカル SATA ディスク
30 秒以上
Ultra ディスク
12.229 秒
OpenStore ストレージ
15.841 秒
テスト結論:
同じクラスター構成で、OpenStore に保存されたログデータのクエリ時間は、ローカル SATA ディスク上のデータよりも大幅に短くなります。クエリ時間は Ultra ディスクとほぼ同じです。価格の面では、OpenStore ストレージの単価は Ultra ディスクよりも約 60% 低くなっています。また、従量課金方式を採用しているため、事前にストレージ容量を購入する必要はありません。OpenStore ストレージを使用すると、コストを大幅に削減できます。
関連メトリック
メトリック | データ |
アクセスレイテンシ (ローカルキャッシュヒット) | 0.2 ms |
アクセスレイテンシ (ローカルキャッシュミス) | 50 ms から 400 ms |
アクセススループット (ローカルキャッシュヒット) | 1 GB/s |
アクセススループット (ローカルキャッシュミス) | 750 MB/s |
シナリオ | モニタリングログ、履歴注文、アーカイブデータなどのアクセス頻度の低いデータ |