OpenStore ストレージエンジン (ログ分析) は、Alibaba Cloud Elasticsearch チームがログシナリオ向けに開発した、サーバーレスのログストレージエンジンです。実際に保存されているデータ量に基づく従量課金制をサポートしており、事前にクラスターのストレージ容量を予約する必要はありません。OpenStore は、従来のホット/コールドデータ分離アーキテクチャの枠組みを超え、クラスターへのデータインジェストの複雑さを軽減し、クラウドでの大量データストレージのコストを削減します。
OpenStore ストレージエンジン (ログ分析) は、現在、一部のリージョンで利用可能です。利用可能なリージョンの最新リストについては、「制限事項」の表をご確認ください。他のリージョンも順次サポートされる予定です。
背景情報
ログの可観測性 (オブザーバビリティ) のシナリオでは、ビジネス要件や規制要件により、監査目的でデータを長期間保持またはアーカイブすることが求められることがよくあります。オープンソースの Elasticsearch では、クラスター内のホットデータとコールドデータを分離する必要があります。また、30 日以上経過したデータは、クラスター スナップショットを使用して Object Storage Service (OSS) などの他のストレージメディアに保存する必要があります。このアプローチでは、ログデータの長期的なアーカイブは実現できますが、保存されたデータを直接クエリすることはできません。データをクエリする前に、関連する API を呼び出してスナップショットをクラスターに復元し、スナップショット内のインデックスの初期化が完了するのを待つ必要があります。その結果、クエリが複雑になり、長期的なストレージコストが高くなります。
OpenStore は、Alibaba Cloud Elasticsearch 7.10 カーネル拡張版の重要な機能です。マネージド型の インデックスサービス と組み合わせることで、OpenStore はログシナリオにおいて、低コスト、高同時実行での書き込み、および長期的なデータ保持を実現します。必要に応じて 7.10 カーネル拡張版クラスターを作成し、OpenStore ストレージエンジン (ログ分析) を有効にすることができます。
クラスターの基本情報ページのノード可視化セクションでは、OpenStore が有効になっているかを確認し、OpenStore を有効にして、OpenStore のストレージ情報を表示できます。詳細については、「クラスターのステータスとノード情報を表示する」をご参照ください。
クラスターで OpenStore と インデックスサービス が有効になっている場合、基盤のストレージサービスがクラスターの高いデータ可用性を保証するため、自動スナップショット を設定することはできません。
メリット
大容量ストレージ：OpenStore はサーバーレスのストレージ課金を採用しています。事前にストレージ容量を計画したり購入したりする必要はありません。実際のデータストレージ使用量は時間単位で計測され、ストレージリソースを 100% 活用できます。
低コスト：データはリアルタイムで変更でき、書き込み時の更新をサポートします。複雑なインデックスライフサイクルを設定する必要はなく、データ階層化が自動的に行われるため、学習コストを低く抑えられます。データストレージの単価は、ローカル SATA ディスクより 60%、Ultra ディスクより約 60% 低くなっています。
高可用性 (HA)：ストレージとコンピューティングの分離アーキテクチャにより、複数のレプリカが追加のストレージコストなしで 1 つのデータコピーを共有します。基盤のストレージサービスがクラスターの高いデータ可用性を保証し、最大 99.9999999999% (トゥエルブナイン) のデータの耐久性を提供します。
クエリパフォーマンスの向上：一般的なログシナリオにおける通常のクエリおよび分析タスクでは、パフォーマンスがローカル SATA ディスクと比較して 100% 向上し、Ultra ディスクや PL0 ESSD に匹敵します。
制限事項
OpenStore ストレージの購入および使用には、以下の制限事項が適用されます。
カテゴリ | 説明 |
リージョン | OpenStore は以下のリージョンでのみ利用可能です。実際に利用可能なリージョンはコンソールに表示されます。
|
クラスターバージョン | 9.4.0、8.17.0、7.10 |
クラスター仕様 | 8 コア 64 GB と 16 コア 64 GB の OpenStore ストレージ仕様のみがサポートされています。 |
クラスターのストレージ容量 | ノードあたりの最大データストレージ容量は 30 TB です。 説明 ノードあたりのストレージ容量をさらに増やす必要がある場合は、チケットを起票してください。最大 50 TB までサポートされます。 |
シャードレプリカの数 | OpenStore ストレージエンジン (ログ分析) を有効にする場合、シャードレプリカの数は 1 以上である必要があります。 警告 複数のレプリカは追加のストレージコストなしで 1 つのデータコピーを共有し、ローカルストレージの書き込み高速化の信頼性を確保します。複数のレプリカを設定しない場合、リアルタイムで書き込まれたデータの一部が失われ、回復できなくなる可能性があります。 |
インデックステンプレート |
説明 OpenStore インデックスを手動で削除するには、対応するエイリアスと一緒にインデックスを削除する必要があります。そうしないと、削除に失敗します。 |
インデックスライフサイクル設定 | インデックスライフサイクルで凍結 (freeze) フェーズをカスタマイズすることはできません。 |
クエリの制限 |
|
クラスターのシャード制限 | (推奨) クラスターあたり 80,000 シャード未満。 |
ノードのシャード制限 | (推奨) ノードあたり 3,000 シャード未満。 |
シャードあたりのサイズ | (推奨) シャードあたり 40 GB 未満。 |
データディスクの書き込みスループット | 実際のデータディスク使用率が 85% 未満の場合は 300 MB/s、85% 以上の場合は 100 MB/s。 |
シナリオ
OpenStore ストレージエンジン (ログ分析) は、Alibaba Cloud Elasticsearch が開発したエンジンです。大量のデータを書き込み、長期間保存する必要があるログ検索やメトリクス分析などのシナリオに適しています。これらのシナリオでは、クエリの QPS が低く、クエリレイテンシーに対する許容度も比較的高くなります。
OpenStore は、リアルタイムのデータ更新が必要で、厳密なホット/コールドデータの分離がないビジネスシナリオにも適しています。
ハイブリッドストレージアーキテクチャ
OpenStore ストレージエンジン (ログ分析) は、ストレージとコンピューティングの分離型のハイブリッドストレージアーキテクチャを使用します。そのアーキテクチャ設計原則と、ストレージとコンピューティングの分離、データ整合性、使いやすさ、高可用性などの主要なメリットは、OpenStore ストレージエンジンと同じです。詳細については、同じディレクトリ内にある OpenStore ストレージエンジンのトピックをご参照ください。
パフォーマンステスト
テスト環境
データセット：ログシナリオのデータセット。
クラスター仕様：すべてのクラスターでログシナリオに同じ構成を使用します。構成は以下の通りです。
ノード数：10
シャード数：108
クエリ条件：
クエリタイプ：sort
ドキュメント数：3,800,000,000
テスト結果
ストレージタイプ
クエリ時間
ローカル SATA ディスク
30 秒以上
Ultra ディスク
12.229 秒
OpenStore ストレージ
15.841 秒
テストの結論：
同じクラスター構成で、OpenStore に保存されたログデータをクエリする時間は、ローカル SATA ディスクに保存されたデータをクエリする時間よりも大幅に短縮されます。クエリ時間は、Ultra ディスクに保存されたデータの場合とほぼ同じです。OpenStore ストレージの単価は、Ultra ディスクのストレージよりも約 60% 低くなっています。OpenStore は従量課金方式も採用しているため、事前にストレージ容量を購入する必要はありません。したがって、OpenStore ストレージによってコストを削減できます。