OpenStore Storage Engine (Log Analytics) は、Alibaba Cloud Elasticsearch チームがログシナリオ向けに開発したサーバーレスのログストレージエンジンです。実際に保存されたデータ量に基づく従量課金制に対応しているため、事前にクラスターのストレージ容量を確保する必要がありません。OpenStore は、従来のホット/コールドデータ分離アーキテクチャを超え、クラスターへのデータインジェストの複雑さを軽減し、クラウドでの大量データ保存コストを削減します。
OpenStore Storage Engine (Log Analytics) は現在、中国 (香港) リージョンで利用可能です。他のリージョンも近日中にサポートされる予定です。
背景情報
ログの可観測性シナリオでは、ビジネス要件や規制要件により、監査目的で長期的なデータ保持やアーカイブが求められることがよくあります。オープンソースの Elasticsearch では、クラスター内でホットデータとコールドデータを分離する必要があります。また、クラスター スナップショットを使用して、30 日以上経過したデータを Object Storage Service (OSS) などの他のストレージメディアに保存する必要があります。このアプローチでは長期的なログデータのアーカイブは実現できますが、保存されたデータを直接クエリすることはできません。データをクエリする前に、関連する API を呼び出してスナップショットをクラスターにリストアし、スナップショット内のインデックスの初期化が完了するのを待つ必要があります。その結果、クエリが複雑になり、長期的なストレージコストが高くなります。
OpenStore は、Alibaba Cloud Elasticsearch 7.10 Kernel-enhanced Edition の重要な機能です。マネージド型の Indexing Service と組み合わせることで、OpenStore はログシナリオ向けに低コストで高同時実行性の書き込み操作と、長期的なデータ保持を実現します。必要に応じて 7.10 Kernel-enhanced Edition クラスターを作成し、OpenStore Storage Engine (Log Analytics) を有効にできます。
クラスターの基本情報ページのノード可視化セクションでは、OpenStore が有効になっているかどうかの確認、OpenStore の有効化、および OpenStore のストレージ情報の表示ができます。詳細については、「クラスターのステータスとノード情報を表示する」をご参照ください。
クラスターで OpenStore と Indexing Service が有効になっている場合、基盤となるストレージサービスがクラスターの高いデータ可用性を保証します。そのため、Auto Snapshot を設定できません。
メリット
大容量ストレージ： OpenStore はサーバーレスストレージ課金を使用します。事前にストレージ容量を計画したり購入したりする必要はありません。実際のデータストレージ使用量は時間単位で計測され、ストレージリソースの利用率は 100%に達します。
低コスト： データはリアルタイムで変更でき、書き込み時の更新をサポートします。複雑なインデックスライフサイクルを設定する必要がなく、データ階層化が自動的に完了するため、学習コストが低く抑えられます。データストレージの単価は、ローカル SATA ディスクよりも 60%、Ultra ディスクよりも約 60%低くなっています。
高可用性 (HA)： ストレージとコンピューティングの分離アーキテクチャにより、複数のレプリカが追加のストレージコストなしで 1 つのデータコピーを共有します。基盤となるストレージサービスがクラスターの高いデータ可用性を保証し、最大 99.9999999999% (トゥエルブナイン) のデータの耐久性を提供します。
クエリパフォーマンスの向上： 典型的なログシナリオにおける一般的なクエリおよび分析タスクでは、パフォーマンスはローカル SATA ディスクと比較して 100%向上し、Ultra ディスクや PL0 ESSD と同等です。
制限事項
OpenStore ストレージの購入および使用には、以下の制限が適用されます。
カテゴリ | 説明 |
リージョン | OpenStore は、以下のリージョンでのみ利用可能です。実際に利用可能なリージョンはコンソールに表示されます。
|
クラスターバージョン | 9.4.0、8.17.0、7.10。 |
クラスターの仕様 | 8 コア 64 GB および 16 コア 64 GB の OpenStore ストレージ仕様のみがサポートされています。 |
クラスターのストレージ容量 | ノードあたりの最大データストレージ容量は 30 TB です。 説明 ノードあたりのストレージ容量をさらに増やす必要がある場合は、チケットを送信して申請してください。最大 50 TB までサポートされます。 |
シャードレプリカの数 | OpenStore Storage Engine (Log Analytics) を有効にする場合、シャードレプリカの数は 1 以上である必要があります。 警告 複数のレプリカが追加のストレージコストなしで 1 つのデータコピーを共有し、ローカルストレージの書き込みアクセラレーションの信頼性を確保します。複数のレプリカを設定しない場合、リアルタイムで書き込まれた一部のデータが失われ、回復できなくなる可能性があります。 |
インデックステンプレート |
説明 OpenStore インデックスを手動で削除するには、対応するエイリアスと一緒にインデックスを削除する必要があります。そうしないと、削除は失敗します。 |
インデックスライフサイクル設定 | インデックスライフサイクルでフリーズをカスタマイズできません。 |
クエリの制限 |
|
クラスターのシャード制限 | (推奨) 1 クラスターあたり 80,000 シャード未満。 |
ノードのシャード制限 | (推奨) 1 ノードあたり 3,000 シャード未満。 |
シャードあたりのサイズ | (推奨) 1 シャードあたり 40 GB 未満。 |
データディスクの書き込みスループット | 実際のデータディスク使用率が 85%未満の場合は 300 MB/s、85%以上の場合は 100 MB/s。 |
シナリオ
OpenStore Storage Engine (Log Analytics) は Alibaba Cloud Elasticsearch が開発しました。大量のデータを書き込み、長期間にわたって保存する必要があるログ検索やメトリクス分析などのシナリオに適しています。これらのシナリオは、クエリ QPS が低く、クエリレイテンシーに対する許容度も比較的高くなっています。
OpenStore は、リアルタイムのデータ更新が必要で、厳密なホット/コールドデータ分離を必要としないビジネスシナリオにも適しています。
ハイブリッドストレージアーキテクチャ
OpenStore Storage Engine (Log Analytics) は、ストレージとコンピューティングの分離を伴うハイブリッドストレージアーキテクチャを使用します。そのアーキテクチャ設計原則と、ストレージとコンピューティングの分離、データ整合性、使いやすさ、高可用性といった主要なメリットは、OpenStore ストレージエンジンのものと同じです。詳細については、同じディレクトリにある OpenStore ストレージエンジンのトピックをご参照ください。
パフォーマンステスト
テスト環境：
データセット：ログシナリオのデータセット。
クラスター仕様：すべてのクラスターでログシナリオに同じ設定を使用します。内容は以下の通りです。
ノード数： 10
シャード数： 108
クエリ条件：
クエリタイプ： sort
ドキュメント数： 3,800,000,000
テスト結果：
ストレージタイプ
クエリ時間
ローカル SATA ディスク
30 秒超
Ultra ディスク
12.229 秒
OpenStore ストレージ
15.841 秒
テストの結論：
同じクラスター設定で、OpenStore に保存されたログデータのクエリにかかる時間は、ローカル SATA ディスクに保存されたデータのクエリにかかる時間よりも大幅に短縮されます。クエリ時間は、Ultra ディスクに保存されたデータの場合とほぼ同じです。OpenStore ストレージの単価は、Ultra ディスクストレージよりも約 60%低くなっています。OpenStore は従量課金制も採用しているため、事前にストレージ容量を購入する必要はありません。したがって、OpenStore ストレージはコストを削減できます。