Elasticsearch:ログ分析のための OpenStore インテリジェントハイブリッドストレージエンジン

背景情報

ログ分析やオブザーバビリティシナリオでは、ビジネス要件や規制要件により、アーカイブや監査のために長期間のデータ保持が求められることがよくあります。オープンソースの Elasticsearch では、通常、ホット/コールドデータ分離が行われます。30 日を超えるデータは、クラスターのスナップショットを使用して OSS などの他のストレージメディアに移動されることが一般的です。このアプローチは長期アーカイブには有効ですが、アーカイブされたデータを直接クエリすることはできません。クエリを実行するには、まずスナップショットをクラスターに復元し、インデックスの初期化を待つ必要があり、これは複雑なうえ、長期的なストレージコストを増加させます。

利点

• 大容量ストレージ：OpenStore は、従量課金のサーバーレスストレージモデルを採用しており、事前の容量計画が不要です。実際の使用量に基づいて時間単位で課金され、ストレージ使用率 100% を実現します。

• 低コスト：データはリアルタイムで変更および更新できます。自動データ階層化により、複雑なインデックスライフサイクル設定が不要になり、初期セットアップが簡素化されます。ストレージコストは、ローカル SATA ディスクと比較して最大 60%、Ultra ディスクと比較して約 60% 削減されます。

• 高可用性：コンピューティングとストレージの分離アーキテクチャにより、複数のレプリカが追加コストなしで単一のデータコピーを共有できます。基盤のストレージサービスは高いデータ可用性を保証し、最大 99.9999999999% (12 ナイン) の耐久性を提供します。

• クエリパフォーマンスの向上：一般的なログ分析のクエリおよび分析タスクにおいて、パフォーマンスはローカル SATA ディスクと比較して 100% 向上し、Ultra ディスクや PL0 ESSD に匹敵します。

制限事項

OpenStore の購入および使用時には、以下の制限事項が適用されます。

ユースケース

OpenStore は、ログ検索やメトリクス分析など、大量のデータを長期間書き込んで保存する必要があるシナリオに最適です。クエリ QPS が低く、クエリレイテンシーに対する許容度が高いワークロードに最も適しています。

インテリジェントハイブリッドストレージエンジンは、厳密なホット/コールドデータ分離を必要とせず、リアルタイムのデータ更新が必要なビジネスシナリオにも適しています。

ハイブリッドストレージアーキテクチャ

パフォーマンステスト

• テスト環境

  • データセット：一般的なログ分析シナリオのデータセット。

  • クラスター仕様：比較に使用したクラスターは同じ構成で、ログ分析用に最適化されています。

    • ノード数：10

    • シャード数：108

  • クエリ条件：

    • クエリタイプ：sort

    • ドキュメント数：3,800,000,000

• テスト結果

  ストレージタイプ	クエリ時間
  ローカル SATA ディスク	30 秒超
  Ultra ディスク	12.229 秒
  OpenStore	15.841 秒

• テストの結論

  同じクラスター構成において、OpenStore でのログデータのクエリレイテンシーは、ローカル SATA ディスクと比較して大幅に低く、Ultra ディスクに匹敵します。OpenStore は、Ultra ディスクと比較して単位あたり約 60% 安価で、従量課金を採用しているため、事前の容量購入が不要です。