JindoCache (旧 JindoFSx) は、データキャッシングとメタデータキャッシングを通じてクラウドネイティブのデータレイクを高速化する Alibaba Cloud EMR のサービスです。さまざまなデータレイクのシナリオにおけるアクセス高速化のニーズに応えるため、CacheSet ごとに多様な読み取り/書き込みポリシーを提供します。
背景情報
CacheSet は、JindoCache のキャッシュ抽象化です。すべてのデータがキャッシュによる高速化を必要とするわけではないため、JindoCache は多様なデータレイクワークロードをサポートするために、きめ細かなアクセスポリシーを提供します。特定のデータに対して積極的なメタデータキャッシングを設定したり、キャッシングを無効化したりすることで、最適なパフォーマンスとリソース効率を実現できます。
シナリオ
JindoCache は、以下のシナリオに適用できます：
-
オンライン分析処理 (OLAP) (Presto クエリ)：クエリパフォーマンスを向上させ、クエリ時間を短縮します。
-
データサービング (HBase)：P99 レイテンシーとリクエストコストを大幅に削減します。
-
ビッグデータ分析 (Hive/Spark レポート)：レポート生成時間を短縮し、コンピューティングクラスターのコストを最適化します。
-
データレイクハウス：リクエストコストを削減し、データカタログのレスポンスレイテンシーを最適化します。
-
AI：トレーニングやその他の AI ワークロードを高速化し、AI クラスターのコストを削減するとともに、包括的なサポートを提供します。
キャッシュポリシー
JindoCache は、データキャッシングとメタデータキャッシングに対応しています。データキャッシングの方法として、分散キャッシング、コンシステントハッシュ、ローカルキャッシングがあります。