JindoFS ストレージ＆圧縮ポリシーによる OSS ティアリング最適化 - E-MapReduce

ブロックストレージモードの JindoFS では、ディレクトリレベルでデータの保存場所と圧縮の有無をコントロールできます。ストレージポリシーと圧縮ポリシーの 2 種類のポリシーが利用可能です。ポリシーは新しく書き込まれたファイルにのみ適用され、ディレクトリ内の既存のファイルには影響しません。

ストレージポリシー

JindoFS は、ホットデータからコールドデータまでのさまざまなシナリオに対応するため、5 つのストレージポリシーを提供しています。

ポリシー	データ保存先	キャッシュ動作	最適な用途
HOT	OSS + ローカル	ローカルコピーはロックされ、削除されることはありません	最速の読み取りアクセスを必要とする最もホットなデータ
WARM	OSS + ローカル	キャッシュがクリアされるとローカルコピーは削除されます	ローカルアクセラレーションの恩恵を受ける、頻繁にアクセスされるデータ (デフォルト)
COLD	OSS (標準)	ローカルコピーなし	アクセス頻度は低いが、利用可能な状態を維持する必要があるデータ
IA	OSS (低頻度アクセス (IA))	ローカルコピーなし	アクセス頻度の低いデータ
AR	OSS (アーカイブ)	ローカルコピーなし	アクティブでなくなり、長期的なアーカイブが必要なデータ

WARM はデフォルトのストレージポリシーです。HOT は、ローカルコピーが自動的に削除されることがないため、WARM よりも優れた読み取りアクセラレーションを提供します。

OSS ストレージクラスの詳細については、概要をご参照ください。

jindo jfs -setStoragePolicy [-R] <StoragePolicy>(AR/IA/COLD/WARM/HOT) <path> ...

パラメーター	説明
`-R`	(オプション) `<path>`
`<StoragePolicy>`	適用するポリシー： `AR`、`IA`、`COLD`、`WARM`、または `HOT`
`<path>`	設定するディレクトリ

jindo jfs -getStoragePolicy <path>

パラメーター	説明
`<path>`	ストレージポリシーを確認したいディレクトリ

JindoFS は、データブロックを保存する前に圧縮することで、ストレージ容量を削減し、データの読み書き効率を向上させることができます。圧縮は、圧縮率の高いファイルタイプで最も効果的です。

ポリシー	説明
NONE	圧縮なし (デフォルト)
ZSTD	Zstandard アルゴリズムを使用してデータブロックを圧縮します

jindo jfs -setCompressionPolicy [-R] <CompressionPolicy>(NONE/ZSTD) <path> ...

jindo jfs -getCompressionPolicy <path> ...

パラメーター	説明
`<path>`	圧縮ポリシーを確認したいディレクトリ