すべてのプロダクト
Search
ドキュメントセンター

E-MapReduce:データ管理ポリシー

最終更新日:Apr 14, 2025

ブロックストレージモードの JindoFS は、さまざまなシナリオのストレージ要件を満たす高度なデータ管理ポリシーを提供します。高度なポリシーには、ストレージポリシーと圧縮ポリシーが含まれます。このトピックでは、ポリシーについて詳しく説明し、ポリシーの使用方法を示す例を提供します。

ストレージポリシー

JindoFS は、柔軟なストレージをサポートするために、次の表に示す 5 つのストレージポリシーを提供します。
ポリシー説明
ARデータのバックアップは 1 つだけです。バックアップは OSS にアーカイブオブジェクトとして保存されます。
IAデータのバックアップは 1 つだけです。バックアップは OSS に低頻度アクセス(IA)オブジェクトとして保存されます。
COLDデータのバックアップは 1 つだけです。バックアップは OSS に標準オブジェクトとして保存されます。
WARMデータには OSS に 1 つのバックアップとローカルに 1 つのバックアップがあります。ローカルバックアップは、データの読み取り操作を効果的に高速化できます。

デフォルトでは、このストレージポリシーが使用されます。

HOTデータには OSS に 1 つのバックアップとローカルに 1 つのバックアップがあります。ローカルバックアップは強制的にロックされます。このようにして、キャッシュが自動的にクリアされるときに削除されません。このポリシーは WARM ポリシーよりも優れた高速化効果を実現でき、最もホットなデータに適しています。

OSS のストレージクラスの詳細については、「概要」をご参照ください。

新しく追加されたファイルは、その親ディレクトリに指定されたストレージポリシーに基づいて保存されます。例:
  • 次のコマンドを実行して、ストレージポリシーを設定します:
    jindo jfs -setStoragePolicy [-R] <StoragePolicy>(AR/IA/COLD/WARM/HOT) <path> ...
    ここで:
    • [-R]: ディレクトリのすべてのサブディレクトリに同じストレージポリシーを設定するために、再帰操作が実行されることを指定します。
    • <path>: ストレージポリシーが設定されるディレクトリの名前。
  • 次のコマンドを実行して、ディレクトリに設定されているストレージポリシーを取得します:
    jindo jfs -getStoragePolicy <path>

圧縮ポリシー

JindoFS では、データブロックを保存する前に圧縮できます。この機能は、データブロックが占有するストレージスペースを効果的に削減し、データの読み取りと書き込みの効率を向上させます。この機能は、圧縮率の高いファイルに適しています。次の表に、サポートされている圧縮ポリシーを示します。
ポリシー説明
NONEデータブロックは圧縮されません。

デフォルトでは、この圧縮ポリシーが使用されます。

ZSTDZstandard 圧縮アルゴリズムを使用してデータブロックを圧縮します。
新しく追加されたファイルは、保存される前に、その親ディレクトリに指定された圧縮ポリシーに基づいて圧縮されます。例:
  • 次のコマンドを実行して、圧縮ポリシーを設定します:
    jindo jfs -setCompressionPolicy [-R] <CompressionPolicy>(NONE/ZSTD) <path> ...
    ここで:
    • [-R]: ディレクトリのすべてのサブディレクトリに同じ圧縮ポリシーを設定するために、再帰操作が実行されることを指定します。
    • <path>: 圧縮ポリシーが設定されるディレクトリの名前。
  • 次のコマンドを実行して、ディレクトリに設定されている圧縮ポリシーを取得します:
    jindo jfs -getCompressionPolicy <path> ...