すべてのプロダクト
Search
ドキュメントセンター

E-MapReduce:JindoFS の階層型ストレージコマンドを使用する

最終更新日:Apr 14, 2025

E-MapReduce(EMR)V3.30 では、JindoFS は階層型ストレージ機能を提供します。この機能を使用すると、コールドデータとホットデータを異なるストレージメディアに保存できます。これにより、データストレージコストを削減し、データアクセスを高速化できます。

jindo jfs を使用する

次のコマンドを実行して、ヘルプ情報を取得します。
jindo jfs -help archive
// アーカイブコマンド
-archive -i/a <path> ... :
  Archive commands.

JindoFS の階層型ストレージコマンドは非同期であり、関連するタスクのみを開始します。

キャッシュ

このコマンドを使用して、特定のパスに保存されているデータをローカルディスクにバックアップできます。その後、オブジェクトストレージサービス(OSS)からデータを読み取ることなく、ローカルディスクからデータを読み取ることができます。
jindo jfs -cache -p <path>

-p を使用すると、ディスク使用量に基づいてローカルデータがクリアされないようにすることができます。

キャッシュ解除

このコマンドを使用して、ローカルディスクからバックアップデータを削除し、OSS Standard ストレージにのみデータを保存できます。
jindo jfs -uncache  <path>

アーカイブ

このコマンドを使用して、ローカルディスクからバックアップデータを削除し、データを OSS 低頻度アクセス(IA)ストレージまたはアーカイブストレージに保存できます。ストレージクラスの詳細については、「概要」をご参照ください。
jindo jfs -archive -i|-a <path>

-i は、データを OSS IA ストレージに保存するために使用されます。-a は、データを OSS アーカイブストレージに保存するために使用されます。

アーカイブ解除

このコマンドを使用して、データのストレージクラスをアーカイブから IA または Standard に変換できます。アーカイブストレージに保存されているデータを一時的に復元して、1 日以内にデータを読み取り可能にすることができます。
jindo jfs -unarchive -i/-o <path>

デフォルトでは、このコマンドを使用してデータを OSS Standard ストレージに保存できます。-i は、データを OSS IA ストレージに保存するために使用されます。-o は、アーカイブストレージに保存されているデータを一時的に復元して、データを読み取り可能にするために使用されます。

ステータス

このコマンドを使用して、タスクの詳細を表示できます。デフォルトでは、特定のディレクトリで階層型ストレージを使用するファイルの数と、階層型ストレージが適用されたデータが測定されます。
jindo jfs -status -detail/-sync <path>

-detail は、ファイルデータのストレージの進行状況を表示するために使用されます。-sync は、階層型ストレージタスクの完了後にコマンドが終了することを示します。

ls2

JindoFS は、Hadoop ls コマンドに基づいてファイルストレージステータスを表示できる ls2 コマンドを提供します。
hadoop fs -ls2 <path>
コマンド出力の例(ファイルストレージクラスを含む):
drwxrwxrwx  - -         0    2020-06-05 04:27 oss://xxxx/warehouse
-rw-rw-rw-  1 Archive   1484 2020-09-23 16:40 oss://xxxx/wikipedia_data.csv
-rw-rw-rw-  1 Standard  1676 2020-06-07 20:04 oss://xxxx/wikipedia_data.json