すべてのプロダクト
Search
ドキュメントセンター

E-MapReduce:JindoFS の階層型ストレージコマンドを使用する

最終更新日:Jan 11, 2025

E-MapReduce(EMR)V3.30 では、JindoFS は階層型ストレージ機能を提供します。この機能を使用すると、コールドデータとホットデータを異なるストレージメディアに保存できます。これにより、データストレージコストを削減し、データアクセスを高速化できます。

jindo jfs を使用する

ヘルプ情報を取得するには、次のコマンドを実行します。
jindo jfs -help archive

JindoFS の階層型ストレージコマンドは非同期であり、関連するタスクのみを開始します。

キャッシュ

このコマンドを使用して、特定のパスに保存されているデータをローカルディスクにバックアップできます。その後、オブジェクトストレージサービス(OSS)からデータを読み取ることなく、ローカルディスクからデータを読み取ることができます。
jindo jfs -cache -p <path>

-p を使用すると、ディスク使用量に基づいてローカルデータがクリアされないようにすることができます。

キャッシュ解除

このコマンドを使用して、ローカルディスクからバックアップデータを削除し、OSS Standard ストレージにのみデータを保存できます。
jindo jfs -uncache  <path>

アーカイブ

このコマンドを使用して、ローカルディスクからバックアップデータを削除し、データを OSS 低頻度アクセス(IA)ストレージまたはアーカイブストレージに保存できます。ストレージクラスの詳細については、概要をご参照ください。
jindo jfs -archive -i|-a|-c <path>
  • -i オプションを指定すると、データは OSS IA ストレージに保存されます。
  • -a オプションを指定すると、データは OSS アーカイブストレージに保存されます。
  • -c オプションを指定すると、データは OSS コールドアーカイブストレージに保存されます。

アーカイブ解除

このコマンドを使用して、データのストレージクラスをアーカイブから IA または Standard に変換できます。アーカイブストレージに保存されているデータを一時的にアーカイブ解除して、1 日間読み取り可能にすることができます。
jindo jfs -unarchive -i/-o <path>
デフォルトでは、このコマンドを使用してデータを OSS Standard ストレージに保存できます。
  • -i オプションを指定すると、データは OSS IA ストレージに保存されます。
  • -o オプションを指定すると、アーカイブストレージに保存されているデータが一時的にアーカイブ解除され、読み取り可能になります。

ステータス

このコマンドを使用して、タスクの詳細を表示できます。デフォルトでは、特定のディレクトリで階層型ストレージを使用するファイルの数と、階層型ストレージが適用されたデータが測定されます。
jindo jfs -status -detail/-sync <path>
  • -detail オプションを指定すると、ファイルデータの保存の進行状況を表示できます。
  • -sync オプションを指定すると、階層型ストレージタスクが完了した後にのみコマンドが終了します。

ls2

JindoFS は、Hadoop ls コマンドに基づいてファイルストレージステータスを表示できる ls2 コマンドを提供します。
hadoop fs -ls2 <path>
コマンド出力の例(ファイルストレージクラスを含む):
drwxrwxrwx  - -         0    2020-06-05 04:27 oss://xxxx/warehouse
-rw-rw-rw-  1 Archive   1484 2020-09-23 16:40 oss://xxxx/wikipedia_data.csv
-rw-rw-rw-  1 Standard  1676 2020-06-07 20:04 oss://xxxx/wikipedia_data.json