バケットの OSS-HDFS のメタデータインベントリをエクスポートできます。インベントリは JSON ファイルとして指定のパスにエクスポートされ、統計分析に利用できます。
前提条件
-
最新バージョンの Jindo SDK を使用します。SDK をダウンロードするには、GitHub をご参照ください。
-
OSS-HDFS が有効になっているバケットの AccessKey ペアを設定します。
詳細については、「Jindo CLI コマンドを使用した OSS および OSS-HDFS へのアクセス」をご参照ください。
操作手順
-
メタデータインベントリをエクスポートします。
-
OSS コンソールにログインします。
-
左側のナビゲーションウィンドウで、バケット をクリックします。表示されたページで、対象のバケット名をクリックします。
-
左側のナビゲーションウィンドウで、 を選択します。
-
[メタデータリストのエクスポート] セクションで、[エクスポート] をクリックします。
エクスポートには、メタデータの量に応じて数分から数時間かかる場合があります。出力されたインベントリファイルは、デフォルトで
oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/inventory/パスに保存されます。カスタム出力パスはサポートされていません。重要.sysinfo/inventory/ディレクトリは削除できません。このディレクトリ内のエクスポートされたファイルにアクセスして削除することはできます。
-
-
ファイルをダウンロードします。
次のコマンドを実行して、インベントリファイルをダウンロードします。
jindo fs -get oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d**** /tmp/ -
vi または vim コマンドを使用してインベントリファイルを開きます。
以下はインベントリファイルのサンプルです:
{"id":163**,"path":"/","type":"directory","size":0,"user":"admin","group":"supergroup","atime":1666581702921,"mtime":1666581702933,"permission":511} {"id":624668410678950****,"path":"/dls-1000326249","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":1666581702923,"mtime":1660889124590,"permission":511} {"id":624668410678950****,"path":"/dls-1000326249/benchmark","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":166658170293325,"mtime":1660889124590,"permission":511} {"id":624668410678950****,"path":"/dls-1000326249/benchmark/n1","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":1666581702930,"mtime":1660889124590,"permission":511} {"id":624668410678950****,"path":"/dls-1000326249/benchmark/n1/490747449","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":1666581702931,"mtime":1660895613953,"permission":511}メタデータチェックリスト結果ファイルには、次のフィールドが含まれています:
フィールド
説明
id
ファイルまたはディレクトリの ID。
path
ファイルまたはディレクトリのパス。
type
メタデータのタイプ。
-
directory: ディレクトリ。
-
file: ファイル。
size
データサイズ (バイト単位)。
-
メタデータタイプが file の場合、size フィールドの値はファイルサイズです。
-
メタデータタイプが directory の場合、size フィールドの値は 0 です。
user
ファイルまたはディレクトリの所有者。
group
ファイルまたはディレクトリのユーザーグループ。
atime
ファイルまたはディレクトリのアクセス時刻。値は UNIX タイムスタンプです。
mtime
ファイルまたはディレクトリの変更時刻。値は UNIX タイムスタンプです。
permission
ファイルまたはディレクトリの権限。
-
-
(オプション) インベントリファイルを削除します。
OSS-HDFS メタデータインベントリファイルはストレージ容量を消費し、ストレージ料金が発生します。インベントリファイルが不要になった場合は、Hadoop コマンドを使用して速やかに削除し、不要な料金を回避してください。
重要インベントリファイルを削除する際、ファイルパスはステップ 1 の出力にある Data Location と同じである必要があります。これにより、.dlsdata および .sysinfo パス内のシステムデータが誤って削除されるのを防ぎます。
次の例は、Jindo コマンドラインインターフェイス (CLI) コマンドを実行してインベントリファイルを削除する方法を示しています:
jindo fs -rm -skipTrash oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d****