OSS-HDFSのオブジェクトのメタデータをJSONファイルとして特定のパスにエクスポートできます。 これにより、オブジェクトメタデータの管理および分析が容易になる。
前提条件
最新バージョンのJindoSDKを使用します。 詳細については、『GitHub』をご参照ください。
有効なAccessKeyペアが設定されています。 AccessKeyペアは、OSS-HDFSが有効になっているバケットにアクセスするために使用されます。
詳細については、「Jindo CLIコマンドを使用したOSSまたはOSS-HDFSへのアクセス」をご参照ください。
手順
オブジェクトメタデータのエクスポート
にログインします。OSSコンソール.
左側のナビゲーションウィンドウで、バケットリスト をクリックします。 [バケット] ページで、目的のバケットを見つけてクリックします。
左側のナビゲーションツリーで、 を選択します。
メタデータリストのエクスポート セクションで、エクスポート をクリックします。
オブジェクトメタデータのエクスポートに必要な時間は、数分から数時間で、メタデータの量によって異なります。 デフォルトでは、メタデータファイルは
oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/inventory/パスにエクスポートされます。 カスタム出力パスはサポートされていません。重要. sysinfo /インベントリ /ディレクトリは削除できません。 このディレクトリのメタデータファイルにアクセスして削除できます。
メタデータファイルをダウンロードします。
次のコマンドを実行して、メタデータファイルをダウンロードします。
jindo fs -get oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d **** /tmp/viまたはvimコマンドを実行して、メタデータファイルを開きます。
サンプルメタデータファイル:
{"id":163 **," path ":"/"," type ":" directory "," size ":0," user ":" admin "," group ":" supergroup "," atime ":1666581702921," mtime ":1666581702933," permission ":511} {"id":624668410678950 ****,"path":"/dls-1000326249","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":1666581702923,"mtime":1660889124590,"permission":511} {"id":624668410678950 ****,"path":"/dls-1000326249 /ベンチマーク","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":166658170293325,"mtime":1660889124590,"permission":511} {"id":624668410678950 ****,"path":"/dls-1000326249/benchmark/n1","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":1666581702930,"mtime":1660889124590,"permission":511} {"id":624668410678950 ****,"path":"/dls-1000326249 /ベンチマーク /n1/490747449","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":1666581702931,"mtime":1660895613953,"permission":511}次の表に、メタデータファイルのフィールドを示します。
フィールド
説明
id
オブジェクトまたはディレクトリのID。
パス
オブジェクトまたはディレクトリへのパス。
type
リソースのタイプを示します。 有効な値:
directory
file
size
データサイズ (バイト単位) 。
typeフィールドの値がfileの場合、sizeフィールドの値はオブジェクトのサイズです。
typeフィールドの値がディレクトリの場合、sizeフィールドの値は0です。
user
オブジェクトまたはディレクトリの所有者。
group
オブジェクトまたはディレクトリが属するユーザーグループ。
atime
オブジェクトまたはディレクトリがアクセスされた時刻。 値はタイムスタンプです。
mtime
オブジェクトまたはディレクトリが変更された時刻。 値はタイムスタンプです。
permission
オブジェクトまたはディレクトリに対する権限。
(オプション) メタデータファイルを削除します。
OSS-HDFSメタデータファイルはストレージスペースを消費し、ストレージ料金が発生します。 メタデータファイルが不要になった場合は、HDFSコマンドを使用してメタデータファイルを削除することを推奨します。
重要メタデータファイルを削除するときは、システムデータが削除されないように、メタデータファイルへの正しいパスを指定してください。dlsdataと。sysinfoパス。 たとえば、手順1でエクスポートしたメタデータファイルを削除するには、メタデータファイルへの正確なパスを指定します。
次のコマンドは、メタデータファイルを削除する方法の例を示しています。
jindo fs -rm -skipTrash oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a89*1d ***