すべてのプロダクト
Search
ドキュメントセンター

Object Storage Service:オブジェクトメタデータのエクスポート

最終更新日:Jul 02, 2025

OSS-HDFSのオブジェクトのメタデータをJSONファイルとして特定のパスにエクスポートできます。 これにより、オブジェクトメタデータの管理および分析が容易になる。

前提条件

  • 最新バージョンのJindoSDKを使用します。 詳細については、『GitHub』をご参照ください。

  • 有効なAccessKeyペアが設定されています。 AccessKeyペアは、OSS-HDFSが有効になっているバケットにアクセスするために使用されます。

    詳細については、「Jindo CLIコマンドを使用したOSSまたはOSS-HDFSへのアクセス」をご参照ください。

手順

  1. オブジェクトメタデータのエクスポート

    1. にログインします。OSSコンソール.

    2. 左側のナビゲーションウィンドウで、バケットリスト をクリックします。 [バケット] ページで、目的のバケットを見つけてクリックします。

    3. 左側のナビゲーションツリーで、データレイク > OSS-HDFS を選択します。

    4. メタデータリストのエクスポート セクションで、エクスポート をクリックします。

      オブジェクトメタデータのエクスポートに必要な時間は、数分から数時間で、メタデータの量によって異なります。 デフォルトでは、メタデータファイルはoss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/inventory/ パスにエクスポートされます。 カスタム出力パスはサポートされていません。

      重要

      . sysinfo /インベントリ /ディレクトリは削除できません。 このディレクトリのメタデータファイルにアクセスして削除できます。

  2. メタデータファイルをダウンロードします。

    次のコマンドを実行して、メタデータファイルをダウンロードします。

    jindo fs -get oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d **** /tmp/
  3. viまたはvimコマンドを実行して、メタデータファイルを開きます。

    サンプルメタデータファイル:

    {"id":163 **," path ":"/"," type ":" directory "," size ":0," user ":" admin "," group ":" supergroup "," atime ":1666581702921," mtime ":1666581702933," permission ":511}
    {"id":624668410678950 ****,"path":"/dls-1000326249","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":1666581702923,"mtime":1660889124590,"permission":511}
    {"id":624668410678950 ****,"path":"/dls-1000326249 /ベンチマーク","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":166658170293325,"mtime":1660889124590,"permission":511}
    {"id":624668410678950 ****,"path":"/dls-1000326249/benchmark/n1","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":1666581702930,"mtime":1660889124590,"permission":511}
    {"id":624668410678950 ****,"path":"/dls-1000326249 /ベンチマーク /n1/490747449","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":1666581702931,"mtime":1660895613953,"permission":511} 

    次の表に、メタデータファイルのフィールドを示します。

    フィールド

    説明

    id

    オブジェクトまたはディレクトリのID。

    パス

    オブジェクトまたはディレクトリへのパス。

    type

    リソースのタイプを示します。 有効な値:

    • directory

    • file

    size

    データサイズ (バイト単位) 。

    • typeフィールドの値がfileの場合、sizeフィールドの値はオブジェクトのサイズです。

    • typeフィールドの値がディレクトリの場合、sizeフィールドの値は0です。

    user

    オブジェクトまたはディレクトリの所有者。

    group

    オブジェクトまたはディレクトリが属するユーザーグループ。

    atime

    オブジェクトまたはディレクトリがアクセスされた時刻。 値はタイムスタンプです。

    mtime

    オブジェクトまたはディレクトリが変更された時刻。 値はタイムスタンプです。

    permission

    オブジェクトまたはディレクトリに対する権限。

  4. (オプション) メタデータファイルを削除します。

    OSS-HDFSメタデータファイルはストレージスペースを消費し、ストレージ料金が発生します。 メタデータファイルが不要になった場合は、HDFSコマンドを使用してメタデータファイルを削除することを推奨します。

    重要

    メタデータファイルを削除するときは、システムデータが削除されないように、メタデータファイルへの正しいパスを指定してください。dlsdataと。sysinfoパス。 たとえば、手順1でエクスポートしたメタデータファイルを削除するには、メタデータファイルへの正確なパスを指定します。

    次のコマンドは、メタデータファイルを削除する方法の例を示しています。

    jindo fs -rm -skipTrash oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a89*1d ***