すべてのプロダクト
Search

このプロダクト

    E-MapReduce:Jindo AuditLog の使用

    ドキュメントセンター

    E-MapReduce:Jindo AuditLog の使用

    最終更新日:Apr 11, 2025

    Jindo AuditLog を使用すると、ブロックストレージモードのネームスペースでの操作を監査できます。ネームスペースでの追加、削除、名前変更操作が記録されます。

    前提条件

    • バージョン 3.29.X の EMR クラスタが作成されていること。クラスタの作成方法の詳細については、「クラスタの作成」をご参照ください。
    • OSS バケットが作成されていること。詳細については、「バケットの作成」をご参照ください。

    背景情報

    AuditLog を使用して、ネームスペースアクセス情報の分析、異常なリクエストの検出、エラーの追跡を行うことができます。 AuditLog はログファイルを OSS に保存します。単一のログファイルのサイズは 5 GB を超えることはできません。 OSS のライフサイクル管理機能を使用して、ログファイルの保存期間を日単位でカスタマイズできます。 JindoFS では、Shell コマンドを使用して AuditLog によって生成されたログファイルを分析できます。

    監査ログ

    例:
    2020-07-09 18:29:24.689 allowed=true ugi=hadoop (auth:SIMPLE) ip=127.0.0.1 ns=test-block cmd=CreateFileletRequest src=jfs://test-block/test/test.snappy.parquet dst=null perm=::rwxrwxr-x
    次の表は、ブロックストレージモードのネームスペースについて AuditLog によって記録された監査ログのパラメータを示しています。
    パラメータ説明
    時間時刻の形式は yyyy-MM-dd hh:mm:ss.SSS です。
    allowed操作が許可されているかどうかを示します。有効な値:
    • true
    • false
    ugi操作を実行したユーザー。認証方法に関する情報も表示されます。
    ipクライアントの IP アドレス。
    nsブロックストレージモードのネームスペースの名前。
    cmd操作コマンド。
    srcソースパス。
    dest宛先パス。このパラメータは空のままにすることができます。
    permファイルに対する操作権限。

    AuditLog の構成

    1. SmartData サービスに移動します。
      1. Alibaba Cloud EMR コンソール にログインします。
      2. 上部のナビゲーションバーで、クラスタが存在するリージョンを選択します。必要に応じてリソースグループを選択します。デフォルトでは、アカウントのすべてのリソースが表示されます。
      3. [クラスタ管理] タブをクリックします。
      4. 表示される [クラスタ管理] ページで、ターゲットクラスタを見つけ、[アクション] 列の [詳細] をクリックします。
      5. 左側のナビゲーションペインで、[クラスタサービス] をクリックし、次に [smartdata] をクリックします。
    2. SmartData サービスの [ネームスペース] タブに移動します。
      1. [構成] タブをクリックします。
      2. [サービス構成] セクションの [ネームスペース] タブをクリックします。
        namespace
    3. 次の操作を実行します。
      1. [サービス構成] セクションの右上隅にある [カスタム構成] をクリックします。
      2. [構成項目の追加] ダイアログボックスで、次の表に示すパラメータを構成します。
        パラメータ説明必須
        namespace.auditlog.enable
        • true: AuditLog を有効にします。
        • false: AuditLog を無効にします。
        		はい
        namespace.auditlog.oss.uriAuditLog によって生成されたログファイルが格納される OSS バケット。

        oss://<yourbucket>/auditLog の形式でこのパラメータを設定します。

        <yourbucket> を OSS バケット名に置き換えます。

        		はい
        namespace.auditlog.oss.accessKeyOSS バケットへのアクセスに使用する AccessKey ID。いいえ
        namespace.auditlog.oss.accessSecretOSS バケットへのアクセスに使用する AccessKey シークレット。いいえ
        namespace.auditlog.oss.endpointOSS バケットのエンドポイント。いいえ
      3. [サービス構成] セクションの右上隅にある [クライアント構成のデプロイ] をクリックします。
      4. [クラスタアクティビティ] ダイアログボックスで、[説明] を指定し、[OK] をクリックします。
      5. [確認] メッセージで、[OK] をクリックします。
    4. ネームスペースサービスを再起動します。
      1. 右上隅にある Jindo Namespace Serviceの再起動[アクション] ドロップダウンリストから を選択します。
      2. [クラスタアクティビティ] ダイアログボックスで、[説明] を指定し、[OK] をクリックします。
      3. [確認] メッセージで、[OK] をクリックします。
    5. ログファイルの保存期間を構成します。
      OSS は、OSS 内のファイルのライフサイクルを管理するためのライフサイクル管理機能を提供します。この機能を使用して、AuditLog によって生成されたログファイルの保存期間をカスタマイズできます。
      1. OSS コンソール にログインします。
      2. 左側のナビゲーションペインで、[バケット] をクリックします。表示されるページで、作成したバケットの名前をクリックします。
      3. 左側のナビゲーションペインで、[基本設定] > [ライフサイクル] を選択します。[ライフサイクル] セクションで、[構成] をクリックします。
      4. [ルールの作成] をクリックします。[ルールの作成] ダイアログボックスで、パラメータを構成します。
      5. [OK] をクリックします。

    ログファイルの分析

    JindoFS では、Shell コマンドを使用して AuditLog によって生成されたログファイルを分析できます。 EMR コンソールで MapReduce ジョブを実行して、ログファイルで最もアクティブなコマンドまたは IP アドレスを分析できます。分析コマンドは jindo auditlog です。

    次の表は、コマンドのパラメータを示しています。
    パラメータ説明必須
    --srcAuditLog によって生成されたログファイルが格納される OSS バケット。デフォルトでは、このパラメータは namespace.auditlog.oss.uri手順 3 で指定した パラメータの値に設定されます。値をカスタマイズできます。いいえ
    --ns分析するネームスペース。デフォルトでは、ブロックストレージモードのすべてのネームスペースが分析されます。いいえ
    --type分析対象:
    • ip: 最もアクティブな IP アドレス
    • cmd: 最もアクティブなコマンド
    		はい
    --min時間範囲（分単位）。いいえ
    説明 --min と --day のいずれか 1 つのみを指定できます。
    --day時間範囲（日単位）。

    1 日目は現在の日付を示します。

    EMR コンソールで、MapReduce ジョブを作成し、jindo audit コマンドを実行します。例:
    jindo auditlog --src oss://<yourbucket>/auditlog/ --ns test --type ip --day 1 --top 2
    次の情報が返されます:
    16 openFileStatusRequest
6  deleteFileletRequest