Realtime Compute ジョブのパラメーターを編集することで、Realtime Compute ジョブログのダウンロードレベルとダウンロードパスをカスタマイズできます。

Realtime Compute V3.2 以降のみ、ログのダウンロードレベルとパスのカスタマイズが可能です。

手順

  1. Realtime Compute コンソールにログインします。
  2. 上部の [開発] をクリックします。
  3. [開発] セクションで、対象のフォルダーをダブルクリックして、対象のジョブを見つけます。
  4. 対象のジョブをダブルクリックして、ジョブ編集ページに移動します。
  5. ジョブ編集ページの右側にある [パラメーター] タブをクリックし、log4 設定情報を入力します。
  6. ジョブを [停止] します。 詳細については、「ジョブの終了」をご参照ください。
  7. ジョブを [開始] します。 詳細については、「ジョブの終了」をご参照ください。

注意事項

  • 排他モードの Realtime Compute クラスターと同じ Object Storage Service (OSS) ストレージパスを選択します。
  • ログは、System.out モードではなく、log4j モードでダウンロードされます。
  • 現在、Log Service と OSS は、次の固定ステートメントを使用してカスタムアペンダーとしてのみ設定することができます。
    • Log Service: log4j.appender.loghub = com.alibaba.blink.log.loghub.BlinkLogHubAppender
    • OSS: log4j.appender.oss=com.alibaba.blink.log.oss.BlinkOssAppender
  • 指定された Log Service または OSS は、ジョブが存在するクラスターと対話することができます。
  • カスタムログ出力モードが正しく設定されていない場合、ジョブは開始できますが、カスタム設定に従ってログを生成することはできません。

シナリオ 1

  • シナリオの説明

    ログレベルを DEBUG に変更し、OSS バケットにログを送信する必要があります。

  • ジョブパラメーター設定
    重要 log4j.rootLogger パラメーターを設定すると、Realtime Compute 開発プラットフォームでのログ情報の表示や関連する問題のトラブルシューティングに失敗する可能性があります。 したがって、このパラメーターは注意してご使用ください。
    # Change the log level to DEBUG and generate logs to the specified file in OSS.
    log4j.rootLogger=DEBUG, file, oss
    
    # Fixed statement. Configure the OSS appender.
    log4j.appender.oss=com.alibaba.blink.log.oss.BlinkOssAppender
    
    # The endpoint.
    log4j.appender.oss.endpoint=oss-cn-hangzhou****.aliyuncs.com
    
    # The AccessKey ID.
    log4j.appender.oss.accessId=U****4ZF  
    
    # The AccessKey secret.
    log4j.appender.oss.accessKey=hsf****DeLw   
    
    # The bucket name.
    log4j.appender.oss.bucket=et**** 
    
    # The subdirectory for storing logs.                          
    log4j.appender.oss.subdir=/luk****/test/
ジョブパラメーターを編集した後、ジョブを再起動します。 生成されたログは、OSS バケットで表示することができます。

シナリオ 2

  • シナリオの説明

    指定したタイプのログを除外し、指定した Log Service Logstore に ERROR ログを送信する必要があります。

  • ジョブパラメーター設定
    # Disable exporting logs of the specified type to the specified path.
    log4j.logger.org.apache.hadoop=OFF
    
    # Fixed statement. Configure the LogHub appender.                                       
    log4j.appender.loghub = com.alibaba.blink.log.loghub.BlinkLogHubAppender
    
    # Send only ERROR logs to Log Service.
    log4j.appender.loghub.Threshold = ERROR
    # The project name in Log Service.
    log4j.appender.loghub.projectName = blink-errdumpsls-test
    
    # The Logstore name in Log Service.
    log4j.appender.loghub.logstore = logstore-3
    
    # The endpoint of Log Service.
    log4j.appender.loghub.endpoint = http://cn-shanghai****.sls.aliyuncs.com
    # The AccessKey ID.
    log4j.appender.loghub.accessKeyId = Tq****WR
    
    # The AccessKey secret.
    log4j.appender.loghub.accessKey = MJ****nfVx