Realtime Compute ジョブのパラメーターを編集することで、Realtime Compute ジョブログのダウンロードレベルとダウンロードパスをカスタマイズできます。
注 Realtime Compute V3.2 以降のみ、ログのダウンロードレベルとパスのカスタマイズが可能です。
手順
- Realtime Compute コンソールにログインします。
- 上部の [開発] をクリックします。
- [開発] セクションで、対象のフォルダーをダブルクリックして、対象のジョブを見つけます。
- 対象のジョブをダブルクリックして、ジョブ編集ページに移動します。
- ジョブ編集ページの右側にある [パラメーター] タブをクリックし、
log4
設定情報を入力します。 - ジョブを [停止] します。 詳細については、「ジョブの終了」をご参照ください。
- ジョブを [開始] します。 詳細については、「ジョブの終了」をご参照ください。
注意事項
- 排他モードの Realtime Compute クラスターと同じ Object Storage Service (OSS) ストレージパスを選択します。
- ログは、System.out モードではなく、log4j モードでダウンロードされます。
- 現在、Log Service と OSS は、次の固定ステートメントを使用してカスタムアペンダーとしてのみ設定することができます。
- Log Service:
log4j.appender.loghub = com.alibaba.blink.log.loghub.BlinkLogHubAppender
- OSS:
log4j.appender.oss=com.alibaba.blink.log.oss.BlinkOssAppender
- Log Service:
- 指定された Log Service または OSS は、ジョブが存在するクラスターと対話することができます。
- カスタムログ出力モードが正しく設定されていない場合、ジョブは開始できますが、カスタム設定に従ってログを生成することはできません。
シナリオ 1
- シナリオの説明
ログレベルを
DEBUG
に変更し、OSS バケットにログを送信する必要があります。 - ジョブパラメーター設定
重要 log4j.rootLogger パラメーターを設定すると、Realtime Compute 開発プラットフォームでのログ情報の表示や関連する問題のトラブルシューティングに失敗する可能性があります。 したがって、このパラメーターは注意してご使用ください。
# Change the log level to DEBUG and generate logs to the specified file in OSS. log4j.rootLogger=DEBUG, file, oss # Fixed statement. Configure the OSS appender. log4j.appender.oss=com.alibaba.blink.log.oss.BlinkOssAppender # The endpoint. log4j.appender.oss.endpoint=oss-cn-hangzhou****.aliyuncs.com # The AccessKey ID. log4j.appender.oss.accessId=U****4ZF # The AccessKey secret. log4j.appender.oss.accessKey=hsf****DeLw # The bucket name. log4j.appender.oss.bucket=et**** # The subdirectory for storing logs. log4j.appender.oss.subdir=/luk****/test/
注 ジョブパラメーターを編集した後、ジョブを再起動します。 生成されたログは、OSS バケットで表示することができます。
シナリオ 2
- シナリオの説明
指定したタイプのログを除外し、指定した Log Service Logstore に ERROR ログを送信する必要があります。
- ジョブパラメーター設定
# Disable exporting logs of the specified type to the specified path. log4j.logger.org.apache.hadoop=OFF # Fixed statement. Configure the LogHub appender. log4j.appender.loghub = com.alibaba.blink.log.loghub.BlinkLogHubAppender # Send only ERROR logs to Log Service. log4j.appender.loghub.Threshold = ERROR # The project name in Log Service. log4j.appender.loghub.projectName = blink-errdumpsls-test # The Logstore name in Log Service. log4j.appender.loghub.logstore = logstore-3 # The endpoint of Log Service. log4j.appender.loghub.endpoint = http://cn-shanghai****.sls.aliyuncs.com # The AccessKey ID. log4j.appender.loghub.accessKeyId = Tq****WR # The AccessKey secret. log4j.appender.loghub.accessKey = MJ****nfVx