このトピックでは、Realtime Compute for Apache Flink の履歴ジョブログを、[ログ] タブ、Object Storage Service (OSS)、Simple Log Service (SLS) の 3 つの場所から表示する方法について説明します。
背景
次のシナリオでは、履歴ジョブログを表示する必要があります。
-
履歴ジョブの実行ログを表示、検索、分析する必要がある場合。 デフォルトでは、システムは最新 5 MB の実行ログを保持します。
-
Flink UI にアクセスできない場合に、トラブルシューティングのために JobManager ログを確認する必要がある場合。
このトピックでは、履歴ジョブログを表示する 3 つの方法について説明します。
前提条件
-
[ログ] タブで過去のジョブログを表示するには、ログアーカイブが有効になっていることを確認してください。 この機能はデフォルトで有効になっており、アーカイブされたログは 7 日間保持されます。 Flink デプロイメントの [設定] タブで、[ロギング] セクションを展開し、[ログアーカイブ] スイッチをオンにして、[アーカイブされたログの保持期間] を、たとえば 7 日に設定します。
-
OSS または SLS で履歴ジョブのログを表示するには、Realtime Compute for Apache Flink でこれらのジョブのログ出力を OSS または SLS に設定しておく必要があります。 詳細については、「ジョブログ出力の設定」をご参照ください。
注意事項
-
ログファイルが指定されたサイズに達すると、システムは自動的にアーカイブし、保持期間を超えたログファイルを定期的に削除します。 アーカイブされたログは、ジョブが停止した後も保持されます。 デプロイメントが削除されると、関連するログも削除されます。
説明2024 年 11 月に新バージョンがリリースされた後、Realtime Compute for Apache Flink コンソール内のすべての既存ジョブログ (停止したジョブのアーカイブログを含む) は、保持期間が経過すると削除されます。
-
ログが SLS または OSS に書き込まれるのは、TaskManager または JobManager が正常に起動した場合のみです。
-
JobManager と TaskManager の起動に失敗した場合、OSS でログが見つからないことがあります。 その場合は、お問い合わせください。
-
デフォルトのログ記録設定では、サイズがそれぞれ 5 MB のログファイルが 2 つ保持されます。 この値は変更しないことを推奨します。 より多くのログ容量が必要な場合は、代わりにログを OSS にエクスポートしてください。 [設定] タブの [ログ記録] セクションで、デフォルトの Log4j2 XML 設定では、
SizeBasedTriggeringPolicyのsizeが5 MBに設定されています。 これにより、ログファイルがこのサイズに達すると、ロールオーバーアーカイブがトリガーされます。DefaultRolloverStrategyのmax属性は1に設定されています。説明この設定で指定されたファイル数には、現在書き込み中のファイルは含まれません。 たとえば、
maxが1に設定されている場合、最大 2 つのファイルが保持されます。 1 つはアクティブファイル、もう 1 つはアーカイブファイルです。
[ログ] タブでのログ表示
-
対象のワークスペースの[アクション]列で、[コンソール]をクリックします。
-
左側のナビゲーションペインで、 を選択します。
-
対象のデプロイメントの名前をクリックします。
-
[ログ] タブをクリックします。
-
左側の [ログ] タブで、[ジョブ] ドロップダウンリストから履歴ジョブを選択します。
左側のパネルには、[起動ログ] タブと [例外] タブも含まれています。 ドロップダウンリストでは、ジョブが [実行中のジョブ] と [履歴ジョブ] に分類されています。
-
表示するログを選択します。
[ジョブマネージャー] タブまたは [実行中のタスクマネージャー] タブで、ログの名前をクリックすると、その内容が表示されます。
OSS でのログ表示
-
Object Storage Service (OSS) コンソールにログインします。
-
左側のナビゲーションペインで、[バケット]をクリックします。
-
Flink ワークスペースに設定したバケットの[名前]をクリックします。
-
[アーティファクト] セクションで、対応するディレクトリのログ情報を表示します。
フォルダ
説明
artifacts
アップロードされた JAR パッケージを保存します。
flink-jobs
このディレクトリには、Flink ジョブのチェックポイントが保存されます。
flink-savepoints
このディレクトリには、Realtime Compute for Apache Flink コンソールの ページでデプロイに対して [セーブポイントの作成] をクリックしたときに作成されるセーブポイントファイルが格納されます。
logs
ジョブの[ログプロファイル]を [OSS] に設定した場合、このディレクトリにジョブログが保存されます。
説明logs ディレクトリ内のジョブログの保存パスは logs/${workspace-id}/${job-id}/${instance-id} です。このディレクトリ構造を使用して、対応するジョブの JobManager ログと TaskManager ログを見つけることができます。
SLS でのログ表示
-
Simple Log Service コンソールにログインします。
-
[プロジェクト] セクションで、目的のプロジェクトをクリックします。
-
[Logstores] タブで、目的の Logstore をクリックします。
-
クエリを入力し、時間範囲を選択して、[検索と分析] をクリックします。
詳細については、「検索・分析のクイックスタート」をご参照ください。