Realtime Compute for Apache Flink では、ジョブログインターフェイス、Object Storage Service (OSS)、または Simple Log Service (SLS) で過去のジョブインスタンスのログを表示できます。このトピックでは、これらの方法を使用して過去のジョブインスタンスのログを表示する方法について説明します。
背景情報
次のようなシナリオでは、過去のジョブインスタンスのログを表示する必要がある場合があります。
-
過去のジョブインスタンスの運用ログを表示、検索、分析したい場合。デフォルトでは、システムは最新 5 MB の運用ログを保持します。
-
Flink UI を開くことができず、問題の原因を特定するためにジョブマネージャーのログを表示する必要がある場合。
このトピックでは、過去のジョブインスタンスのログを表示する 3 つの方法について説明します。
前提条件
-
[ジョブログ] タブで過去のジョブインスタンスのログを表示するには、ログ設定でログアーカイブ機能が有効になっている必要があります。デフォルトでは、この機能は有効になっており、アーカイブされたログは 7 日間保持されます。
-
OSS または SLS で過去のジョブインスタンスのログを表示するには、Realtime Compute for Apache Flink でログ出力を OSS または SLS に設定する必要があります。詳細については、「ジョブログ出力の設定」をご参照ください。
注意事項
-
ログファイルが指定されたサイズに達すると、システムは自動的にアーカイブします。また、システムは期限切れのアーカイブログファイルを定期的に削除します。アーカイブログはジョブが停止しても保持されますが、ジョブが削除されると削除されます。
説明2024 年 11 月に新バージョンがリリースされると、Realtime Compute for Apache Flink 管理コンソール内の既存のすべてのジョブログは、保持期間が終了した後に削除されます。これには、ジョブが停止した後に保持されていたアーカイブログも含まれます。
-
ログは、タスクマネージャーまたはジョブマネージャーが正常に起動した場合にのみ SLS または OSS に書き込まれます。どちらも正常に起動しない場合、ログは SLS または OSS に書き込まれません。
-
ジョブマネージャーとタスクマネージャーの起動に失敗したために、OSS で対応するログファイルが見つからない場合は、テクニカルサポートにご連絡ください。
-
デフォルトでは、ログ設定ではそれぞれ 5 MB のファイルが 2 つ保持されます。この値は変更しないでください。このログ保持サイズがニーズを満たさない場合は、ログを OSS にエクスポートできます。
説明画像に表示されるファイル数には、書き込み中のファイルは含まれません。たとえば、この値を 1 に設定した場合、最大 2 つのファイル (1 つはメモリ内、もう 1 つはローカルディスク上) が保存されます。
ジョブログインターフェイスでのログの表示
-
対象のワークスペースの [操作] 列で、[コンソール] をクリックします。
-
左側のナビゲーションウィンドウで、 を選択します。
-
対象のジョブの名前をクリックします。
-
[ジョブログ] タブをクリックします。
-
[運用ログ] タブで、[ジョブ] の横にあるドロップダウンリストをクリックし、過去のジョブインスタンスを選択します。
-
ジョブマネージャーとタスクマネージャーのログを表示します。
[ジョブマネージャー] または [実行中のタスクマネージャー] タブで、表示したいログファイルの名前をクリックします。
OSS での表示
-
OSS コンソールにログインします。
-
左側のナビゲーションウィンドウで、[バケット] をクリックします。
-
Flink ワークスペースの作成時に指定した [バケット名] をクリックします。
-
[ファイル] セクションで、対応するフォルダ内のログを表示します。
フォルダ
説明
artifacts
アップロードされた JAR パッケージがこのディレクトリに保存されます。
flink-jobs
Flink ジョブのチェックポイントを保存します。
flink-savepoints
Realtime Compute 開発コンソールの ページで、ジョブの [スナップショットの作成] をクリックすると、セーブポイント操作がトリガーされ、最終的なセーブポイントファイルがこのディレクトリに保存されます。
logs
ジョブの [ログテンプレート] を [OSS] に設定した場合、ジョブログはこのフォルダに保存されます。
説明logs フォルダ内のジョブのストレージパスは logs/${Workspace ID}/${Job ID}/${Instance ID} です。このパス構造を使用して、対応するジョブのジョブマネージャー (JM) とタスクマネージャー (TM) のログを見つけることができます。
SLS での表示
-
Simple Log Service コンソールにログインします。
-
[プロジェクト] セクションで、対象のプロジェクトをクリックします。
-
[Logstores] タブで、対象の Logstore をクリックします。
-
クエリ文を入力し、時間範囲を選択して、[クエリ/分析] をクリックします。
詳細については、「クエリと分析のクイックスタート」をご参照ください。