メッセージ配信機能を利用することで、Flink ジョブの起動ログ、リソース使用量データ、ジョブイベントを外部のメッセージキューやストレージシステムにリアルタイムで送信できます。この機能は、データの永続性、履歴ログの保持、柔軟な統合、リアルタイム分析をサポートします。また、トラブルシューティング、パフォーマンス最適化、監査分析のために、履歴データに対するアドホッククエリも可能です。このトピックでは、メッセージ配信の設定方法と配信されたメッセージの表示方法について説明します。
背景情報
リージョンをまたいでメッセージを配信できます。次の表に、サポートされているメッセージタイプとその配信タイミングを示します。
カテゴリ | 説明 | 配信タイミング |
ジョブ起動ログ | Flink 環境の初期化から JobManager の起動、Flink 実行グラフの生成までの、起動プロセス全体で生成されるログ。 | ジョブの起動が成功したとき、または最終状態 (失敗または完了) に達したときに 1 回配信されます。 |
リソース使用量 |
重要 これはリソース容量の追跡のみを目的としており、アラートはサポートされていません。 | アクティブな名前空間の場合、リソース使用量データは 30 秒ごとに送信されます。 |
ジョブイベント | ジョブ起動中の各時点での起動ステータス。 | 各ジョブイベントは即時配信をトリガーします。 |
ジョブリソース消費量 | 実行中のストリーミングジョブのリソース使用量データのみ。バッチジョブとセッションクラスターで実行されているジョブは除外されます。 | ジョブの実行中、リソース消費量データは 10 分ごとに送信されます。 |
注意事項
メッセージは Simple Log Service (SLS) にのみ配信できます。最初に SLS プロジェクトと Logstore を作成する必要があります。詳細については、「LoongCollector を使用した ECS テキストログの収集と分析」をご参照ください。
メッセージ配信機能自体は無料です。ただし、Logstore のインデックス作成など、SLS の機能を使用するとトラフィック料金が発生します。詳細については、「課金の概要」をご参照ください。
SLS でログをクエリおよび分析するには、インデックス作成を有効にします。インデックス作成により、インデックストラフィックが生成され、ストレージ容量が使用されます。有効にするかどうかはユーザーが決定します。料金の詳細については、「課金の概要」をご参照ください。
Logstore にサーバーサイド暗号化を設定できます。セッションレコード配信はこの設定を継承します。詳細については、「データ暗号化」をご参照ください。
メッセージ配信は、SLS へのジョブ起動ログのみをサポートします。ジョブ実行ログを OSS、SLS、または Kafka に出力するには、他のメソッドを使用します。設定手順については、「ジョブのログ出力の設定」をご参照ください。
メッセージ配信設定の変更が有効になるまで、最大 10 秒かかります。
操作手順
ステップ 1: メッセージ配信チャネルの設定
メッセージ配信設定ページに移動します。
対象のワークスペースの [操作] 列で、[コンソール] をクリックします。
左側のナビゲーションウィンドウで、 を選択します。
SLS メッセージ配信パラメーターを設定します。
[メッセージ配信設定] タブで、[SLS に配信] をオンにします。
SLS の設定を行います。
パラメーター
説明
権限付与モード
[STS トークン]:このモードは、Flink ワークスペースと同じリージョンにある SLS プロジェクトの Logstore にのみメッセージを配信する場合に使用します。SLS プロジェクトと Logstore を指定するだけで済みます。
[AccessKey]:このモードは、任意のリージョンにある SLS プロジェクトの Logstore にメッセージを配信する場合に使用します。エンドポイント、AccessKey ID、および AccessKey Secret を指定する必要があります。
SLS プロジェクト
ご利用の SLS プロジェクトの名前。
SLS Logstore
SLS Logstore
エンドポイント
SLS サービスのエンドポイント URL。
権限付与モードが [STS トークン] の場合、システムは自動的にエンドポイントを Flink ワークスペースのリージョンに対応するものに設定します。権限付与モードが AccessKey の場合は、手動で設定する必要があります。
配信範囲
特定のメッセージ内容。詳細については、「フィールドの説明」をご参照ください。
AccessKeyId
ご利用の Alibaba Cloud アカウントの AccessKey ID と AccessKey Secret。
重要AccessKey ペアの漏洩を防ぐため、変数を使用して管理してください。ドロップダウン矢印をクリックして既存の変数を選択するか、フィールドの右側にある
をクリックして新しい変数を作成します。変数管理と AccessKey ID および Secret の表示方法の詳細については、「変数管理」および「AccessKey ID と AccessKey Secret を表示するにはどうすればよいですか?」をご参照ください。
AccessKeySecret
[保存] をクリックします。
ステップ 2: 配信されたメッセージの表示
操作手順
[SLS プロジェクト] をクリックし、右側の [SLS コンソールを開く] をクリックします。

生ログの詳細を表示します。

フィールドの説明
4 つのメッセージタイプの Topic フィールドの意味は次のとおりです。
ジョブ起動ログ (JOB_START_LOG)
フィールド | 説明 |
messageType | メッセージタイプ。値は JOB_START_LOG に固定されています。 |
deploymentId | ジョブのデプロイメント ID。 |
deploymentName | ジョブのデプロイメント名。 |
jobId | ジョブインスタンス ID。 |
tag | ジョブタグ。タグが設定されていない場合、このフィールドは空です。 |
length | ログの全長。 |
offset | ログがシャーディングされている場合の、このログエントリの開始位置。 |
content | ジョブ起動ログの詳細。 |
workspace | ワークスペース ID。 |
namespace | 名前空間名。 |
messageId | メッセージ ID。 |
timestamp | タイムスタンプ。 |
リソース使用量 (JOB_RESOURCE_QUOTA)
フィールド | 説明 |
messageType | メッセージタイプ。値は RESOURCE_QUOTA に固定されています。 |
namespaceTotalCpuMemory | 名前空間内のコンピュートユニット (CU) の総数。 |
namespaceTotalCpu | 名前空間内の CU の総数。 |
namespaceTotalMemory | 名前空間内のメモリの総量。 |
namespaceUsedCpuMemory | 名前空間で消費された CU の数。 |
namespaceUsedCpu | 名前空間で消費された CU の数。 |
namespaceUsedMemory | 名前空間で使用されているメモリの量。 |
resourceQueueName | キュー名。 |
resourceQueueTotalCpuMemory | キュー内の CU の総数。 |
resourceQueueTotalCpu | キュー内の CU の総数。 |
resourceQueueTotalMemory | キュー内のメモリの総量。 |
resourceQueueUsedCpuMemory | キューで消費された CU の数。 |
resourceQueueUsedCpu | キューで消費された CU の数。 |
resourceQueueUsedMemory | キューで使用されているメモリの量。 |
workspace | ワークスペース ID。 |
namespace | 名前空間名。 |
messageId | メッセージ ID。 |
timestamp | タイムスタンプ。 |
完全なジョブイベント配信 (JOB_EVENT)
フィールド | 説明 |
messageType | メッセージタイプ。値は JOB_EVENT に固定されています。 |
deploymentId | ジョブのデプロイメント ID。 |
deploymentName | ジョブのデプロイメント名。 |
jobId | ジョブインスタンス ID。 |
tag | ジョブタグ。タグが設定されていない場合、このフィールドは空です。 |
eventId | イベント ID。 |
eventName | イベント名。 |
content | ジョブ起動ログの詳細。 |
workspace | ワークスペース ID。 |
namespace | 名前空間名。 |
messageId | メッセージ ID。 |
timestamp | タイムスタンプ。 |
ジョブリソース消費量 (JOB_RESOURCE_USAGE)
フィールド | 説明 |
messageType | メッセージタイプ。値は JOB_RESOURCE_USAGE に固定されています。 |
deploymentId | ジョブのデプロイメント ID。 |
deploymentName | ジョブのデプロイメント名。 |
jobId | ジョブインスタンス ID。 |
tag | ジョブタグ。タグが設定されていない場合、このフィールドは空です。 |
jobUsedCpu | ジョブで使用される CU の数。 |
jobUsedMemory | ジョブで使用されるメモリの量。 |
workspace | ワークスペース ID。 |
namespace | 名前空間名。 |
messageId | メッセージ ID。 |
timestamp | タイムスタンプ。 |
関連ドキュメント
単一ジョブのログを設定する方法については、「ジョブのログ出力の設定」をご参照ください。
開発コンソールでログを表示する方法については、「起動ログと運用ログの表示」、「ジョブ実行イベントの表示」、「例外ログの表示」、および「履歴ジョブインスタンスログの表示」をご参照ください。