メッセージ配信機能は、Flink ジョブの起動ログ、リソース使用量データ、実行イベント、およびジョブステータスの変更メッセージを、ターゲットの名前空間から指定された外部メッセージキューまたはストレージシステムにリアルタイムでストリーミングします。この機能は、データ永続化、履歴記録、柔軟な統合、およびリアルタイム分析をサポートします。また、トラブルシューティング、パフォーマンス最適化、監査のための履歴データのクエリにも役立ちます。このトピックでは、メッセージ配信の設定方法と配信されたメッセージの表示方法について説明します。
背景情報
メッセージはリージョンをまたいで配信できます。次の表に、メッセージタイプとその配信条件を示します。
メッセージタイプ | 配信の詳細 | 配信条件 |
ジョブ起動ログ | Flink 環境の初期化から JobManager の起動、Flink 実行グラフの生成までの起動プロセス全体のログが含まれます。 | ジョブの起動が成功したとき、または失敗や完了などの最終状態に達したときに配信されます。 |
リソース詳細 |
重要 この情報はリソースキャパシティの追跡用であり、アラートはサポートしていません。 | 名前空間が実行されている間、30 秒ごとに配信されます。 |
実行イベント | ジョブの起動中におけるさまざまな時点での起動ステータスが含まれます。 | ジョブの実行イベントが発生したときに配信されます。 |
ジョブのリソース消費量 | 実行中のストリーミングジョブのリソース使用量。バッチジョブやセッションクラスター上のジョブは含まれません。 | ジョブの実行中、10 分ごとに配信されます。 |
ジョブステータス変更 | ジョブステータスの変更イベント (変更前後のステータスを含む)。 | ジョブステータスが変更されたときに配信されます。 |
注意事項
メッセージは Simple Log Service (SLS) にのみ配信できます。開始する前に、SLS プロジェクトと Logstore を作成する必要があります。手順については、「ECS インスタンス上のテキストログを LoongCollector で収集・分析する」をご参照ください。
メッセージ配信機能は無料です。ただし、Logstore のインデックス作成など、SLS の機能を使用すると料金が発生します。詳細については、「課金概要」をご参照ください。
SLS でログをクエリおよび分析するには、インデックス作成を有効にする必要があります。この操作により、インデックストラフィックが発生し、インデックスストレージ容量が使用されます。料金の詳細については、「課金概要」をご参照ください。インデックスの作成は任意です。
Logstore にサーバーサイド暗号化を設定できます。配信されたメッセージは、この暗号化設定を継承します。方法については、「データ暗号化」をご参照ください。
現在、メッセージ配信機能はジョブの起動ログのみを SLS に配信します。ジョブの実行ログを OSS、SLS、または Kafka に出力するには、別途設定が必要です。詳細については、「ジョブログ出力の設定」をご参照ください。
メッセージ配信設定の変更が有効になるまで、最大 30 秒かかる場合があります。
手順
ステップ 1：メッセージ配信チャネルの設定
メッセージ配信設定ページに移動
対象のワークスペースの[操作]列で、[コンソール]をクリックします。
左側のナビゲーションウィンドウで、 をクリックします。
SLS 配信パラメーターの設定
[メッセージ配信設定] タブで、[Log Service SLS への配信] スイッチをオンにします。
SLS の設定を構成します。
パラメーター
説明
認証モード
STS Token: このモードは、Flink ワークスペースと同じリージョン内の SLS プロジェクトにのみメッセージを配信する場合に選択します。SLS プロジェクトと Logstore を設定するだけで済みます。
AccessKey：別のリージョンにある SLS プロジェクトにメッセージを配信する場合は、このモードを選択します。エンドポイント、AccessKey ID、および AccessKey Secret を設定する必要があります。
Log Service プロジェクト
SLS プロジェクトの名前。
Log Service Logstore
SLS Logstore の名前。
エンドポイント
SLS サービスのエンドポイント。
[認証モード] が [STS Token]、 に設定されている場合、このパラメーターはワークスペースが所在するリージョンのエンドポイントに自動的に設定されます。 AccessKey を選択した場合、このパラメーターを手動で設定する必要があります。
配信範囲
配信するメッセージのタイプ。詳細については、このトピックの「フィールドリファレンス」をご参照ください。
AccessKey ID
ご利用の Alibaba Cloud アカウントの AccessKey ID と AccessKey Secret。
重要認証情報の漏洩を防ぐため、変数を使用して AccessKey 認証情報を管理してください。ドロップダウン矢印をクリックして既存の変数名を選択するか、パラメーターの横にある
アイコンをクリックして新しい変数を作成します。変数管理、および AccessKey ID と AccessKey Secret の表示方法の詳細については、「変数管理」および「AccessKey 情報の表示」をご参照ください。
AccessKey Secret
[保存] をクリックします。
ステップ 2：配信されたメッセージの表示
手順
[Log Service プロジェクト] の右にある [SLS コンソールを開く] をクリックします。
生ログで情報を表示します。
フィールドリファレンス
次の表に、5 種類のメッセージのフィールドを示します。
起動ログ (JOB_START_LOG)
フィールド | 説明 |
messageType | メッセージタイプ。値は常に |
deploymentId | ジョブデプロイの ID。 |
deploymentName | ジョブデプロイの名前。 |
jobId | ジョブインスタンスの ID。 |
tag | ジョブタグ。タグが設定されていない場合、このフィールドは空です。 |
length | ログの全長。 |
offset | ログがシャーディングされている場合の、このログエントリの開始位置。 |
content | ジョブ起動ログの内容。 |
workspace | ワークスペースの ID。 |
namespace | 名前空間の名前。 |
messageId | メッセージの ID。 |
timestamp | タイムスタンプ。 |
リソース詳細 (RESOURCE_QUOTA)
フィールド | 説明 |
messageType | メッセージタイプ。値は常に |
namespaceTotalCpuMemory | 名前空間内の CU の総数。 |
namespaceTotalCpu | 名前空間内の総 CPU リソース (CU 単位)。 |
namespaceTotalMemory | 名前空間内の総メモリリソース量。 |
namespaceUsedCpuMemory | 名前空間で使用されている CU 数。 |
namespaceUsedCpu | 名前空間で使用されている CPU リソース (CU 単位)。 |
namespaceUsedMemory | 名前空間で使用されているメモリリソース量。 |
resourceQueueName | キューの名前。 |
resourceQueueTotalCpuMemory | キュー内の CU の総数。 |
resourceQueueTotalCpu | キュー内の総 CPU リソース (CU 単位)。 |
resourceQueueTotalMemory | キュー内の総メモリリソース量。 |
resourceQueueUsedCpuMemory | キューで使用されている CU 数。 |
resourceQueueUsedCpu | キューで使用されている CPU リソース (CU 単位)。 |
resourceQueueUsedMemory | キューで使用されているメモリリソース量。 |
workspace | ワークスペースの ID。 |
namespace | 名前空間の名前。 |
messageId | メッセージの ID。 |
timestamp | タイムスタンプ。 |
実行イベント (JOB_EVENT)
フィールド | 説明 |
messageType | メッセージタイプ。値は常に |
deploymentId | ジョブデプロイの ID。 |
deploymentName | ジョブデプロイの名前。 |
jobId | ジョブインスタンスの ID。 |
tag | ジョブタグ。タグが設定されていない場合、このフィールドは空です。 |
eventId | イベントの ID。 |
eventName | イベントの名前。 |
content | イベントの内容。 |
workspace | ワークスペースの ID。 |
namespace | 名前空間の名前。 |
messageId | メッセージの ID。 |
timestamp | タイムスタンプ。 |
ジョブリソース使用量 (JOB_RESOURCE_USAGE)
フィールド | 説明 |
messageType | メッセージタイプ。値は常に |
deploymentId | ジョブデプロイの ID。 |
deploymentName | ジョブデプロイの名前。 |
jobId | ジョブインスタンスの ID。 |
tag | ジョブタグ。タグが設定されていない場合、このフィールドは空です。 |
jobUsedCpu | ジョブで使用されている CU 数。 |
jobUsedMemory | ジョブで使用されているメモリ量。 |
workspace | ワークスペースの ID。 |
namespace | 名前空間の名前。 |
messageId | メッセージの ID。 |
timestamp | タイムスタンプ。 |
ジョブステータス変更 (JOB_STATUS_CHANGED)
フィールド | 説明 |
messageType | メッセージタイプ。値は常に |
messageId | メッセージの一意の ID。 |
timestamp | メッセージが生成されたときのタイムスタンプ (ミリ秒単位)。 |
workspace | ワークスペースの ID。 |
namespace | 名前空間の名前。 |
deploymentId | ジョブデプロイの ID。 |
deploymentName | ジョブデプロイの名前。 |
jobId | ジョブインスタンスの ID。 |
previousStatus | 変更前のジョブステータス。 |
currentStatus | 変更後のジョブステータス。 |
tag | ジョブタグ。タグが設定されていない場合、このフィールドは空です。 |
additionalInfo | 追加情報。 |
関連ドキュメント
単一ジョブのロギング設定方法については、「ジョブログ出力の設定」をご参照ください。
開発コンソールでのログの表示方法の詳細については、「起動ログと実行ログの表示」、「実行イベントの表示」、「例外ログの表示」、および「履歴ジョブインスタンスログの表示」をご参照ください。