メッセージ配信ガイド - Realtime Compute for Apache Flink - Alibaba Cloud ドキュメントセンター

メッセージ配信機能を使用すると、Flink ジョブの起動ログ、リソース使用量情報、およびランタイムイベントをプロジェクトから外部のメッセージキューまたはストレージシステムにリアルタイムで送信できます。この機能は、データの永続性、履歴の保持、柔軟な統合、およびリアルタイム分析をサポートします。また、トラブルシューティング、パフォーマンスの最適化、および監査のために、いつでも既存データをクエリできます。このトピックでは、メッセージ配信を設定し、配信されたメッセージを表示する方法について説明します。

背景情報

リージョンをまたいでメッセージを配信できます。次の表に、配信できるメッセージの種類と配信されるタイミングを示します。

カテゴリ	説明	配信時間
ジョブ起動ログ	Flink 環境の初期化から JobManager の起動、Flink 実行グラフの生成までの起動プロセス全体で生成されるログ。	ジョブ起動ログは、ジョブが開始された後、または失敗や完了などの最終状態に達した後に一度配信されます。
リソース使用量	CPU およびメモリリソースの消費と割り当てを含む、プロジェクト内のリソース使用量の変更。 CPU およびメモリリソースの消費と割り当てを含む、リソースキュー内のリソース使用量の変更。重要この情報はリソース容量管理の追跡にのみ使用され、アラート機能は提供しません。	プロジェクトが実行中の場合、リソース使用量情報は 30 秒ごとに送信されます。
ランタイムイベント	ジョブの起動プロセス中の各時点での起動ステータス。	ジョブのランタイムイベントが生成されると、メッセージが配信されます。

注意

現在、メッセージを配信できるのは Simple Log Service (SLS) のみです。SLS プロジェクトと Logstore を作成する必要があります。詳細については、「クイックスタート: Logtail を使用して ECS インスタンスからテキストログを収集および分析する」をご参照ください。
メッセージ配信機能は無料です。ただし、Logstore インデックスなどの SLS 機能を使用して生成されたトラフィックに対しては課金されます。詳細については、「課金の概要」をご参照ください。
SLS でログをクエリおよび分析するには、インデックスを有効にする必要があります。これにより、インデックスのトラフィックが生成され、インデックスのストレージが消費されます。料金の詳細については、「課金の概要」をご参照ください。インデックスを作成するかどうかはユーザーが決定できます。
Logstore にサーバ側暗号化メソッドを設定できます。配信されたセッションレコードは、この暗号化メソッドを継承します。詳細については、「データ暗号化」をご参照ください。
現在、メッセージ配信機能はジョブ起動ログの SLS への配信のみをサポートしています。他のメソッドを使用して、ジョブのランタイムログを OSS、SLS、または Kafka に出力できます。ログ出力の設定方法の詳細については、「ジョブのログ出力を設定する」をご参照ください。
メッセージ配信設定の変更には、最大 10 秒の遅延が発生する場合があります。

手順

ステップ 1: メッセージ配信チャンネルを設定する

メッセージ配信設定ページに移動する
1. Apache Flink のリアルタイムコンピューティングコンソールにログインします。
2. ターゲットワークスペースの [アクション] 列で、[コンソール] をクリックします。
3. 左側のナビゲーションウィンドウで、[オペレーションセンター] > [設定管理] をクリックします。

SLS メッセージ配信パラメーターを設定する

[メッセージ配信設定] タブで、[SLS に配信] スイッチをオンにします。

SLS 情報を設定します。

設定項目	説明
認証モード	[STS トークン]: このモードを選択すると、Flink ワークスペースと同じリージョンにある Logstore にのみメッセージが配信されます。SLS プロジェクトと Logstore を指定するだけで済みます。 [AccessKey]: このモードを選択すると、異なるリージョンの Logstore にメッセージが配信されます。エンドポイント、AccessKey ID、および AccessKey Secret を指定する必要があります。
SLS プロジェクト	SLS プロジェクトの名前。
SLS Logstore	SLS Logstore の名前。
Endpoint	SLS サービスのエンドポイント。認証モードを [STS トークン] に設定すると、システムは Flink ワークスペースのリージョンに基づいてこのフィールドに自動的に入力します。認証モードを AccessKey に設定した場合は、手動でエンドポイントを入力する必要があります。
AccessKeyId	Alibaba Cloud アカウントの AccessKey ID と AccessKey Secret。重要 AccessKey ペアの漏洩を防ぐために、変数を使用して AccessKey 情報を管理します。ドロップダウンリストから既存の変数を選択するか、をクリックして新しい変数を作成します。変数の管理方法と AccessKey ペアの表示方法の詳細については、「変数管理」および「AccessKey ID と AccessKey Secret を表示する方法」をご参照ください。
AccessKeySecret

[保存] をクリックします。

ステップ 2: 配信されたメッセージを表示する

手順

[SLS プロジェクト] の右側にある [SLS コンソールを開く] をクリックします。
生のログ情報を表示する

フィールドの説明

次の表に、各メッセージ Topic のフィールドを示します。

ジョブ起動ログ (JOB_START_LOG)

フィールド	説明
messageType	メッセージタイプ。値は JOB_START_LOG に固定されます。
deploymentId	デプロイされたジョブの ID。
deploymentname	デプロイされたジョブの名前。
jobId	ジョブインスタンス ID。
tag	ジョブタグ。タグが設定されていない場合、このフィールドは空です。
length	ログの全長。
offset	ログがシャーディングされている場合の、このログエントリの開始位置。
content	ジョブ起動ログの詳細。
workspace	ワークスペース ID。
namespace	プロジェクト名。
messageId	メッセージ ID。
timestamp	タイムスタンプ。

リソース使用量 (JOB_RESOURCE_QUOTA)

フィールド	説明
messageType	メッセージタイプ。値は RESOURCE_QUOTA に固定されています。
namespaceTotalCpuMemory	プロジェクト内の CU の総数。
namespaceTotalCpu	プロジェクト内の CU の総数。
namespaceTotalMemory	プロジェクト内のメモリの総量。
namespaceUsedCpuMemory	プロジェクトで使用されている CU の数。
namespaceUsedCpu	プロジェクトで使用されている CU の数。
namespaceUsedMemory	プロジェクトで使用されているメモリの量。
resourceQueueName	リソースキューの名前。
resourceQueueTotalCpuMemory	リソースキュー内の CU の総数。
resourceQueueTotalCpu	リソースキュー内の CU の総数。
resourceQueueTotalMemory	リソースキュー内のメモリの総量。
resourceQueueUsedCpuMemory	リソースキューで使用されている CU の数。
resourceQueueUsedCpu	リソースキューで使用されている CU の数。
resourceQueueUsedMemory	リソースキューで使用されているメモリの量。
workspace	ワークスペース ID。
namespace	プロジェクト名。
messageId	メッセージ ID。
timestamp	タイムスタンプ。

ランタイムイベント (JOB_EVENT)

フィールド	説明
messageType	メッセージタイプ。値は JOB_EVENT に固定されます。
deploymentId	デプロイされたジョブの ID。
deploymentname	デプロイされたジョブの名前。
jobId	ジョブインスタンス ID。
tag	ジョブタグ。タグが設定されていない場合、このフィールドは空です。
eventId	イベント ID。
eventName	イベント名。
content	ジョブ起動ログの詳細。
workspace	ワークスペース ID。
namespace	プロジェクト名。
messageId	メッセージ ID。
timestamp	タイムスタンプ。

Realtime Compute for Apache Flink:メッセージ配信ガイド