データ集約ノードは、Flink SQL のウィンドウ関数に似ており、ウィンドウに基づいて解析タスク内のメッセージを集約します。結果として得られる集約データは、さらなる分析または出力に活用できます。
手順
Flink SQL は現在、TUMBLE として識別されるタンブリングタイムウィンドウ関数をサポートしています。詳細については、「TUMBLE」をご参照ください。
データ集約ノードは、10 秒、15 秒、30 秒、1 分、5 分、15 分、30 分の固定長のタイムウィンドウを提供します。
必要なタイムウィンドウが 30 分を超える場合は、Analysis Insight 内の SQL 分析ワークベンチを利用し、1 時間ごとのスケジューリングを活用してこれを実現することをお勧めします。詳細については、「手順 3：ジョブスケジューリングポリシーを設定して公開する」をご参照ください。
カスタム要件については、テクニカルサポートに連絡してリクエストを送信してください。
シナリオ
エネルギー消費とコストを削減することを目的とした公園の省エネシステムを考えてみましょう。1 つのサブタスクは、毎分エアコンの温度 (temperature) が最も高い会議室を特定することです。この場合、粒度として部屋 ID (roomId)、1 分のウィンドウ長、MAX 集約アルゴリズムを使用してデータ集約ノードを構成し、部屋 ID (roomId) や毎分の最高温度 (max_temperature) などのフィールドを出力します。
前提条件
データ計算式またはデータフィルタリングフィルターが設定されていることを確認します。詳細については、「データ計算とデータフィルタリングの構成」をご参照ください。
背景情報
データ解析機能の概要については、「使用上の注意」を参照してください。
データ解析ワークスペースの操作方法については、「データ解析ワークスペースの手順」を参照してください。
手順
中央のキャンバスで、現在のノードの後に追加
アイコンをクリックします。表示されるノードリストで、[データ集約] ノードをシングルクリックします。
キャンバス上の [データ集約] ノードをシングルクリックします。右側の構成パネルで、以下の表に詳述されているようにデータ集約フィールドを設定します。
構成項目
パラメータ
説明
例
基本構成
グループ化フィールド
ウィンドウ関数内でデータパーティションニングを行うフィールドを選択します。これは集約の粒度として機能します。この値は、プロダクトキー (ProductKey)、デバイス名 (DeviceName) など、ウィンドウ集約ロジックの影響を受けません。
「シナリオ」を参照してください。各会議室の最高温度を計算するには、グループ化フィールドとして部屋 ID (roomId) を選択します。
ウィンドウ長
次のオプションからウィンドウ長を選択します：[10秒]、[15秒]、[30秒]、[1分]、[5分]、[15分]、[30分]。
1 時間を超えるウィンドウの場合は、SQL ワークベンチを介して 1 時間ごとのスケジューリングを使用します。詳細については、「手順 3：ジョブスケジューリングポリシーを設定して公開する」をご参照ください。
カスタム要件については、テクニカルサポートに連絡してリクエストを送信してください。
「シナリオ」を参照してください：1 分。
集約フィールドリスト
以下を構成します。
「シナリオ」を参照してください。
[集約フィールド]：エアコンの温度 temperature を選択します。
[集約結果フィールド名]：1 分あたりの最高温度 max_temperature。
[集約操作]：MAX を選択します。
詳細構成
遅延許容
測定単位：秒。
メッセージの乱れによりデータが実際のウィンドウの後に報告される問題に対処するために、このフィールドを構成すると、遅延データを適切なウィンドウに帰属させることができます。このアプローチは、Flink SQL のウォーターマークメカニズムと一致しています。詳細については、「時間属性」をご参照ください。
デフォルト設定を使用します。
データ集約ノードの構成を完了するには、データ解析ワークベンチの右上隅にある [保存] をシングルクリックします。
重要このノードの出力フィールドには、グループ化フィールドと集約結果フィールドリストが含まれていることに注意してください。前のノードのフィールドはこのノードを通過しません。
次の手順
隣接メッセージ計算ノードの構成に続いて、他の処理ノードを設定するか、ターゲットノードを構成して解析タスク全体を完了します。
値変換の設定手順については、「値変換の構成」をご参照ください。
隣接メッセージ計算の設定手順については、「隣接メッセージ計算の構成」をご参照ください。