Simple Log Service:SPL 文を使用した Flink SQL による行フィルタリングと列プルーニングの実装

Realtime Compute for Apache Flink コンソール にログインします。管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。

一時テーブルを作成するために使用される次の SQL ジョブ設定を SQL エディタにコピーします。

CREATE TEMPORARY TABLE sls_input(
  request_uri STRING,
  scheme STRING,
  slbid STRING,
  status STRING,
  `__topic__` STRING METADATA VIRTUAL,
  `__source__` STRING METADATA VIRTUAL,
  `__timestamp__` STRING METADATA VIRTUAL,
   __tag__ MAP<VARCHAR, VARCHAR> METADATA VIRTUAL,
  proctime as PROCTIME()
) WITH (
  'connector' = 'sls',
  'endpoint' ='cn-hangzhou-intranet.log.aliyuncs.com',
  'accessId' = 'yourAccessKeyID',
  'accessKey' = 'yourAccessKeySecret',
  'starttime' = '2025-02-19 00:00:00',
  'project' ='test-project',
  'logstore' ='clb-access-log',
  'query' = '* | where slbid = ''slb-01'''
);

次の表は、SQL ジョブのパラメータについて説明しています。

SQL ジョブ設定を選択して右クリックします。表示されるポップオーバーで、[実行] をクリックして Simple Log Service に接続します。

SQL ジョブに次の分析文を入力し、slbid で集計クエリを実行します。

SELECT slbid, count(1) as slb_cnt FROM sls_input GROUP BY slbid;

ページの右上隅にある [デバッグ] アイコンをクリックします。デバッグダイアログボックスで、[セッションクラスタ] ドロップダウンリストから [新しいセッションクラスタを作成] を選択し、次の図に基づいてパラメータを構成します。

デバッグドロップダウンリストで、作成したセッションクラスタを選択し、[OK] をクリックします。

[結果] セクションには、[slbid] フィールドに値 slb-01 が常に表示されます。結果は、SPL 文を指定した後、sls_input には slbid='slb-01' に一致するデータのみが含まれることを示しています。

Realtime Compute for Apache Flink コンソール にログインします。管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。

左側のナビゲーションウィンドウで、[開発] > [ETL] を選択します。

一時テーブルを作成するために使用される次の SQL ジョブ設定を SQL エディタにコピーします。行フィルタリングとは異なり、行フィルタリング設定に基づいて射影文がクエリパラメータに追加されます。縦棒 (|) は命令を分割するために使用されます。前の命令の出力は、次の命令の入力として使用されます。最後の命令の出力は、パイプライン全体の出力を示します。このようにして、特定のフィールドの内容のみが Simple Log Service サーバーからプルされます。

CREATE TEMPORARY TABLE sls_input_project(
  request_uri STRING,
  scheme STRING,
  slbid STRING,
  status STRING,
  `__topic__` STRING METADATA VIRTUAL,
  `__source__` STRING METADATA VIRTUAL,
  `__timestamp__` STRING METADATA VIRTUAL,
   __tag__ MAP<VARCHAR, VARCHAR> METADATA VIRTUAL,
  proctime as PROCTIME()
) WITH (
  'connector' = 'sls',
  'endpoint' ='cn-hangzhou-intranet.log.aliyuncs.com',
  'accessId' = 'yourAccessKeyID',
  'accessKey' = 'yourAccessKeySecret',
  'starttime' = '2025-02-19 00:00:00',
  'project' ='test-project',
  'logstore' ='clb-access-log',
  'query' = '* | where slbid = ''slb-01'' | project request_uri, scheme, slbid, status, __topic__, __source__, "__tag__:__receive_time__"'
);

次の表は、SQL ジョブのパラメータについて説明しています。

SQL ジョブ設定を選択して右クリックします。表示されるポップオーバーで、[実行] をクリックして Simple Log Service に接続します。

SQL ジョブに次の分析文を入力し、slbid で集計クエリを実行します。

SELECT slbid, count(1) as slb_cnt FROM sls_input_project GROUP BY slbid;

ページの右上隅にある [デバッグ] アイコンをクリックします。デバッグダイアログボックスで、[セッションクラスタ] ドロップダウンリストから [新しいセッションクラスタを作成] を選択し、次の図に基づいてパラメータを構成します。

デバッグドロップダウンリストで、作成したセッションクラスタを選択し、[OK] をクリックします。

[結果] セクションには、行フィルタリングが実行された SQL ジョブの結果と同様の結果が表示されます。