Realtime Compute for Apache Flink:Simple Log Service カタログの管理

制限事項

• テーブル内のすべてのフィールドは文字列として解析されます。 他のデータ型を使用する場合は、Flink SQL を使用してデータ型の変換を実行する必要があります。

• Ververica Runtime（VVR）6.0.7 以降を使用する Realtime Compute for Apache Flink のみ Simple Log Service カタログをサポートしています。

• DDL ステートメントを使用して既存の Simple Log Service カタログを変更することはできません。

• Simple Log Service カタログを使用してデータテーブルをクエリすることのみ可能です。 Simple Log Service カタログを使用してデータベースとテーブルを作成、変更、または削除することはできません。

• Simple Log Service カタログによって提供されるテーブルは、Flink SQL デプロイメントのソーステーブルおよび結果テーブルとして直接使用できますが、ルックアップディメンションテーブルとして使用することはできません。

Simple Log Service カタログの作成

UI 上または SQL ステートメントを実行することで、Simple Log Service カタログを作成できます。 UI 上で Simple Log Service カタログを作成することをお勧めします。

Simple Log Service カタログの表示

Simple Log Service カタログが設定された後、次の手順を実行して Simple Log Service のメタデータを表示できます。

1. カタログページに移動します。

   1. Realtime Compute for Apache Flink コンソール にログインします。

   2. 管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。

   3. 左側のナビゲーションペインで、[カタログ] をクリックします。

2. [カタログリスト] ページで、目的のカタログを見つけ、カタログの [名前] 列と [タイプ] 列を表示します。

   説明

   カタログ内のログストアに関する情報を表示する場合は、カタログの [アクション] 列の [表示] をクリックします。

Simple Log Service のログストアに関する情報の表示

1. SQL エディターページの スクリプト タブのコードエディターで、次のステートメントを入力します。

   DESCRIBE `${catalog_name}`.`${project_name}`.`${logstore_name}`;

   パラメーター	説明
   ${catalog_name}	Simple Log Service カタログの名前。
   ${project_name}	Simple Log Service プロジェクトの名前。
   ${logstore_name}	Simple Log Service のログストアの名前。

2. カタログの表示に使用するコードを選択し、コードの左側の [実行] をクリックします。

   コードが実行された後、結果にテーブルに関する情報を表示できます。

   

Simple Log Service カタログの使用

• Simple Log Service カタログのテーブルをソーステーブルとして使用し、Simple Log Service のログストアからデータを読み取ります。

  INSERT INTO ${other_sink_table}
  SELECT...
  FROM `${catalog_name}`.`${project_name}`.`${logstore_name}`/*+OPTIONS('startTime'='2023-06-01 00:00:00')*/;

  説明

  Simple Log Service カタログのテーブルを使用する際に WITH 句で他のパラメーターを指定する場合は、SQL ヒント を使用してパラメーターを追加することをお勧めします。 たとえば、上記の SQL ステートメントの SQL ヒントは、データ消費が '2023-06-01 00:00:00' から開始されることを指定しています。 その他のパラメーターの詳細については、「Simple Log Service コネクター」をご参照ください。

• Simple Log Service カタログのテーブルを結果テーブルとして使用し、Simple Log Service のログストアにデータを書き込みます。

  INSERT INTO `${catalog_name}`.`${project_name}`.`${logstore_name}`
  SELECT ... 
  FROM ${other_source_table}

Simple Log Service カタログの削除

UI 上または SQL ステートメントを実行することで、Simple Log Service カタログを削除できます。 UI 上で Simple Log Service カタログを削除することをお勧めします。

Simple Log Service カタログを使用して取得されるテーブルに関する情報

Simple Log Service カタログを使用して Simple Log Service テーブルからデータを取得する場合、デフォルトのパラメーターとメタデータが派生テーブルに追加されます。 これは、テーブルを効率的に使用するのに役立ちます。 Simple Log Service カタログを使用して取得されるテーブルには、次の情報が含まれています。

• 関連する Simple Log Service テーブルのスキーマ推論

  Simple Log Service カタログが Log Simple Service のログを解析してトピックのスキーマを取得する場合、カタログはメッセージを消費してメッセージを解析し、データのスキーマを取得しようとします。 Simple Log Service カタログは、Simple Log Service のログを解析してフィールド名とデータ型を取得します。 Simple Log Service のログは STRING 型のデータとして保存されます。 したがって、すべてのフィールドは STRING 型です。

• デフォルトで追加する必要があるテーブルパラメーター

  パラメーター	説明	備考
  コネクター	コネクターのタイプ。	値を sls に設定します。
  エンドポイント	Simple Log Service のエンドポイント。	詳細については、「エンドポイント」をご参照ください。
  プロジェクト	Simple Log Service プロジェクトの名前。	該当なし。
  ログストア	Simple Log Service のログストアまたはメトリックストアの名前。	該当なし。
  accessId	Alibaba Cloud アカウントの AccessKey ID。	詳細については、「アカウントの AccessKey ID と AccessKey シークレットに関する情報を表示するにはどうすればよいですか？」をご参照ください。 重要 AccessKey ペアを保護するために、キー管理方式を使用して AccessKey ID を設定することをお勧めします。 詳細については、「キーの管理」をご参照ください。
  accessKey	Alibaba Cloud アカウントの AccessKey シークレット。	詳細については、「アカウントの AccessKey ID と AccessKey シークレットに関する情報を表示するにはどうすればよいですか？」をご参照ください。 重要 AccessKey ペアを保護するために、キー管理方式を使用して AccessKey シークレットを設定することをお勧めします。 詳細については、「キーの管理」をご参照ください。