Simple Log Service:スケジュール済み SQL に関する FAQ

方法 1

ログ時間の遅延を回避し、ログ時間が書き込み時間と一致するようにし、スケジュール済み SQL 計算でデータが欠落しないようにするには、取り込みプロセッサを使用してログストアに書き込む前にデータを処理します。

プロジェクトweb-project-test という名前の ログストアウェブサイト ログパブリック IP アドレスのログLogtail を使用してログが収集されますシンプルな Log Service SDK と という名前の ログストア が作成されているとします。 機能はログストアで有効になっています。 または を使用してログが収集されます。

1. 取り込みプロセッサを作成します。

   1. Simple Log Service コンソール にログインします。 [プロジェクト] セクションで、web-project-test プロジェクトをクリックします。

   2. 左側のナビゲーションウィンドウで、[リソース] > [データプロセッサ] を選択します。

      

   3. [データプロセッサ] > [取り込みプロセッサ] タブで、[作成] をクリックします。

      

   4. [プロセッサの作成] パネルで、プロセッサ名と次の SPL 文を入力し、[OK] をクリックします。

      * | extend __time__=cast("__tag__:__receive_time__" as bigint)

2. 取り込みプロセッサをログストアに関連付けます。

   1. 左側のナビゲーションウィンドウで、[ログストレージ] をクリックし、ポインターを website_log ログストアの上に移動し、[変更] を選択します。.

      

   2. [ログストア属性] ページで、ページの右上隅にある [変更] をクリックします。編集モードで、[取り込みプロセッサ] からログストアに関連付ける取り込みプロセッサを選択します。

      ドロップダウン リストで、[保存] をクリックします。

      

3. 次の SQL 文を入力して、書き込み時間とログ時間の結果を確認します。

   * | SELECT 
       cast("__tag__:__receive_time__" as bigint) - cast(__time__ as bigint) as diff
   WHERE 
       cast("__tag__:__receive_time__" as bigint) - cast(__time__ as bigint) > 0

方法 2

ログストアは、レイテンシの問題を回避するために、サーバー時間を使用して時間を強制的に上書きすることをサポートしています。この機能を使用する場合は、チケットを送信 してください。

スケジュール済み SQL ジョブが宛先ログストアに書き込むログのログ時間としてどの時間が使用されますか?

スケジュール済み SQL ジョブの SQL 文に __time__ フィールドが含まれていない場合、SQL タイムウィンドウの開始時刻がデフォルトのログ時間として使用されます。デフォルトでは、* | select * 文は __time__ フィールドをカバーします。

次の図では、SQL タイムウィンドウの開始時刻は 2024-09-14 15:46:00 です。Simple Log Service は、インスタンスの結果ログが宛先ログストアに書き込まれるログ時間として開始時刻を自動的に使用します。

ケース 1：ソースログストアのログ時間を、ログが宛先ログストアに書き込まれるログ時間として指定する

スケジュール済み SQL ジョブを作成するときは、指定する SQL 文に必要なフィールドとともに __time__ フィールドを追加する必要があります。 __time__ フィールドは、ソースログストアのログ時間を指定します。このようにして、ログがソースログストアから宛先ログストアに書き込まれると、Simple Log Service はクエリ文の結果から __time__ フィールドの値を取得し、その値をログが宛先ログストアに書き込まれるログ時間として使用します。

ケース 2：現在の時刻を、ログが宛先ログストアに書き込まれるログ時間として指定する

スケジュール済み SQL ジョブを作成する場合は、指定する SQL 文に必要なフィールドと共に、cast(to_unixtime(current_timestamp) as bigint) AS __time__ フィールドを追加する必要があります。 cast(to_unixtime(current_timestamp) AS __time__ フィールドは現在の時間を指定します。このようにして、Log Service は現在の時間を、ログが宛先ログストアに書き込まれるログ時間として使用します。 to_unixtime 関数の詳細については、「to_unixtime 関数」をご参照ください。 cast 関数の詳細については、「cast 関数」をご参照ください。

ケース 3：ソースログのタイムフィールドの値を、ログが宛先ログストアに書き込まれるログ時間として指定する

指定する SQL 文の start_time フィールドを、ソースログの実際のタイムフィールドに置き換える必要があります。フィールド値がタイムスタンプであることを確認してください。このようにして、Simple Log Service はクエリ文の結果の __time__ フィールドの値を、ログが宛先ログストアに書き込まれるログ時間として使用します。