Simple Log Service:データ変換の構文

SLS DSL は Python と互換性があります。標準モードでは、SLS DSL は Python のサブセットです。基本的なデータ構造と式を除き、その他すべての構文規則は関数を使用して実装されます。

e_if(op_ge(op_len(json_parse(v("x"))), 1), e_set("x0", lst_get(v("x"), 0)))
e_if(op_ge(op_len(json_parse(v("x"))), 2), e_set("x1", lst_get(v("x"), 1)))

標準モードでは、SLS DSL は関数を呼び出すことによってすべての操作を実行します。DSL は 200 以上の組み込み関数を提供しており、これらはグローバル処理関数と式関数に分類されます。

• グローバル処理関数

  グローバル処理関数は、ログを受信、処理、返すために使用されます。変換ルールの各ステップを構成できるのは、グローバル処理関数のみです。

• 式関数

  式関数は特定のパラメーターを受け取ります。これらを組み合わせて呼び出し、グローバル処理関数のパラメーターとして渡すことで、より柔軟なロジックを定義できます。

次の表は、2 つの関数タイプの機能を比較したものです。

ログを受け取り、返す関数です。

SLS DSL の変換ルールは、次の構文を使用します：

GlobalFunction1(..parameters....)
GlobalFunction2(..parameters....)
GlobalFunction3(..parameters....)
GlobalFunction4(..parameters....)

グローバル処理関数は 2 つのカテゴリに分類されます：

変換ロジック：

• 基本的な処理

  データ変換機能は、送信元 Logstore からストリーミング方式でデータを読み取ります。各ログを辞書として変換ルールに渡します。次に、システムはルールで定義された関数に従って、ログデータを順次処理します。最後に、システムは変換結果を送信先 Logstore に出力します。

  説明

  ログのすべてのフィールドと値は文字列として送信されます。たとえば、生ログ {"__time__": "1234567", "__topic__": "", "k1": "test"} は、e_set("f1", 200) 関数によって処理されます。この関数は、f1 というフィールドに値 200 を追加します。処理後、ログは {"__time__": "1234567", "__topic__": "", "k1": "test", "f1": "200"} になります。このログでは、f1 フィールドと値 200 の両方が文字列です。

  変換ルールで指定されたイベント処理関数は、順番に呼び出されます。各関数はログを受信し、処理してから、処理されたログを返します。

  たとえば、e_set("type", "test") 関数は、ログに、値が test となる type フィールドを追加します。次の関数は、変更されたログを受信して処理します。

• 条件評価

  • e_if: e_if 関数を使用すると、ログを処理するための条件式を追加できます。 ログが指定された条件を満たさない場合、対応する操作はスキップされます。 e_if 関数は、if ロジックを実装します。

    たとえば、e_if(e_match("status", "200"), e_regex("data", "ret: \d+", "result")) 関数は、status フィールドの値が 200 であるかどうかをチェックします。条件が真の場合、関数は指定された正規表現を使用して data フィールドから result フィールドを抽出します。それ以外の場合、操作は実行されません。

  • e_if_else：この関数は if_else 操作と同様に動作します。

• 処理の終了

  • 変換ルールのステップでログが返されない場合があります。これは、ログが削除されたことを示します。

    たとえば、e_if(str_islower(v("result")), e_drop()) 関数は、result フィールドの値が小文字の文字列であるかどうかをチェックします。条件が真の場合、ログは破棄され、このログに対して後続のステップは実行されません。システムは自動的に次のログを処理します。

  • 送信先 Logstore へのログの書き込みにより、処理が終了します。たとえば、e_output 関数がログを送信先 Logstore に書き込んで削除すると、このログに対して後続のステップは実行されません。

    説明

    e_coutput 関数は出力ログをコピーし、後続のステップを引き続き処理します。

• 並列分割：

  変換ルールのステップで複数のログが返される場合があります。これは、ログが分割されたことを示します。

  たとえば、e_split(data) 関数は、data フィールドの値に基づいてログを 2 つのログに分割します。data フィールドの値が "abc, xyz" の場合、ログは 2 つのログに分割されます。一方のログでは、data フィールドの値は abc です。もう一方のログでは、値は xyz です。

  分割後に生成されたログは、後続のステップで処理されます。

グローバル処理関数に加えて、SLS DSL は特定のパラメーターを受け取り、特定の値を返す 200 以上の式関数を提供しています。グローバル処理関数内で式関数または式関数の組み合わせを呼び出します。構文は次のとおりです：

Global Processing Function 1(Expression Function 1(...), ...)
Global Processing Function 2(..., Expression Function 2(...), Expression Function 3(...), ...)

式関数は 4 つのカテゴリに分類されます：