Simple Log Service (SLS) のデータ変換機能は、コンシューマーグループを使用してログデータを消費し、処理します。200 以上の組み込み関数を組み合わせて、変換ルールを作成できます。このドキュメントでは、データ変換中のデータのスケジューリング方法と、ルールエンジンの仕組みについて説明します。
スケジューリングの基本
SLS のデータ変換機能は、コンシューマーグループを使用して、ソース Logstore からログデータをストリームとして消費します。各ログは変換ルールを使用して処理され、その結果が出力されます。

[スケジューリングメカニズム]
各変換ルールに対して、スケジューラは 1 つ以上の実行中のインスタンスを開始します。各インスタンスは、ソース Logstore 内の 1 つ以上のシャードのコンシューマーとして機能します。スケジューラは、メモリと CPU の使用状況に基づいて並列インスタンスの数を決定します。インスタンスの最大数は、ソース Logstore のシャード数と同じです。
[実行中のインスタンス]
実行中のインスタンスは、設定に従って、割り当てられたシャードからソースログを読み取ります。変換ルールを使用してデータを処理し、結果を送信先 Logstore に出力します。変換ルールは、外部リソースを使用してログデータをエンリッチできます。インスタンスは、コンシューマーグループメカニズムを使用して、シャード内の消費位置を保存します。これにより、インスタンスが予期せず停止した場合でも、最後に保存されたブレークポイントから消費を再開できます。
[ジョブの停止]
ジョブの終了時刻を設定しない場合、実行中のインスタンスはデフォルトで実行を継続し、ジョブは停止しません。
ジョブの終了時刻を設定した場合、実行中のインスタンスはその時刻までに受信したすべてのログを処理します。その後、インスタンスは自動的に終了し、ジョブは停止します。
何らかの理由でジョブが停止して再起動された場合、デフォルトで最後に保存された位置から消費を再開します。
ルールエンジンの基本:基本操作
SLS DSL が提供する組み込み関数を使用して、変換ルールを記述できます。各関数は変換ステップを表し、ルールエンジンは関数を順番に実行します。
e_set("log_type", "access_log")
e_drop_fields("__action")
e_if(e_search("ret: pass"), e_set("result", "pass"))
e_if(e_search("ret: unknown"), DROP)次の図はロジックを示しています。
基本ロジック
ルール内の各イベント関数は、順番に実行されます。各関数はイベントを処理・変更し、変更されたイベントを次の関数に渡します。
例えば、
e_set("log_type", "access_log")は、各イベントに名前がlog_typeで値が access_log のフィールドを追加します。次の関数は、log_typeフィールドが含まれるようになった更新されたイベントを受け取ります。条件付きロジック
ステップには条件を設定できます。イベントが条件を満たさない場合、そのステップの操作はスキップされます。
例えば、関数
e_if(e_search("ret: pass"), e_set("result", "pass"))は、まずretフィールドに pass が含まれているかどうかを確認します。条件が満たされない場合、何も実行されません。条件が満たされた場合、この関数はresultフィールドの値を pass に設定します。処理の停止
ステップがイベントを返さなかった場合、そのイベントは削除されたと見なされます。
例えば、
e_if(e_search("ret: unknown"), DROP)は、retフィールドの値が unknown であるイベントを破棄します。イベントが破棄されると、そのイベントに対して後続の操作は実行されず、次のイベントの処理が開始されます。
ルールエンジンの基本:出力、コピー、分割
ルールエンジンは、イベントのコピー、出力、分割もサポートしています。
e_coutput("archive_Logstore")
e_split("log_type")
e_if(e_search("log_type: alert"), e_output("alert_Logstore") )
e_set("result", "pass")処理対象のソースログが次のようであると仮定します:
log_type: access,alert
content: admin login to database.次の図はロジックを示しています。
イベントの出力
出力操作は、停止処理の一種と考えることができます。たとえば、ステップ 3 で、イベントに
log_typeフィールドがあり、その値が alert の場合、e_output("alert_Logstore")関数が呼び出されます。この関数は、イベントを指定された宛先に出力し、そのイベントを削除します。このイベントに対しては、後続の操作は実行されません。イベントのコピーと出力
e_coutput関数は、現在のイベントをコピーして出力します。元のイベントは、次の処理ステップに進みます。例えば、ステップ 1 では、すべての受信イベントがコピーされ、archive_Logstoreの宛先に出力されます。分割と並列処理
ステップ 2 で、
log_typeフィールドに値 access および alert が含まれている場合、e_split("log_type")はlog_typeフィールドの値に基づいてイベントを 2 つの個別のイベントに分割します。2 つの新しいイベントは log_type フィールド以外は同一であり、このフィールドの値は一方のイベントでは access に、もう一方では alert になります。その後、それぞれの新しいイベントは、後続のステップで個別に処理されます。分割後、結果として得られる各イベントは、後続のステップを個別に進みます。