Logstoreで収集されたログを照会および分析する場合は、Logstoreのインデックスを作成する必要があります。 このトピックでは、Simple Log Serviceでサポートされているインデックスの定義、タイプ、および課金について説明します。 このトピックでは、インデックスを作成してインデックス機能を無効にする方法についても説明し、インデックス作成の例を示します。
インデックスを作成する必要があるのはなぜですか?
ほとんどの場合、キーワードを使用して生ログからデータを照会できます。 たとえば、curlキーワードを含むcurl/7.74.0ログを取得します。 ログ分割が実行されない場合、ログは全体として考慮され、システムはログをcurlキーワードに関連付けません。 この場合、Simple Log Serviceでログを取得できません。
ログを検索するには、ログを別々の検索可能な単語に分割する必要があります。 区切り文字を使用してログを分割できます。 区切り文字は、ログが分割される位置を決定します。 この例では、次の区切り文字を使用して前のログを分割できます。\n\t\r,;[]{}()&^ *#@ ~ =<>/\?: '" ログはカールと7.74.0に分割されます。 Simple Log Serviceは、ログ分割後に取得された単語に基づいてインデックスを作成します。 インデックスが作成されたら、ログを照会および分析できます。
Simple Log Serviceは、フルテキストインデックスとフィールドインデックスをサポートしています。 フルテキストインデックスとフィールドインデックスの両方を作成する場合、フィールドインデックスが優先されます。
インデックスタイプ
フルテキストインデックス
Simple Log Serviceは、区切り文字を使用して、ログをTEXTタイプの複数の単語に分割します。 フルテキストインデックスを作成した後、キーワードを使用してログを照会できます。 たとえば、ChromeまたはSafariの検索文に基づいて、ChromeまたはSafariを含むログを照会できます。
中国語のコンテンツは、区切り文字を使用して分割できません。 ただし、中国語のコンテンツを分割する場合は、Include Chineseをオンにすることができます。 その後、Simple Log Serviceは、中国語の文法に基づいて中国語のコンテンツを自動的に分割します。
Logstoreにフルテキストインデックスのみを作成する場合は、フルテキスト検索構文のみを使用してクエリ条件を指定できます。 詳細については、「クエリ構文と関数」をご参照ください。
フィールドインデックス
Simple Log Serviceは、フィールド名でログを区別し、区切り文字を使用してフィールドを分割します。 サポートされているフィールドタイプは、TEXT、LONG、DOUBLE、JSONです。 詳細については、「データ型」をご参照ください。 フィールドインデックスを作成した後、key:value形式でフィールド名とフィールド値を指定してログを照会できます。 SELECTステートメントを使用してログを照会することもできます。 詳細については、「フィールド固有の検索」をご参照ください。
フィールドをクエリおよび分析する場合は、フィールドインデックスを作成し、SELECTステートメントを使用する必要があります。 フィールドインデックスは、フルテキストインデックスよりも優先度が高くなります。 フルテキストインデックスとフィールドインデックスの両方を作成する場合、フィールドインデックスが優先されます。
TEXTタイプのフィールド: 全文ベースの検索文、フィールドベースの検索文、および分析文を使用して、データを照会および分析できます。 分析ステートメントには、SELECTステートメントが含まれます。
フルテキストインデックスが有効になっていない場合、フルテキストベースの検索文は、textタイプのすべてのフィールドからデータを照会します。
フルテキストインデックスが有効になっている場合、フルテキストベースの検索文はすべてのログからデータを照会します。
LONG型またはDOUBLE型のフィールド: フィールドベースの検索ステートメントと分析ステートメントを使用して、データを照会および分析できます。 分析ステートメントには、SELECTステートメントが含まれます。
インデックスの作成
クエリと分析の結果は、インデックスの構成によって異なります。 ビジネス要件に基づいてインデックスを作成する必要があります。 インデックスの作成後、インデックスは約1分以内に有効になります。
新しいインデックスは、新しいログに対してのみ有効です。 履歴ログをクエリするには、ログのインデックスを再作成する必要があります。 詳細については、「Logstoreのログの再インデックス」をご参照ください。
Simple Log Serviceは、特定の予約フィールドのインデックスを自動的に作成します。 詳細については、「予約フィールド」をご参照ください。
Simple Log Serviceは、
__topic__および__source__の予約フィールドのインデックスを作成するときに、区切り文字を空のままにします。 したがって、2つのフィールドをクエリするキーワードを指定する場合、完全一致のみがサポートされます。__tag__というプレフィックスが付いたフィールドは、フルテキストインデックスをサポートしていません。 __tag ___というプレフィックスが付いたフィールドをクエリおよび分析する場合は、フィールドインデックスを作成する必要があります。 サンプルクエリ文:* | select "__tag __:__ receive_time__"request_timeなど、同じ名前の2つのフィールドがログに含まれている場合、Simple log Serviceはいずれかのフィールドをrequest_time_0として表示します。 2つのフィールドは、Simple Log Serviceにrequest_timeとして保存されます。 フィールドのインデックスのクエリ、分析、出荷、変換、または作成を行う場合は、request_timeを使用する必要があります。
コンソール
Simple Log Serviceコンソールにログインします。
[プロジェクト] セクションで、管理するプロジェクトをクリックします。
タブで、管理するログストアをクリックします。
Logstoreの [クエリと分析] ページで、[有効化] をクリックします。
説明[有効] をクリックしてから約1分後に最新のデータを照会できます。
必要に応じて、 自動更新をオフにします。
Logstoreがクラウドサービス専用のLogstoreまたは内部Logstoreである場合、自動更新は自動的にオンになります。 この場合、Logstoreの組み込みインデックスは自動的に最新バージョンに更新されます。 上記のシナリオでインデックスを作成する場合は、[検索と分析] パネルで [自動更新] をオフにします。
警告クラウドサービス専用のLogstoreのインデックスを削除すると、Logstoreで有効になっているレポートやアラートなどの機能が影響を受ける可能性があります。
インデックスを作成します。
フルテキストインデックスの作成
[有効化] をクリックすると、[フルテキストインデックス] が自動的にオンになります。 ビジネス要件に基づいて、LogReduce、大文字小文字の区別、および中国語を含めるをオンにできます。 デフォルトの区切り文字またはカスタムの区切り文字を使用できます。
下表に、各パラメーターを説明します。
Parameters
フィールドインデックスの作成
[有効にする] をクリックした後、検索と分析パネルで [自動インデックス生成] をクリックします。 Simple Log Serviceは、データ収集のプレビュー結果の最初のログに基づいて、フィールドインデックスを自動的に生成します。 カスタムフィールドインデックスを作成する場合は、プラス記号 (
+) をクリックします。 詳細は、「パラメーター」をご参照ください。初めて検索と分析パネルを開くと、次の設定が表示されます。
下表に、各パラメーターを説明します。
Parameters
必要に応じて、 フィールド値の最大長を指定します。
デフォルトでは、SQL分析のプロセスで切り捨てられた後に文字列が取得されます。 分析用に保持できるフィールド値のデフォルトの最大長は
2,048バイトで、これは2 KBに相当します。 [検索と分析] パネルの下部にある [最大統計フィールドの長さ] パラメーターの値を変更できます。 有効値: 64 ~ 16384 単位はバイトです。 新しいインデックスは、新しいログに対してのみ有効です。重要フィールド値の長さがこのパラメーターの値を超える場合、フィールド値は切り捨てられ、余分な部分は分析に関与しません。
API
SDK
CLI
インデックスの更新
手順
管理するLogstoreの [クエリと分析] ページで、 を選択します。 クエリと分析の結果は、インデックスの構成によって異なります。 ビジネス要件に基づいてインデックスを更新する必要があります。 インデックスが更新された後、新しいインデックスは約1分以内に有効になります。
インデックス作成機能の無効化
Logstoreのインデックス作成機能を無効にすると、Logstoreのデータ保持期間が経過すると、履歴インデックスが占有しているストレージ領域が自動的に解放されます。
手順
管理するLogstoreの [クエリと分析] ページで、 を選択します。
インデックス設定例
例 1
ログにはrequest_timeフィールドが含まれ、request_time>100フィールドベースの検索文が実行されます。
フルテキストインデックスのみを作成すると、
request_time、>、および100を含むログが返されます。 より大きい記号 (>) は区切り文字ではありません。フィールドインデックスのみが作成され、フィールドタイプがDOUBLEおよびLONGの場合、
request_timeフィールド値が100を超えるログが返されます。フルテキストインデックスとフィールドインデックスの両方が作成され、フィールドタイプがDOUBLEおよびLONGの場合、フルテキストインデックスは
request_timeフィールドに対して有効にならず、request_timeフィールド値が100を超えるログが返されます。
例 2
ログにはrequest_timeフィールドが含まれ、request_time全文ベースの検索文が実行されます。
フィールドインデックスのみが作成され、フィールドタイプがDOUBLEおよびLONGの場合、ログは返されません。
フルテキストインデックスのみが作成された場合、
request_timeフィールドを含むログが返されます。 この場合、ステートメントはすべてのログからデータを照会します。フィールドインデックスのみが作成され、フィールドタイプがTEXTの場合、
request_timeフィールドを含むログが返されます。 この場合、ステートメントはTEXT型のすべてのフィールドからデータを照会します。
例 3
ログにstatusフィールドが含まれ、* | SELECT status, count(*) AS PV GROUP BY statusクエリ文が実行されます。
フルテキストインデックスのみが作成された場合、ログは返されません。
statusフィールドにインデックスを作成すると、さまざまなステータスコードのページビュー (PV) の合計数が返されます。
インデックストラフィックの説明
フルテキストインデックス
すべてのフィールド名とフィールド値はテキストとして保存されます。 この場合、フィールド名とフィールド値の両方がインデックストラフィックの計算に含まれます。
フィールドインデックス
インデックストラフィックの計算に使用される方法は、フィールドのデータ型によって異なります。
TEXT型: フィールド名とフィールド値はどちらもインデックストラフィックの計算に含まれます。
LONGおよびDOUBLEタイプ: フィールド名はインデックストラフィックの計算に含まれません。 各フィールド値は、インデックストラフィックで8バイトとしてカウントされます。
たとえば、LONG型の
statusフィールドにインデックスを作成し、フィールド値が200の場合、文字列statusはインデックストラフィックの計算に含まれず、200値はインデックストラフィックで8バイトとしてカウントされます。JSON型: フィールド名とフィールド値はどちらもインデックストラフィックの計算に含まれます。 そこには、インデックス化されていないサブフィールドも含まれます。 詳細については、「」をご参照ください。インデックス化されていないJSONサブフィールドに対してインデックストラフィックが生成されるのはなぜですか?
サブフィールドがインデックスされていない場合、インデックストラフィックは、サブフィールドのデータタイプをTEXTとみなすことによって計算される。
サブフィールドがインデックス付けされている場合、インデックストラフィックは、サブフィールドのデータタイプに基づいて計算される。 データ型は、TEXT、LONG、またはDOUBLEです。
課金の概要
従量課金データ課金モードを使用するログストア
インデックスはストレージスペースを占有します。 ストレージタイプの詳細については、「インテリジェント階層ストレージの設定」をご参照ください。
インデックスの再作成は料金を発生しません。
インデックストラフィックの課金の詳細については、「従量課金データの課金項目」をご参照ください。
従量課金モードを使用するログストア
インデックスはストレージスペースを占有します。 ストレージタイプの詳細については、「インテリジェント階層ストレージの設定」をご参照ください。
インデックスを作成すると、トラフィックが生成されます。 クエリログストア項目のログデータのインデックストラフィックとログデータのインデックストラフィックに基づいて、インデックストラフィックに対して課金されます。 詳細については、「機能課金の課金項目」をご参照ください。 インデックストラフィックを削減する方法の詳細については、インデックスのトラフィック料金を削減するにはどうすればよいですか? をご参照ください。
インデックスの再作成は料金を生成します。 インデックスの再作成中に、インデックスの作成時と同じ請求可能なアイテムと価格に基づいて課金されます。
次のステップ
クエリと分析の例の詳細については、次のトピックを参照してください。
クエリのパフォーマンスを向上させる方法の詳細については、「ログのクエリと分析の高速化」をご参照ください。
JSON形式のWebサイトログをクエリおよび分析する方法の詳細については、「JSONログのクエリと分析」をご参照ください。