Simple Log Service は、クエリと分析機能を提供します。数秒以内に数十億から数千億のログをクエリし、SQL 構文を使用してクエリ結果の統計分析を実行できます。このトピックでは、NGINX ログに基づいて、Simple Log Service コンソールでインデックス作成機能を有効にし、ログを効率的にクエリおよび分析する方法について説明します。
前提条件
プロジェクトと標準ログストアが作成され、ログが収集されます。詳細については、「プロジェクトを作成する」、「ログストアを作成する」、および「データ収集の概要」をご参照ください。
ステップ 1:インデックスを作成する
Simple Log Service コンソール にログオンします。
[プロジェクト] セクションで、管理するプロジェクトをクリックします。
タブで、管理するログストアをクリックします。
ログストアの [クエリと分析] ページで、[有効化] をクリックします。
説明[有効化] をクリックしてから約 1 分後に最新のデータをクエリできます。
[有効化] をクリックすると、全文インデックスが自動的にオンになります。[検索と分析] パネルで、[自動インデックス生成] をクリックします。Simple Log Service は、データ収集のプレビュー結果の最初のログに基づいて、フィールドインデックスを自動的に生成します。
説明他のパラメータにはデフォルト値を保持できます。詳細については、「インデックスを作成する」をご参照ください。
次の図は、生成されたフィールドインデックスの設定を示しています。
手順 2:ログのクエリと分析
ログストアの [クエリと分析] ページで、検索または分析文を指定し、[検索と分析] をクリックします。
検索ステートメント
検索文は、データのクエリとフィルタリングに使用されます。検索文は、単純なクエリのみをサポートします。検索文に条件を指定してデータをフィルタリングできます。条件には、時間範囲、リクエストタイプ、キーワードが含まれます。検索文は単独で実行できます。詳細については、「クエリ構文と関数」をご参照ください。
たとえば、次の検索文を実行して、リクエストステータスコードが
200
であるログをクエリできます。status :200
詳細については、「検索ステートメントの例」をご参照ください。
分析ステートメント
分析文は、データのフィルタリング、変換、計算、および集計に使用されます。たとえば、分析文を使用して、特定の期間内の平均値を計算したり、異なる期間のデータを比較したりできます。分析文は、
検索文|分析文
フォーマットの検索文と共に実行する必要があります。詳細については、「SQL 構文と関数」をご参照ください。たとえば、次の分析文を実行して、すべてのログレコードをクエリし、異なる状態のリクエスト数を分析できます。
* | SELECT status, count(*) AS PV GROUP BY status
デフォルトでは、[ログストア] リストのログストアをクリックすると、システムは [クエリと分析] ページで自動的にクエリ操作を実行します。この機能を無効にするか、クエリの時間範囲を指定するには、次の操作を実行します。クエリと分析ページの右上隅にある アイコンをクリックします。[クエリ設定] タブで、[ページに初めてアクセスしたときにクエリを有効にする] をオフにするか、[カスタムクエリの時間範囲] パラメータを設定します。
時間範囲を指定する
[クエリまたは分析] するデータの時間範囲を指定するには、次のいずれかの方法を使用します。分析文で時間範囲を指定した場合、その時間範囲がクエリと分析に使用されます。
クエリと分析ページの上部にあるドロップダウンリストから時間範囲を選択します。例:[過去 15 分間]。
分析文 で、
__time__
フィールドを使用して時間範囲を指定します。これは閉じた時間間隔です。例:* | SELECT * FROM log WHERE __time__>1731297600 AND __time__< 1731310038
分析文 で、from_unixtime 関数または to_unixtime 関数を使用して、指定した時間の形式を変換します。例:
* | SELECT * FROM log WHERE from_unixtime(__time__) > from_unixtime(1731297600) AND from_unixtime(__time__) < now()
* | SELECT * FROM log WHERE __time__ > to_unixtime(date_parse('2024-10-19 15:46:05', '%Y-%m-%d %H:%i:%s')) AND __time__ < to_unixtime(now())
デフォルトでは、クエリ文を実行した後に返されるデータは 100 行だけです。返されるデータの行数を増やすには、LIMIT 句を使用します。詳細については、「LIMIT 句」をご参照ください。
[クエリと分析] ページの説明
ページの概要ページの概要
ヒストグラム
緑色の四角形の上にポインタを移動すると、四角形で表される期間と、その期間内に返されたログの数を確認できます。
緑色の四角形をダブルクリックすると、ログの分布をより詳細に表示できます。また、[未加工ログ] タブで、指定した期間内に返されたログを表示することもできます。
未加工ログ
ログの詳細ログの詳細
[表] または [未加工データ] をクリックして、ログの表示形式を切り替えます。
ログをダウンロードする」をご参照ください。
: ログをコンピュータにダウンロードできます。詳細については、「> [JSON 設定]: JSON の表示タイプと JSON の展開レベルを指定できます。
> [イベント設定]: 未加工ログのイベントを設定できます。詳細については、「イベント設定」をご参照ください。
: ログの内容をコピーできます。
: ログの内容の特定の情報またはクエリエラー情報にラベルを付けることができます。このアイコンはコパイロットとしても機能します。
: 未加工ログファイル内の特定のログのコンテキスト情報を表示できます。コンテキストクエリは、Logtail によって収集されたログに対してのみ使用できます。詳細については、「コンテキストクエリ」をご参照ください。
: ログの内容をリアルタイムで監視し、重要なログ情報を抽出できます。LiveTail は、Logtail によって収集されたログに対してのみ使用できます。詳細については、「LiveTail」をご参照ください。
表示フィールド表示フィールド
[表示フィールド] の下で、フィールドの上にポインタを移動し、
アイコンをクリックして、[表示フィールド] からフィールドを削除します。その後、フィールドは右側のログの内容に表示されなくなります。
: ビューをお気に入りに追加できます。セクション 5 にフィールドが表示された後、現在のビューをお気に入りに追加できます。その後、セクション 4 の上のドロップダウンリストからビューを選択できます。
> [タグ設定]: フィールドをシステムタグとして追加できます。
> [エイリアス]: [エイリアス] をオンにすると、フィールドの名前がエイリアスに置き換えられます。フィールドにエイリアスを指定しない場合、フィールドの名前は保持されます。フィールドにエイリアスを指定する方法の詳細については、「インデックスを作成する」をご参照ください。
インデックス付きフィールド
[インデックス付きフィールド] の下で、フィールドの上にポインタを移動し、
アイコンをクリックして、[表示フィールド] にフィールドを追加します。その後、フィールドは右側のログの内容に表示されます。
: [基本分布] や [統計メトリック] などのフィールドの詳細を表示できます。詳細については、「フィールド設定」をご参照ください。
グラフ
Simple Log Service は、クエリ文の結果をグラフにレンダリングします。Simple Log Service は、表、折れ線グラフ、縦棒グラフなど、さまざまなタイプのグラフを提供します。詳細については、「グラフの概要(Pro)」および「グラフの概要」をご参照ください。クエリ文を実行した後、[グラフ] タブでクエリと分析の結果を表示できます。
[グラフ] タブの他の機能の説明:
[新しいダッシュボードに追加]: Simple Log Service は、データをリアルタイムで分析できるダッシュボードを提供します。[新しいダッシュボードに追加] をクリックして、クエリと分析の結果をグラフとしてダッシュボードに保存できます。詳細については、「可視化の概要」をご参照ください。
[スケジュール済み SQL ジョブとして保存]: Simple Log Service は、スケジュール済み SQL 機能を提供します。この機能を使用して、スケジュールされた時間に自動的にデータを分析し、ストレージ用にデータを集計できます。また、この機能を使用して、データを投影およびフィルタリングすることもできます。詳細については、「スケジュール済み SQL のしくみ」をご参照ください。
[対話発生]: 対話発生はデータ分析にとって重要です。対話発生を使用して、データディメンションのレベルと分析粒度を切り替えて、より詳細な情報を取得できます。詳細については、「ドリルダウン分析を実行するためにダッシュボードに対話発生を設定する」をご参照ください。
LogReduce
[logreduce] タブで、[logreduce を有効にする] をクリックして、ログ収集中に類似のログをクラスタリングできます。詳細については、「LogReduce」をご参照ください。
SQL 拡張
右上隅にある アイコンをクリックして、専用 SQL を有効にできます。標準 SQL 機能を使用して、一定期間にわたって生成される大量のデータを分析する場合、Simple Log Service は 1 つのクエリリクエストですべてのデータを分析できません。専用 SQL 機能を有効にすると、計算リソースと 1 つのクエリリクエストで分析できるデータ量を増やすことができます。詳細については、「専用 SQL を有効にする」をご参照ください。
アラート
右上隅にある アイコンをクリックして、クエリと分析結果の [アラートを設定] できます。詳細については、「Simple Log Service でアラートルールを設定する」をご参照ください。
クイック検索保存済み検索
右上隅にある アイコンをクリックして、クエリ文を [クイック検索] として保存できます。クイック検索を使用して、クエリと分析操作をすばやく実行できます。詳細については、「クイック検索」をご参照ください。
共有共有
右上隅にある アイコンをクリックして、現在のページへのリンクをコピーし、他のユーザーとリンクを共有できます。詳細については、「コンソールページを埋め込み、ログデータを共有する」をご参照ください。
データ変換データ変換
クエリと分析ページの上部にある [データ変換] をクリックして、データ変換ページに移動できます。データ変換機能を使用すると、データの標準化、情報の抽出、データのクレンジングとフィルタリング、および複数のログストアへのデータの配布を行うことができます。詳細については、「データ変換ジョブを作成する(新バージョン)」をご参照ください。