このトピックでは、リアルタイムログ機能を使用してユーザーアクセスログを分析する方法について説明します。
概要
リアルタイムログ配信機能は、Alibaba Cloud CDN と SLS が共同で開発したログデータ処理サービスです。低レイテンシー (通常 3 分以内) の配信が特徴で、この機能を使用して、世界中の POP から SLS にアクセスログをプッシュできます。その後、SLS を使用してユーザーアクセスデータを保存および分析できます。Alibaba Cloud CDN を経由するリクエストは記録され、分析用に豊富なデータが提供されます。これらのログを分析することで、ユーザー構成やアクセス速度に関するインサイトを得たり、コンテンツ配信の問題を特定してトラブルシューティングしたりできます。
前提条件
Alibaba Cloud CDN が有効化され、高速化ドメイン名が追加されていること。詳細については、「Alibaba Cloud CDN の有効化」をご参照ください。
SLS が有効化されていること。詳細については、「LoongCollector を使用した ECS テキストログの収集と分析」をご参照ください。
ユーザーアクセスデータを分析したい高速化ドメイン名に対して、リアルタイムログ配信が設定されていること。詳細については、「リアルタイムログ配信」をご参照ください。
リアルタイムログ配信とオフラインログ機能の違い
ログの遅延
リアルタイムログ配信機能はログデータをリアルタイムで収集し、イベント発生後 3 分以内にログが生成されます。オフラインログデータは 24 時間以内に生成されます。
ログ分析
リアルタイムログ配信機能は、SLS のログストレージ機能とログ分析機能を統合しています。この機能は、基本データ、エラー分析、頻繁にリクエストされるリソース、ユーザー分析の 4 つの事前設定された分析レポートテンプレートを提供します。また、カスタムログ分析ポリシーもサポートしています。対照的に、オフラインログ機能ではログを Object Storage Service (OSS) に配信することしかできず、ログ分析機能は統合されていません。
メリット
低遅延
イベント発生後 3 分以内にログデータが生成されます。これにより、アクセスログを分析し、問題を特定して、すぐに解決することができます。
エンドツーエンド
従来のほとんどのオフラインログ分析ソリューションでは、データを分析する前に、まずログをダウンロードし、データウェアハウスにアップロードし、データをクレンジングし、データモデルを定義する必要があります。これにより、人件費と分析に必要な時間が増加します。リアルタイムログ配信機能は、SLS のログストレージ機能とログ分析機能を統合し、オフラインログ分析を効率化します。
制限事項と注意事項
専用の Logstore に他のデータを書き込むことはできません。
専用の Logstore はリアルタイムログの保存に使用されます。この Logstore に他のデータを書き込むことはできません。この Logstore のクエリ、統計、アラート、ストリーミング消費機能は制限されません。
従量課金：リアルタイムログ収集機能が有効になっていない場合、料金は発生しません。
リアルタイムログ機能は SLS の課金項目に従って課金されます。ログ収集機能が有効になっていない場合、料金は発生しません。SLS は従量課金方式をサポートしており、無料クォータを提供しています。
利用シーン
リアルタイムログは、高速化ドメイン名の問題を分析し、ユーザーのアクセスパターンを理解するのに役立ちます。Alibaba Cloud CDN のリアルタイムログ機能は、事前設定されたログ分析レポートを提供し、さまざまなシナリオのニーズに対応するためにカスタムログ分析ポリシーをサポートしています。
事前設定されたログ分析レポート
ログ分析シナリオ | レポートの説明 |
CDN 基本データ | このデータにより、CDN の全体的なサービス品質と、ヒット率、アクセス遅延、ダウンロード速度などのエンドユーザーのアクセス効率を迅速に把握できます。また、サービス品質の問題が発生した際に迅速に対応することも可能になります。 |
CDN アクセスエラー | このデータにより、アプリケーションへのアクセスが異常な場合に、一部の URI の問題、オリジンサーバーの障害、利用不可能なノード、一部の省でのネットワーク問題、一部のキャリアでのネットワーク問題など、CDN サービス問題の原因を迅速に特定できます。 |
CDN ホットスポットリソース | このデータにより、ホットスポットリソースをより深く理解し、人気のドメイン名、人気の URI、人気の省、人気のキャリアを分析できます。また、ホットスポットデータを使用して、運用アクティビティが効果的であるか、ホットスポット期間中のトラフィック増加が期待通りであるかを確認することもできます。これにより、運用戦略をタイムリーに調整できます。 |
CDN ユーザー構成 | このデータにより、クライアントタイプ、省、ユーザーのキャリアなど、ウェブサイトのユーザー構成をより深く理解できます。また、アクセス量別の上位ユーザーとダウンロード量別の上位ユーザーの統計をコンパイルすることもできます。 |
リアルタイムログ機能のページで、ログを分析したいプロジェクトを見つけ、[レポートの表示] をクリックしてログ分析レポートのテンプレートページに移動します。
データクエリテンプレートページでは、デフォルトですべてのドメイン名のデータがクエリされます。特定のドメイン名または URI のデータをクエリすることもできます。
詳細については、以下のトピックをご参照ください：
カスタムログ分析
事前設定されたログ分析レポートがニーズを満たさない場合は、SLS の強力なログ分析機能を使用してカスタムログ分析を実行できます。
たとえば、レスポンスステータスコードが 499 または 502 であるドメイン名のランキングを表示できます。
リアルタイムログ機能のページで、ログを分析したいプロジェクトを見つけ、[ログ分析] をクリックしてカスタムログ分析ページに移動します。
カスタム分析インターフェイスでは、検索ボックスに検索文を入力して複雑なフィルター条件でログデータをクエリしたり、左側の [生ログ] 列のログフィールドをクリックして簡単なフィルター条件でログをフィルターしたりできます。
詳細については、「カスタムレポート」をご参照ください。
リアルタイムログ配信プロジェクトの作成
Log Service プロジェクトを作成して、aliyun.example.com などの高速化ドメイン名のリアルタイムログを保存できます。詳細については、「リアルタイムログ配信」をご参照ください。
次の図は作成されたプロジェクトを示しています。プロジェクト名は project-example、Logstore 名は project-example、ログストレージリージョンは ID が cn-hangzhou の中国 (杭州) です。
事前設定レポート：CDN 基本データ
このデータにより、CDN の全体的なサービス品質と、ヒット率、アクセス遅延、ダウンロード速度などのエンドユーザーのアクセス効率を迅速に把握できます。また、サービス品質の問題が発生した際に迅速に対応することも可能になります。
このレポートには以下のデータが含まれます。すべてのデータを表示するか、ドメイン名または URI でデータをフィルターできます。
健全性：正常なステータスコードを持つレスポンスの割合。
キャッシュヒット率：リソースの平均キャッシュヒット率で、バイト単位で計算されます。
ダウンロード速度：リソースの平均ダウンロード速度。
アクセスステータス：各レスポンスステータスコードの割合。これを使用して、異常なステータスコードの割合を迅速に確認できます。
アクセス遅延分布：各遅延セグメントの割合。
リクエスト帯域幅：1 分粒度の帯域幅の値。
訪問数/訪問者数：ページビュー (PV) とユニークビジター (UV)。
リクエストヒット率：リクエスト数で計算されたヒット率。
アクセス遅延：リソースをダウンロードする際の平均アクセス遅延。
事前設定レポート：CDN アクセスエラー
このデータにより、アプリケーションへのアクセスが異常な場合に、CDN サービス問題の原因を迅速に特定できます。問題の例としては、一部の URI の問題、オリジンサーバーの障害、利用不可能なノード、特定の省でのネットワーク問題、特定のキャリアでのネットワーク問題などがあります。
このレポートには以下のデータが含まれます。すべてのデータを表示するか、ドメイン名または URI でデータをフィルターできます。
エラーの多いドメイン名トップ 10：アクセスエラーの割合が最も高いドメイン名。
エラーの多い URI トップ 10：アクセスエラーの割合が最も高い URI。
リクエストエラー率：時間経過に伴う 4xx および 5xx ステータスコードの割合。
エラーリクエストステータス分布：各ステータスコードの数と割合。
キャリア別エラー統計：異なるキャリアに対する 4xx および 5xx ステータスコードの数。
省別エラー統計：異なる省に対する 4xx および 5xx ステータスコードの数。
エラー詳細 (4xx)：異なる省とキャリアに対する 4xx ステータスコードの数と割合。
エラー詳細 (5xx)：異なる省とキャリアに対する 5xx ステータスコードの数と割合。
クライアント別エラー分布：異なるクライアントの User-Agent (UA) に対応する 4xx および 5xx ステータスコードの数と割合。
事前設定レポート：CDN ホットスポットリソース
このデータにより、ホットスポットリソースをより深く理解し、人気のドメイン名、URI、省、キャリアを分析できます。また、ホットスポットデータを使用して、運用アクティビティが効果的であるか、ホットスポット期間中のトラフィック増加が期待通りであるかを確認することもできます。これにより、運用戦略をタイムリーに調整できます。
このレポートには以下のデータが含まれます。すべてのデータを表示するか、ドメイン名または URI でデータをフィルターできます。
訪問数別トップドメイン名：総訪問数に占める割合が最も高いドメイン名。
ダウンロードトラフィック別トップドメイン名：総ダウンロードトラフィックに占める割合が最も高いドメイン名。
人気のアクセス URI：各 URI の訪問数、訪問者数、総ダウンロード量。
人気のアクセスソース：人気の Referer ソースドメイン名。訪問数、ユニークビジター (UV)、および割合のレコード付き。
全国訪問統計：各省の訪問数。
全国ダウンロード速度：各省の平均ダウンロード速度。
省別統計：各省の総訪問数、総ダウンロードトラフィック、平均ダウンロード速度。
キャリアトラフィックと速度：各キャリアの総ダウンロード量と平均ダウンロード速度。
キャリア別統計：各キャリアの総訪問数、総ダウンロードトラフィック、平均ダウンロード速度。
事前設定レポート：CDN ユーザー構成
このデータにより、クライアントタイプ、省、キャリアなど、ウェブサイトのユーザー構成をより深く理解できます。また、アクセス量別の上位ユーザーとダウンロード量別の上位ユーザーの統計をコンパイルすることもできます。
このレポートには以下のデータが含まれます。すべてのデータを表示するか、ドメイン名または URI でデータをフィルターできます。
訪問数：総訪問数 (PV)。
訪問者数：総訪問者数 (UV)。
アクセス地域分布：各省の訪問数と割合。
アクセスクライアント統計：各クライアントタイプの訪問数と割合。
キャリア別訪問統計：各キャリアの総訪問数と割合。
ダウンロード量別トップユーザー：IP アドレスでグループ化されたユーザーの総訪問数、エラー訪問数、総ダウンロード量。
有効訪問数別トップユーザー：IP アドレスでグループ化されたユーザーの総訪問数、エラー訪問数、総ダウンロード量 (4xx および 5xx ステータスコードを持つ無効な訪問を除く)。
レポートテンプレートデータのサブスクライブ
Simple Log Service にレポートテンプレートのデータを定期的に送信させたい場合は、サブスクリプション機能を使用できます。
操作手順
例えば、CDN 基本データページで、右上隅の [サブスクライブ] をクリックし、次に [作成] をクリックします。
表示される設定ウィンドウで、[サブスクリプション名]、[頻度]、[グローバル時間] を入力し、[次へ] をクリックします。
[通知リスト] ドロップダウンメニューから通知方法を選択し、関連情報を入力して、[送信] をクリックしてサブスクリプションを作成します。
サポートされている通知方法には、メール、WebHook-DingTalk ロボット、WebHook-Lark ロボット、WebHook-WeCom ロボット、WeChat があります。
カスタムレポート
例 1：過去 30 日間にレスポンスステータスコードが 499 だったドメイン名のランキングを表示します。
検索文：
return_code = 499| select domain , count(*) as c group by domain order by c desc limit 10
例 2：過去 30 日間にレスポンスステータスコードが 502 だったドメイン名のランキングを表示します。
検索文：
return_code = 502| select domain , count(*) as c group by domain order by c desc limit 10
例 3：過去 30 日間のアクセス URI /cpu のログデータを表示します。
左側の [生ログ] 列の URI フィールドをクリックし、次に [/cpu] をクリックして必要なログをフィルターできます。
