CDN リアルタイムログの分析に関するベストプラクティス

概要

リアルタイムログ機能は、Alibaba Cloud CDN と Simple Log Service (SLS) の連携により、低レイテンシーのログ処理を提供します。この機能は、Alibaba Cloud CDN のポイントオブプレゼンス (POP) からユーザーアクセスログをSimple Log Service にプッシュし、通常約 3 分のレイテンシーを実現します。その後、SLS を使用してユーザーアクセスデータを保存および分析できます。Alibaba Cloud CDN を使用してウェブサイトを高速化する場合、画像や動画などのリソースのアクセスログが記録されます。これらのログを分析することで、ユーザーベースの把握やアクセス品質の監視、問題の迅速な特定と解決が可能になります。

前提条件

• Alibaba Cloud CDN を有効化し、高速化ドメイン名を追加していること。詳細については、「Alibaba Cloud CDNの有効化」をご参照ください。

• Simple Log Service を有効化していること。詳細については、「Simple Log Serviceの使用開始」をご参照ください。

• 分析対象のユーザーアクセスデータを持つ高速化ドメイン名に対して、リアルタイムログ配信を設定していること。詳細については、「リアルタイムログ配信の設定」をご参照ください。

リアルタイムログとオフラインログの違い

• ログレイテンシー

  リアルタイムログのレイテンシーは 3 分以内です。一方、オフラインログのデータレイテンシーは通常最大 24 時間です。

• ログ分析

  リアルタイムログ機能は、Simple Log Service のログ保存および分析機能と統合されています。基本データ、アクセスエラー、頻繁にリクエストされたリソース、ユーザー構成の 4 つのプリセットレポートを提供します。また、カスタム分析にも対応しており、ログの保存と分析のワンストップソリューションを提供します。一方、オフラインログは Object Storage Service へのログシッピングのみをサポートし、組み込みの分析機能はありません。

利点

• 低レイテンシー

  ログデータは 3 分以内に利用可能になるため、アクセスログを迅速に分析し、問題を特定して、迅速に対応できます。

• ワンストップサービス

  従来のオフラインログ分析は、複数のステップから成るプロセスです。ログをダウンロードし、データウェアハウスにアップロードし、その後データをクレンジングおよびモデリングしてから分析を行う必要があります。このプロセスは時間と労力を要します。リアルタイムログ機能は、Simple Log Service の保存および分析機能を統合し、このワークフローを合理化します。

ユースケース

リアルタイムログを使用して、高速化ドメイン名の問題をトラブルシューティングし、ユーザーアクセスパターンを把握できます。Alibaba Cloud CDN のリアルタイムログ機能は、プリセットレポートを提供し、さまざまな要件を満たすカスタム分析にも対応しています。

プリセットログ分析レポート

「リアルタイムログ」ページで、分析したいプロジェクトを見つけ、レポートの表示 をクリックしてレポートテンプレートページを開きます。

デフォルトでは、レポートテンプレートページにはすべてのドメイン名のデータが表示されます。特定のドメイン名または URI のデータをクエリすることもできます。

詳細については、次のトピックをご参照ください。

• プリセットレポート: CDN基本データ

• プリセットレポート: CDNアクセスエラー

• プリセットレポート: CDN頻繁にリクエストされたリソース

• プリセットレポート: CDNユーザー構成

• レポートテンプレートデータのサブスクライブ

カスタム分析

プリセットレポートがニーズを満たさない場合は、Simple Log Service の強力な分析機能を使用してカスタム分析を実行できます。

たとえば、HTTP ステータスコード 499 または 502 を返したリクエスト数が最も多いドメイン名をランク付けできます。

「リアルタイムログ」ページで、分析したい Project を見つけ、ログ分析 をクリックしてカスタム分析ページに移動します。

カスタム分析ページでは、検索ボックスにクエリを入力して複雑なクエリを実行できます。簡単なフィルタリングを行うには、[生ログ] パネルでログフィールドをクリックします。

検索バーの右側で、タイムピッカーを使用して時間範囲を指定できます (例： [15 分 (相対)] )。次に、[クエリ/分析] をクリックしてクエリを実行します。左側の [クイック分析] パネルには、client_ip、content_type、domain、hit_info、method を含む、フィルタリング可能なログフィールドが一覧表示されます。

詳細については、「カスタムレポート」をご参照ください。

リアルタイムログ配信プロジェクトの作成

aliyun.example.com などの特定の高速化ドメイン名のリアルタイムログを保存するための Simple Log Service プロジェクトを作成できます。詳細については、「リアルタイムログ配信の設定」をご参照ください。

プロジェクトの作成後、プロジェクト名は project-example、Logstore 名は project-example、ログ保存リージョンは China (Hangzhou) (cn-hangzhou) になります。

プリセットレポート: CDN基本データ

このレポートは、Alibaba Cloud CDN の全体的なサービス品質とエンドユーザーのアクセス効率 (キャッシュヒット率、アクセスレイテンシー、ダウンロード速度など) を把握するのに役立ちます。これにより、サービス品質の問題に迅速に対応できます。

このレポートは、集計表示またはドメイン名や URI でフィルタリングして表示できる次のデータを提供します。

• 正常性：正常な HTTP ステータスコードを返したリクエストの割合。

• キャッシュヒット率：バイト数で計算されたリソースの平均キャッシュヒット率。

• ダウンロード速度：リソースの平均ダウンロード速度。

• アクセスステータス：各 HTTP ステータスコードの割合。異常なステータスコードの割合を迅速に確認するのに役立ちます。

• アクセスレイテンシー分布：各レイテンシー範囲のリクエストの割合。

• リクエスト帯域幅：1 分間隔の帯域幅値。

• ページビュー/ユニークビジター：ページビュー (PV) とユニークビジター (UV) の総数。

• リクエストヒット率：リクエスト数で計算されたキャッシュヒット率。

• アクセスレイテンシー：リソースのダウンロードにかかる平均レイテンシー。

プリセットレポート: CDNアクセスエラー

このレポートは、特定の URI の問題、オリジンサーバーの障害、利用できない POP、特定の地域や ISP でのネットワーク問題など、アクセス例外の原因を迅速に特定するのに役立ちます。

このレポートは、集計表示またはドメイン名や URI でフィルタリングして表示できる次のデータを提供します。

• エラー別上位 10 ドメイン名：アクセスエラーの割合でランク付けされた上位ドメイン名。

• エラー別上位 10 URI：アクセスエラーの割合でランク付けされた上位 URI。

• リクエストエラー率：4xx および 5xx HTTP ステータスコードを持つリクエストの時系列での割合。

• エラーリクエスト分布：各 HTTP ステータスコードの数と割合。

• ISP 別エラー：ISP 別にグループ化された 4xx および 5xx HTTP ステータスコードを持つリクエスト数。

• 省別エラー：省別にグループ化された 4xx および 5xx HTTP ステータスコードを持つリクエスト数。

• エラー詳細 (4xx)：省と ISP 別にグループ化された 4xx HTTP ステータスコードを持つリクエストの数と割合。

• エラー詳細 (5xx)：省と ISP 別にグループ化された 5xx HTTP ステータスコードを持つリクエストの数と割合。

• クライアント別エラー分布：クライアントの User-Agent 別にグループ化された 4xx および 5xx HTTP ステータスコードを持つリクエストの数と割合。

プリセットレポート: CDN頻繁にリクエストされたリソース

このレポートは、上位のドメイン名、URI、省、ISP を特定することで、人気のあるリソースに関する洞察を提供します。このデータは、マーケティングキャンペーンの効果を評価し、ピーク時のトラフィックが期待に沿っているかを判断し、運用戦略の調整を可能にします。

このレポートは、集計表示またはドメイン名や URI でフィルタリングして表示できる次のデータを提供します。

• 訪問数別上位ドメイン名：総訪問数の割合でランク付けされた上位ドメイン名。

• ダウンロードトラフィック別上位ドメイン名：総ダウンロードトラフィックの割合でランク付けされた上位ドメイン名。

• 頻繁にリクエストされた URI：各 URI の訪問数、ユニークビジター、総ダウンロード数。

• 人気のアクセス元：訪問数、ユニークビジター、割合を含む上位の Referer ソースドメイン名。

• 中国本土全体の訪問数：省別にグループ化された平均訪問数。

• 全国のダウンロード速度：各省の平均ダウンロード速度。

• 省別統計：各省の総訪問数、総ダウンロードトラフィック、平均ダウンロード速度。

• ISP 別トラフィックと速度：各 ISP の総ダウンロードトラフィックと平均ダウンロード速度。

• ISP 別統計：各 ISP の総訪問数、総ダウンロードトラフィック、平均ダウンロード速度。

プリセットレポート: CDNユーザー構成

このレポートは、クライアントタイプ、省、ISP を含む、ウェブサイトのユーザーベースの構成を把握するのに役立ちます。このレポートは、訪問数またはダウンロードされたデータ量による上位ユーザーを特定することもできます。

このレポートは、集計表示またはドメイン名や URI でフィルタリングして表示できる次のデータを提供します。

• ページビュー：ページビュー (PV) の総数。

• ユニークビジター：ユニークビジター (UV) の総数。

• ソース地域分布：各省からの訪問数と割合。

• クライアント別訪問数：各クライアントタイプからの訪問数と割合。

• ISP 別訪問数：各 ISP からの訪問数と割合。

• ダウンロード数別上位ユーザー：各ユーザー IP アドレスの総訪問数、エラー訪問数、総ダウンロード数。

• 有効訪問数別上位ユーザー：無効なリクエスト (4xx および 5xx ステータスコードを持つもの) を除く、各ユーザー IP アドレスの総訪問数、エラー訪問数、総ダウンロード数。

レポートテンプレートデータのサブスクライブ

サブスクリプション機能を使用すると、Simple Log Service がレポートテンプレートからデータを定期的に送信するように設定できます。

操作手順

1. たとえば、「CDN 基本データ」ページで、右上隅の [サブスクライブ] をクリックし、次に 作成 をクリックします。 CDN コンソールの左側のナビゲーションペインで、[ログ管理] を選択します。 「ログレポート」ページで、右上隅にある [サブスクライブ] ボタンをクリックします。

2. 表示されたペインで、サブスクリプション名、頻度、および グローバルタイム を設定し、次に 次へ をクリックします。

3. [通知リスト] ドロップダウンリストから通知方法を選択し、必要な情報を指定し、次に送信をクリックします。

   サポートされている通知方法には、メール、WebHook-DingTalk Bot、WebHook-Feishu Chat Bot、Webhook-WeCom Bot、WeChat があります。

カスタムレポート

• 例 1：過去 30 日間で HTTP 499 ステータスコードが最も多いドメイン名の上位を表示します。

  ログ分析クエリ： return_code = 499| select domain , count(*) as c group by domain order by c desc limit 10

• 例 2：過去 30 日間で HTTP 502 ステータスコードが最も多いドメイン名の上位を表示します。

  ログ分析クエリ： return_code = 502| select domain , count(*) as c group by domain order by c desc limit 10

• 例 3：過去 30 日間の URI /cpu のログデータを表示します。

  [生ログ] パネルで、URI フィールドをクリックし、次に [/cpu] をクリックしてログをフィルタリングします。

  フィルタリング後、検索バーに自動的にクエリ * and uri : "/cpu" が生成されます。左側の [クイック分析] パネルには、値 /cpu を持つ [uri] フィールドが結果の 53% を占めることが表示されます。