CDN:CDN リアルタイムログ分析のベストプラクティス

概要

リアルタイムログ機能は、Alibaba Cloud CDN と Simple Log Service (SLS) が連携し、低レイテンシーのログ処理を提供します。この機能は、Alibaba Cloud CDN の POP (Point of Presence) から Simple Log Service へ、3 分以内のレイテンシーでユーザーアクセスログを転送します。その後、SLS を使用してユーザーアクセスデータを保存し、分析できます。Alibaba Cloud CDN を使用してウェブサイトを高速化すると、画像や動画などのリソースのアクセスログが記録されます。これらのログを分析することで、ユーザーベースを理解したり、アクセス品質を監視したり、問題を迅速に特定して解決したりすることができます。

前提条件

• Alibaba Cloud CDN を有効化し、高速化ドメイン名を追加済みであること。詳細については、「Alibaba Cloud CDN の有効化」をご参照ください。

• SLS を有効化済みであること。詳細については、「Simple Log Service の概要」をご参照ください。

• ユーザーアクセスデータを分析したい高速化ドメイン名に、リアルタイムログ配信が設定済みであること。詳細については、「リアルタイムログ配信の設定」をご参照ください。

リアルタイムログとオフラインログの違い

• ログのレイテンシー

  リアルタイムログのレイテンシーは 3 分以内です。一方、オフラインログのデータレイテンシーは通常最大 24 時間です。

• ログ分析

  リアルタイムログ機能は、SLS のログ保存機能と分析機能を統合しています。「基本データ」、「アクセスエラー」、「頻繁にリクエストされるリソース」、「ユーザー構成」の 4 つのプリセット分析レポートを提供します。この機能はカスタムログ分析もサポートしており、ログの保存と分析のためのワンストップソリューションを提供します。これに対し、オフラインログは Object Storage Service (OSS) へのログシッピングのみをサポートし、組み込みの分析機能はありません。

利点

• 低レイテンシー

  ログデータは 3 分以内に利用できるようになり、アクセスログを迅速に分析し、問題を特定して迅速に対応することができます。

• ワンストップサービス

  オフラインログ分析は複数のステップが必要です。ログをダウンロードし、データウェアハウスにアップロードし、その後データをクレンジングしてモデリングしてから分析する必要があります。このプロセスは時間がかかり、手間もかかります。リアルタイムログ機能は、SLS の保存機能と分析機能を統合し、このワークフローを効率化します。

ユースケース

リアルタイムログを使用して、高速化ドメイン名の問題をトラブルシューティングし、ユーザーのアクセスパターンを理解することができます。Alibaba Cloud CDN のリアルタイムログ機能は、プリセットレポートを提供し、さまざまな要件を満たすためのカスタム分析をサポートします。

プリセットログ分析レポート

リアルタイムログページで、分析したい Project を見つけ、レポートの表示 をクリックしてレポートテンプレートページを開きます。

デフォルトでは、レポートテンプレートページにはすべてのドメイン名のデータが表示されます。特定のドメイン名または URI のデータを照会することもできます。

詳細については、以下のトピックをご参照ください。

• プリセットレポート：CDN 基本データ

• プリセットレポート：CDN アクセスエラー

• プリセットレポート：CDN 頻繁にリクエストされるリソース

• プリセットレポート：CDN ユーザー構成

• レポートテンプレートデータのサブスクライブ

カスタムログ分析

プリセットレポートがニーズを満たさない場合は、SLS の強力な分析機能を使用してカスタム分析を実行できます。

たとえば、HTTP ステータスコード 499 または 502 を返したリクエスト数でドメイン名をランク付けできます。

リアルタイムログページで、分析したい Project を見つけ、ログ分析 をクリックしてカスタム分析ページに移動します。

カスタム分析ページでは、検索ボックスにクエリを入力して複雑なクエリを実行できます。単純なフィルタリングの場合は、[生ログ] パネルでログフィールドをクリックできます。

検索バーの右側で、タイムピッカーを使用して、たとえば [15 分 (相対)] のように時間範囲を指定できます。その後、[クエリ/分析] をクリックしてクエリを実行します。左側の [クイック分析] パネルには、client_ip、content_type、domain、hit_info、method などのフィルタリング可能なログフィールドが一覧表示されます。

詳細については、「カスタムレポート」をご参照ください。

リアルタイムログ配信 Project の作成

aliyun.example.com などの特定の高速化ドメイン名のリアルタイムログを保存するために、SLS Project を作成できます。詳細については、「リアルタイムログ配信の設定」をご参照ください。

Project が作成されると、Project 名は project-example、Logstore 名は project-example、ログストレージリージョンは中国 (杭州) (cn-hangzhou) になります。

プリセットレポート：CDN 基本データ

このレポートは、キャッシュヒット率、アクセスレイテンシー、ダウンロード速度など、Alibaba Cloud CDN の全体的なサービス品質とエンドユーザーのアクセス効率を理解するのに役立ちます。これにより、サービス品質の問題に迅速に対応できます。

このレポートは、以下のデータを提供します。これらのデータは、集計して表示したり、ドメイン名やURIでフィルタリングしたりできます。

• 正常性：正常な HTTP ステータスコードを返したリクエストの割合。

• キャッシュヒット率：リソースの平均キャッシュヒット率 (バイト単位)。

• ダウンロード速度：リソースの平均ダウンロード速度。

• アクセスステータス：各 HTTP ステータスコードの割合。異常なステータスコードの割合を迅速に確認するのに役立ちます。

• アクセスレイテンシー分布：各レイテンシー範囲のリクエストの割合。

• リクエスト帯域幅：1 分粒度の帯域幅の値。

• ページビュー/ユニークビジター：ページビュー (PV) とユニークビジター (UV) の総数。

• リクエストヒット率：リクエスト数で計算されたキャッシュヒット率。

• アクセスレイテンシー：リソースをダウンロードするための平均レイテンシー。

プリセットレポート：CDN アクセスエラー

このレポートは、特定の URI の問題、オリジンサーバーの障害、利用不可能な POP、または特定のリージョンや特定の ISP でのネットワーク問題など、アクセスエラーの原因を迅速に特定するのに役立ちます。

このレポートは、以下のデータを提供します。これらのデータは、集計して表示したり、ドメイン名やURIでフィルタリングしたりできます。

• エラー別トップ 10 ドメイン名：アクセスエラーの割合でランク付けされたトップドメイン名。

• エラー別トップ 10 URI：アクセスエラーの割合でランク付けされたトップ URI。

• リクエストエラー率：4xx および 5xx の HTTP ステータスコードを持つリクエストの割合（時系列）。

• エラーリクエストの分布：各 HTTP ステータスコードの数と割合。

• ISP 別のエラー：ISP ごとにグループ化された、4xx および 5xx の HTTP ステータスコードを持つリクエストの数。

• 省別のエラー：省ごとにグループ化された、4xx および 5xx の HTTP ステータスコードを持つリクエストの数。

• エラー詳細 (4xx)：省と ISP ごとにグループ化された、4xx の HTTP ステータスコードを持つリクエストの数と割合。

• エラー詳細 (5xx)：省と ISP ごとにグループ化された、5xx の HTTP ステータスコードを持つリクエストの数と割合。

• クライアント別のエラー分布：クライアントの User-Agent ごとにグループ化された、4xx および 5xx の HTTP ステータスコードを持つリクエストの数と割合。

プリセットレポート：CDN 頻繁にリクエストされるリソース

このレポートは、トップのドメイン名、URI、省、ISP を特定することで、人気のあるリソースに関するインサイトを提供します。このデータは、マーケティングキャンペーンの効果を評価し、ピーク時のトラフィックが期待どおりであるかを確認し、運用戦略を調整するのに役立ちます。

このレポートは、以下のデータを提供します。これらのデータは、集計して表示したり、ドメイン名やURIでフィルタリングしたりできます。

• 訪問数別トップドメイン名：総訪問数の割合でランク付けされたトップドメイン名。

• ダウンロードトラフィック別トップドメイン名：総ダウンロードトラフィックの割合でランク付けされたトップドメイン名。

• 頻繁にリクエストされる URI：各 URI の訪問数、ユニークビジター、および総ダウンロード数。

• 人気のアクセスソース：トップの Referer ソースドメイン名と、その訪問数、ユニークビジター、および割合。

• 中国本土全体の訪問数：省ごとにグループ化された平均訪問数。

• 全国のダウンロード速度：各省の平均ダウンロード速度。

• 省別統計：各省の総訪問数、総ダウンロードトラフィック、および平均ダウンロード速度。

• ISP 別のトラフィックと速度：各 ISP の総ダウンロードトラフィックと平均ダウンロード速度。

• ISP 別統計：各 ISP の総訪問数、総ダウンロードトラフィック、および平均ダウンロード速度。

プリセットレポート：CDN ユーザー構成

このレポートは、クライアントの種類、省、ISP など、ウェブサイトのユーザーベースの構成を理解するのに役立ちます。このレポートは、訪問回数やダウンロードされたデータ量によるトップユーザーを特定することもできます。

このレポートは、以下のデータを提供します。これらのデータは、集計して表示したり、ドメイン名やURIでフィルタリングしたりできます。

• ページビュー：ページビュー (PV) の総数。

• ユニークビジター：ユニークビジター (UV) の総数。

• ソースリージョン分布：各省からの訪問数と割合。

• クライアント別訪問数：各クライアントタイプからの訪問数と割合。

• ISP 別訪問数：各 ISP からの訪問数と割合。

• ダウンロード別トップユーザー：各ユーザー IP アドレスの総訪問数、エラー訪問数、および総ダウンロード数。

• 有効な訪問数別トップユーザー：無効なリクエスト (ステータスコードが 4xx および 5xx のもの) を除いた、各ユーザー IP アドレスの総訪問数、エラー訪問数、および総ダウンロード数。

レポートテンプレートデータのサブスクライブ

購読機能を使用すると、SLS が定期的にレポートテンプレートからデータを送信するように設定できます。

操作手順

1. たとえば、[CDN 基本データ] ページで、右上隅の [サブスクライブ] をクリックし、作成 をクリックします。CDN コンソールの左側メニューで、[ログ管理] を選択します。[ログレポート] ページで、右上隅の [サブスクライブ] ボタンをクリックします。

2. 表示されるペインで、[サブスクリプション名]、[頻度]、[グローバル時間] を設定し、次へ をクリックします。

3. [通知リスト] ドロップダウンリストから通知方法を選択し、必要な情報を指定して、送信 をクリックします。

   サポートされている通知方法には、メール、WebHook-DingTalk ボット、WebHook-Feishu チャットボット、Webhook-WeCom ボット、および WeChat が含まれます。

カスタムレポート

• 例 1： 過去 30 日間で HTTP 499 ステータスコードが最も多かったトップドメイン名を表示します。

  ログ分析クエリ：return_code = 499| select domain , count(*) as c group by domain order by c desc limit 10

• 例 2： 過去 30 日間で HTTP 502 ステータスコードが最も多かったトップドメイン名を表示します。

  ログ分析クエリ：return_code = 502| select domain , count(*) as c group by domain order by c desc limit 10

• 例 3： 過去 30 日間の URI /cpu のログデータを表示します。

  [生ログ] パネルで、URI フィールドをクリックし、[/cpu] をクリックしてログをフィルタリングします。

  フィルタリング後、検索バーは自動的にクエリ * and uri : "/cpu" を生成します。左側の [クイック分析] パネルには、値が /cpu の uri フィールドが結果の 53% を占めていることが表示されます。