Simple Log Service:データ収集の概要

データ収集方法

Simple Log Service のログまたはデータに対して操作を実行する前に、ログまたはデータを Simple Log Service に転送して保存する必要があります。シナリオに基づいて適切なデータ収集方法を選択する必要があります。Simple Log Service にデータを収集した後、Simple Log Service の他の機能を使用してデータに対して操作を実行できます。

データ収集方法には、Logtail ベースのデータ収集、LoongCollector ベースのデータ収集、SDK または API ベースのデータ収集、Alibaba Cloud サービスベースのログ収集、データインポート、およびその他の収集方法があります。

• Logtail ベースのデータ収集: Logtail は、Simple Log Service によって提供されるログ収集エージェントです。 Logtail を使用すると、Alibaba Cloud Elastic Compute Service (ECS) インスタンス、データセンター内のサーバー、サードパーティ クラウド サービス プロバイダー (CSP) のサーバーなど、複数のデータソースからログを収集できます。 Logtail は、ログファイルに基づく非侵入型ログ収集をサポートしています。 アプリケーションコードを変更する必要はなく、ログ収集はアプリケーションの動作に影響しません。

• LoongCollector ベースのデータ収集: LoongCollector は、Simple Log Service によって提供される新世代のログ収集エージェントです。 LoongCollector は、Logtail のアップグレードバージョンです。 LoongCollector は、Managed Service for Prometheus ベースのデータ収集や Extended Berkeley Packet Filter (eBPF) テクノロジーベースの非侵入型データ収集など、Application Real-Time Monitoring Service (ARMS) の特定の収集エージェントの機能を統合することが期待されています。

• SDK または API ベースのデータ収集: Simple Log Service では、SDK または API 操作を呼び出してデータを収集できます。 ビジネス要件に基づいて、関連コードでカスタム設定を作成できます。 他のデータ収集方法と比較して、この方法は高度な柔軟性を提供します。

• Alibaba Cloud サービスベースのログ収集: Simple Log Service は、エラスティックコンピューティング、ストレージ、セキュリティ、データベース サービスなど、複数のタイプの Alibaba Cloud サービスからログを収集できます。 ログには、ユーザー操作、実行ステータス、Alibaba Cloud サービスのビジネスダイナミクスなど、運用統計が記録されます。 Simple Log Service 以外の Alibaba Cloud サービスからログを収集する場合は、Alibaba Cloud サービスに基づいてデータ収集方法を選択できます。

• データインポート: Simple Log Service では、他のアプリケーションからのデータや履歴ファイルなど、既存のデータをインポートできます。

• その他の収集方法: Simple Log Service では、特定のプロトコルを使用してサードパーティの収集ツールを使用して Simple Log Service にログを収集できます。

次の図は、Simple Log Service のデータ収集の概要を示しています。

Logtail 構成ジェネレーター

Logtail を使用する場合、または API 操作を呼び出してログを収集する場合は、Simple Log Service によって提供される Logtail 構成ジェネレーターを使用できます。 詳細については、「Logtail 構成ジェネレーター」をご参照ください。 Logtail 構成ジェネレーターは、AliyunPipelineConfig カスタムリソース定義 (CRD) と CreateLogtailPipelineConfig 操作のパラメータースクリプトを自動的に生成します。 詳細については、「[推奨] AliyunPipelineConfig を使用して Logtail 構成を管理する」および「CreateLogtailPipelineConfig」をご参照ください。 この方法では、AliyunPipelineConfig CRD を使用するか、CreateLogtailPipelineConfig 操作を呼び出して Logtail 構成を作成できます。

ベストプラクティスシナリオ

次のセクションでは、実際のシナリオでのデータ収集チュートリアルを提供します。

1. ある企業が、リージョン A にある ECS インスタンスに Web サイト アプリケーションをデプロイし、リージョン B に Simple Log Service プロジェクトをデプロイしています。この企業は、Logtail 構成を使用して、ECS インスタンスから Simple Log Service プロジェクトにログを収集したいと考えています。 このシナリオには、リージョン間のログ収集が含まれます。 詳細については、「Logtail を使用してリージョン間でログを収集する」をご参照ください。

2. 増加する IoT (Internet of Things) デバイスは、スマートルーター、TV スティック、Tmall Genie、掃除ロボットなど、私たちの生活を向上させてきました。 ただし、従来のソフトウェア業界の組み込み開発モデルは、IoT デバイス業界に適用される場合、複数の課題に直面します。 たとえば、多数の IoT デバイスが広く分散しており、デバッグが難しく、ハードウェア機能が制限されています。 IoT デバイスログの処理方法の詳細については、「IoT または組み込み開発ログを収集する」をご参照ください。

3. ユーザーの行動データを収集したい場合があります。 データは、次の動作に関連している可能性があります。 プロモーション Web ページを閲覧しているユーザー数をチェックします。 受信者にリーフレットを送信した後、受信者がリーフレットを読んだかどうかを確認します。 モバイルアプリのプロモーションイベントページのページビュー (PV) を分析します。 前述のユーザー行動データを効率的に収集し、パーソナライズされた収集と統計要件を満たすために、Web トラッキング機能を使用できます。 詳細については、「Web トラッキングを使用してログを収集する」をご参照ください。

詳細については、「ベストプラクティス」をご参照ください。

よくある質問

• Express Connect を Simple Log Service と一緒に使用する場合は、どのネットワークタイプを選択する必要がありますか?

  内部ネットワークタイプを選択することをお勧めします。

• ネットワークタイプとエンドポイントを選択するにはどうすればよいですか?

  特定のネットワークタイプを選択できるシナリオの詳細については、「Logtail ネットワークタイプ、起動パラメーター、および構成ファイル」をご参照ください。 エンドポイントの詳細については、「エンドポイント」をご参照ください。 転送アクセラレーション機能を有効にする方法の詳細については、「転送アクセラレーション機能を使用する」をご参照ください。

• インターネットからデータを収集するときにパブリック IP アドレスを取得できますか?

  はい、ログストアのパブリック IP を有効にして、パブリック IP アドレスを取得できます。 詳細については、「ログストアを作成する」をご参照ください。

• リージョン A からリージョン B の Simple Log Service プロジェクトに ECS ログを収集する場合、どのネットワークタイプを選択する必要がありますか?

  インターネットタイプを選択し、リージョン A の ECS インスタンスに Logtail をインストールするために使用するコマンドでリージョン B のリージョン名を指定することをお勧めします。 これにより、Logtail はインターネット経由でリージョン B のプロジェクトにアクセスできます。 他のシナリオでネットワークタイプを選択する方法の詳細については、「Logtail ネットワークタイプ、起動パラメーター、および構成ファイル」をご参照ください。

• エンドポイントにアクセスできるかどうかを確認するにはどうすればよいですか?

  次のコマンドを実行できます。 出力が返された場合、エンドポイントにアクセスできます。 $myproject はプロジェクト名を指定します。 cn-hangzhou.log.aliyuncs.com はエンドポイントを指定します。

   curl $myproject.cn-hangzhou.log.aliyuncs.com 

• 詳細については、「データ収集に関するよくある質問」をご参照ください。