Simple Log Service:Beats と Logstash からのデータ収集

手順

1. Log Serviceコンソールにログインします。

2. ページの右側にある [データのインポート] をクリックし、[カスタムデータプラグイン] を選択します。

3. プロジェクトとLogstoreを選択します。 そして、[次へ] をクリックします。

4. マシングループの設定ステップで、マシングループを設定します。

   1. ビジネス要件に基づいて、シナリオとインストール環境のパラメーターを設定します。

      重要

      マシングループが使用可能かどうかに関係なく、シナリオパラメーターとインストール環境パラメーターを設定する必要があります。 パラメーター設定は、以降の設定に影響します。

   2. [応用サーバーグループ] セクションにマシングループが表示されていることを確認し、[次へ] をクリックします。

      マシングループ利用可能

      [ソースマシングループ] セクションからマシングループを選択します。

      

      マシングループがありません

      [マシングループの作成] をクリックします。 マシングループの作成パネルで、パラメーターを設定します。 マシングループ識別子パラメーターをIPアドレスまたはカスタム識別子に設定できます。 詳細については、「カスタム識別子ベースのマシングループの作成」または「IPアドレスベースのマシングループの作成」をご参照ください。

      重要

      マシングループを作成した直後にマシングループを適用すると、マシングループのハートビートステータスがFAILになる可能性があります。 この問題は、マシングループがSimple Log Serviceに接続されていないために発生します。 この問題を解決するには、[再試行] をクリックします。 問題が解決しない場合は、Logtailでハートビート接続が検出されない場合はどうすればよいですか?

5. [データソース設定] タブで、[設定名] と [プラグイン設定] を設定し、[次へ] をクリックします。

   • 入力は必須であり、Logtail構成のデータソース設定を構成するために使用されます。

     重要

     inputsに指定できるデータソースの種類は1つだけです。

   • processorsはオプションで、データを解析するLogtail設定のデータ処理設定を設定するために使用されます。 1つ以上の処理方法を指定できます。

     入力の設定のみに基づいてログを解析できない場合は、[プラグイン設定] フィールドでプロセッサを設定して、データ処理用のプラグインを追加できます。 たとえば、フィールドの抽出、ログ時間の抽出、データのマスク、ログのフィルタリングができます。 詳細については、「Logtailプラグインを使用したデータ処理」をご参照ください。

   Beats と Logstash は JSON 形式でデータを出力します。processor_anchor プラグインを使用して JSON データを解析します。

   {
     "inputs": [
       {
         "detail": {
           "BindAddress": "0.0.0.0:5044"
         },
         "type": "service_lumberjack"
       }
     ],
     "processors": [
       {
         "detail": {
           "Anchors": [
             {
               "ExpandJson": true,
               "FieldType": "json",
               "Start": "",
               "Stop": ""
             }
           ],
           "SourceKey": "content"
         },
         "type": "processor_anchor"
       }
     ]
   }
                           

   パラメーター	タイプ	必須	説明
   タイプ	string	はい	データソースタイプ。service_lumberjack に設定します。
   BindAddress	string	いいえ	Lumberjack プロトコルのリッスンアドレス。 デフォルト: 127.0.0.1:5044。 他の LAN ホストからのアクセスを許可するには、0.0.0.0:5044 に設定します。
   V1	boolean	いいえ	Lumberjack V1 プロトコルを使用するかどうか。デフォルト: false。Logstash は Lumberjack V1 を使用します。
   V2	boolean	いいえ	Lumberjack V2 プロトコルを使用するかどうか。 デフォルト: true。 Beats は Lumberjack V2 を使用します。
   SSLCA	string	いいえ	CA 発行の署名証明書のパス。デフォルト： 空。自己署名証明書には不要です。
   SSL 証明書	string	いいえ	SSL 証明書のパス。デフォルト： 空。
   SSLキー	string	いいえ	証明書の秘密鍵のパス。デフォルト： 空。
   InsecureSkipVerify	boolean	いいえ	SSL 検証をスキップするかどうか。 デフォルト: false (SSL 検証が実行されます)。

6. インデックスの作成とプレビュー 次に、[次へ] をクリックします。 デフォルトでは、Simple Log Serviceでフルテキストインデックスが有効になっています。 収集したログのフィールドインデックスを手動で作成するか、[自動インデックス生成] をクリックすることもできます。 その後、Simple Log Serviceはフィールドインデックスを生成します。 詳細については、「インデックスの作成」をご参照ください。

   重要

   ログのすべてのフィールドをクエリする場合は、フルテキストインデックスを使用することを推奨します。 特定のフィールドのみをクエリする場合は、フィールドインデックスを使用することを推奨します。 これは、インデックストラフィックを減らすのに役立ちます。 フィールドを分析する場合は、フィールドインデックスを作成する必要があります。 分析のために、クエリ文にSELECT文を含める必要があります。

7. [ログクエリ] をクリックします。 Logstoreのクエリと分析ページにリダイレクトされます。

   インデックスが有効になるまで約1分待つ必要があります。 次に、収集したログを [生ログ] タブで表示できます。 詳細については、「ログの照会と分析」をご参照ください。

トラブルシューティング

Logtailを使用してログを収集した後、プレビューページまたはクエリページにデータが表示されない場合は、Logtailを使用してログを収集するときにエラーが発生した場合はどうすればよいですか?