:Kafkaサーバーからモニタリングデータを収集する

ステップ1: Logtail設定の作成

1. Simple Log Serviceコンソール.

2. [ログアプリケーション] セクションで、[インテリジェントO&M] タブをクリックします。 次に、[フルスタックの表示] をクリックします。

3. [Simple Log Serviceのフルスタックの観察可能性] ページで、管理するインスタンスをクリックします。

4. データインポートページをクリックし、カフカのカードミドルウェアモニタリングセクションにアクセスします。

   ホストモニタリングデータのLogtail設定を初めて作成するときは、スイッチをオンにして設定ページに移動します。 Logtail設定を作成した場合は、アイコンをクリックして設定ページに移動します。

5. マシングループを作成します。

   • マシングループが利用可能な場合は、[既存のマシングループを使用] をクリックします。

   • 使用可能なマシングループがない場合は、次の手順を実行してマシングループを作成します。 この例では、Elastic Compute Service (ECS) インスタンスが使用されています。

     1. [ECSインスタンス] タブで、[手動でインスタンスを選択] を選択します。 次に、使用するECSインスタンスを選択し、[作成] をクリックします。

        詳細については、「ECSインスタンスへのLogtailのインストール」をご参照ください。

        重要

        お使いのサーバーが別のAlibaba Cloudアカウントに属するECSインスタンス、サードパーティのクラウドサービスプロバイダーが提供するサーバー、または自己管理データセンターにデプロイされているサーバーの場合、Logtail V0.16.48以降をLinuxサーバーに手動でインストールする必要があります。 詳細については、「LinuxサーバーへのLogtailのインストール」をご参照ください。 Logtailをインストールした後、サーバーでユーザー識別子を手動で設定する必要があります。 詳細については、「ユーザー識別子の設定」をご参照ください。

     2. Logtailをインストールしたら、[インストールの完了] をクリックします。

     3. [マシングループの作成] ステップで、[名前] パラメーターを設定し、[次へ] をクリックします。

        Simple Log Serviceでは、IPアドレスベースのマシングループとカスタム識別子ベースのマシングループを作成できます。 詳細については、「IPアドレスベースのマシングループの作成」および「カスタム識別子ベースのマシングループの作成」をご参照ください。

   重要

   Logtailをインストールするサーバーが、監視データを収集するKafkaサーバーに接続できることを確認します。

6. [応用サーバーグループ] セクションにマシングループが表示されていることを確認し、[次へ] をクリックします。

   重要

   マシングループを作成した直後にマシングループを適用すると、マシングループのハートビートステータスがFAILになる可能性があります。 この問題は、マシングループがSimple Log Serviceに接続されていないために発生します。 この問題を解決するには、[自動再試行] をクリックします。 問題が解決しない場合は、Logtailでハートビート接続が検出されない場合はどうすればよいですか?

7. [データソースの指定] ステップで、パラメーターを設定し、[完了] をクリックします。 下表にパラメーターを示します。

   パラメーター	説明
   設定名	Logtail設定の名前。 カスタム名を入力することができます。
   クラスター名	Kafkaクラスターの名前。 カスタム名を入力することができます。 このパラメーターを設定すると、Simple Log Serviceは、Logtail設定を使用して収集されたKafkaモニタリングデータにcluster=<Cluster name> タグを追加します。 重要 クラスター名が一意であることを確認してください。 そうしないと、データの競合が発生する可能性があります。
   サーバーリスト	Kafkaサーバーに関する情報。 情報には、次の設定項目が含まれます。 Address: Kafkaサーバーのアドレス。 サーバーのIPアドレス、ホスト名、またはドメイン名を入力できます。 Port: Kafkaサーバーのポート番号。 デフォルト値: 7777 ビジネス要件に基づいて、複数のKafkaサーバーに関する情報を追加できます。
   カスタムタグ	収集されたKafkaモニタリングデータに追加されるカスタムタグ。 タグはキーと値のペアです。 このパラメーターを設定すると、Simple Log Serviceは、Logtail設定を使用して収集されたKafkaモニタリングデータにカスタムタグを追加します。

   設定後、Simple Log Serviceは自動的にMetricstoreなどのアセットを作成します。 詳細については、「アセット」をご参照ください。

ステップ2: JavaAgentの設定

Logtail設定を作成した後、KafkaサーバーでJavaAgentを設定する必要があります。 Simple Log Serviceでは、Jolokiaを使用してJavaAgentを設定できます。 詳細については、「Jolokia」をご参照ください。 Jolokiaの公式ドキュメントに基づいて、Jolokiaをダウンロードして使用できます。 Simple Log ServiceでLogtailと共に提供されるJolokia JavaAgentを使用することもできます。 Jolokia JavaAgentは、/etc/logtail/telegraf/javaagent/jolokia-jvm.jarに格納されます。

1. KAFKA_JVM_PERFORMANCE_OPTSKafkaサーバーの環境変数。

   たとえば、export KAFKA_JVM_PERFORMANCE_OPTS=-javaagent:/etc/logtail/telegraf/javaagent/jolokia-jvm.jar=port=7777を指定できます。 7777は、サーバのポート番号を示します。 ポート番号が手順1: Logtail設定の作成で指定したポート番号と同じであることを確認します。

   説明

   デフォルトでは、Jolokia JavaAgentはIPアドレス127.0.0.1でのみリッスンし、ローカルホストからのリクエストのみを許可します。 LogtailとJavaアプリケーションが異なるサーバーにインストールされている場合は、追加したスクリプトにhost= フィールドを追加できます。 このようにして、Jolokia JavaAgentは他のIPアドレスをリッスンできます。 host=0.0.0.0を追加すると、Jolokia JavaAgentはすべてのIPアドレスをリッスンします。 例：

   -javaagent:/tmp/jolokia-jvm.jar=port=7777,host=0.0.0.0

2. Javaアプリケーションを再起動します。

   Javaアプリケーションの再起動に失敗した場合は、次のコマンドを実行して、Jolokia JavaAgentを指定されたJavaプロセスに接続します。 このように、構成はすぐに有効になります。 Java PIDを実際の値に置き換えます。

   重要

   この操作はテストにのみ使用されます。 実際のシナリオでは、上記の説明に基づいて設定を構成する必要があります。 それ以外の場合、アプリケーションの再起動後に設定が無効になります。

   java -jar /etc/ilogtail/telegraf/javaagent/jolokia-jvm.jar --port 7777 start Java PID

   次のコードに似た情報が返された場合、接続は成功です

   Jolokia is already attached to PID 752
   http://127.0.0.1:7777/jolokia/

3. 次のURLにアクセスして接続を確認します。

   curl http://127.0.0.1:7777/jolokia/

   次のような情報が返された場合、接続は正常です。

   {"request":{"type":"version"},"value":{"agent":"1.6.2","protocol":"7.2","config":{"listenForHttpService":"true","maxCollectionSize":"0","authIgnoreCerts":"false","agentId":"30.XX.XX.186-752-5b091b5d-jvm","debug":"false","agentType":"jvm","policyLocation":"classpath:\/jolokia-access.xml","agentContext":"\/jolokia","serializeException":"false","mimeType":"text\/plain","maxDepth":"15","authMode":"basic","authMatch":"any","discoveryEnabled":"true","streaming":"true","canonicalNaming":"true","historyMaxEntries":"10","allowErrorDetails":"true","allowDnsReverseLookup":"true","realm":"jolokia","includeStackTrace":"true","maxObjects":"0","useRestrictorService":"false","debugMaxEntries":"100"},"info":{"product":"tomcat","vendor":"Apache","version":"8.5.57"}},"timestamp":1602663330,"status":200}⏎