このトピックでは、Alibaba Cloud Logstashに関するよくある質問への回答を提供します。
セルフマネージドKafkaクラスタをLogstashパイプラインのソースまたはデスティネーションとして使用すると、エラーログが生成されます。どうすればよいですか？
Logstashを使用してSimple Log ServiceからElasticsearchにデータを同期するにはどうすればよいですか？
パイプラインを作成した後、プロセスが停止し、Logstashクラスタの更新の進捗状況が変わりません。どうすればよいですか？
Logstashを使用してElasticsearchクラスタ間でデータを同期するときに、2つのElasticsearchクラスタのマッピング構成を同じにするにはどうすればよいですか？
インターネット経由でLogstashにデータをインポートまたはエクスポートするにはどうすればよいですか？
Logstashクラスタは仮想プライベートクラウド（VPC）にデプロイされます。 Logstashクラスタをインターネットに接続するには、NATゲートウェイを構成する必要があります。 詳細については、「インターネット経由のデータ転送用にNATゲートウェイを構成する」をご参照ください。
セルフマネージドKafkaクラスタをLogstashパイプラインのソースまたはデスティネーションとして使用すると、エラーログが生成されます。どうすればよいですか？
エラーログ：
No entry found for connection
原因：Logstashノードは、Kafkaサービスのホスト名に対応するIPアドレスを解決できません。
解決策：
server.propertiesタブで次の構成を追加します。 たとえば、Kafkaサービスは、IPアドレスが 10.10.10.10 のサーバーのポート 9092 で実行されています。listeners=PLAINTEXT://10.10.10.10:9092 advertised.listeners=PLAINTEXT://10.10.10.10:9092重要上記の構成を追加する際には、
10.10.10.10:9092をKafkaクラスタのIPアドレスとポート番号に置き換える必要があります。ApsaraMQ for Kafka を使用することをお勧めします。 LogstashノードのIPアドレスがKafkaクラスタのホワイトリストに含まれていることを確認する必要があります。
エラーログ：could not be established. Broker may not be available
原因：Kafkaクラスタが存在しないか、接続できません。
解決策：Kafkaクラスタが想定どおりに実行されているかどうか、またはLogstashパイプラインの構成で
bootstrap_serversの設定が正しいかどうかを確認します。
Logstash JDBCドライバはMySQLデータベースをサポートしていますか？
はい、Logstash JDBCドライバはMySQLデータベースをサポートしています。 mysql-connector-javaドライバファイルがアップロードされていることを確認する必要があります。 詳細については、「サードパーティライブラリを構成する」をご参照ください。
Logstashノードを監視できますか？
はい。Logstashノードは監視できます。LogstashクラスタのX-Pack Monitoring機能を有効にし、クラスタをElasticsearchクラスタに関連付けることができます。その後、ElasticsearchクラスタのKibanaコンソールでLogstashクラスタ内のノードを監視できます。 詳細については、「X-Pack Monitoring機能を有効にする」をご参照ください。
スクリプトファイルをLogstashにアップロードできますか？
いいえ、スクリプトファイルをLogstashにアップロードすることはできません。Logstashクラスタの構成ファイルのみを使用して、パイプラインを管理し、データ転送を実装できます。 詳細については、「構成ファイルを使用してパイプラインを管理する」をご参照ください。
Logstashのデータ収集プロトコルとしてHTTPを指定できますか？
はい、Logstashのデータ収集プロトコルとしてHTTPを指定できます。Logstashは、HTTPまたはHTTPS経由で単一行または複数行のイベントを受信できます。 詳細については、「HTTP入力プラグイン」をご参照ください。
デフォルトでは、Alibaba Cloud Logstashはインターネットに接続できません。インターネット経由でHTTPリクエストを収集する場合は、NATゲートウェイを構成する必要があります。 詳細については、「インターネット経由のデータ転送用にNATゲートウェイを構成する」をご参照ください。
Logstashを使用してSimple Log ServiceからElasticsearchにデータを同期するにはどうすればよいですか？
logstash-input-slsプラグインを使用できます。 詳細については、「logstash-input-slsプラグインを使用する」をご参照ください。
Logstashを使用してリアルタイムでデータを同期できますか？
Logstashはニアリアルタイムのデータ同期ツールです。 関連するパイプラインを停止するか、ソースに同期する必要のあるデータがなくなるまで、Logstashはデスティネーションにデータを書き込み続けます。
Logstashを使用してデータを同期するときに、エラーメッセージ "[routing] is missing for join field [joinField]" が返された場合はどうすればよいですか？
子ドキュメントを含むデータをLogstashを使用してElasticsearchに同期する場合は、データのルーティング値を指定する必要があります。 これにより、親子ドキュメントが同じシャードに書き込まれることが保証されます。 デスティネーションインデックスのプライマリシャード数を 1 に設定し、パイプライン構成に routing =>"0" 設定を追加することをお勧めします。
パイプラインを作成した後、プロセスが停止し、Logstashクラスタの更新の進捗状況が変わりません。どうすればよいですか？
クラスタのエラーログが生成されているかどうかを確認し、エラーログが生成されている場合は、エラーに基づいて原因を特定します。 詳細については、「ログのクエリ」をご参照ください。 次の表に、一般的なエラーの原因とエラーの解決策を示します。
原因 | 解決策 |
パイプラインの構成が正しくありません。 | Logstashクラスターの更新を一時停止し、更新が一時停止するまで待ってから、パイプラインの構成を変更してクラスターの再起動をトリガーします。詳細については、「クラスタータスクの進捗状況の表示」をご参照ください。 |
Logstashクラスタのディスク使用率が過度に高くなっています。 | Logstashクラスターの構成をアップグレードします。詳細については、「クラスターの構成のアップグレード」をご参照ください。 その後、クラスターの詳細ページを更新し、更新の進捗状況を確認します。 |
パイプラインの出力はElasticsearchクラスタですが、Elasticsearchクラスタで自動インデックス作成機能が有効になっていません。 | Elasticsearch クラスターの自動インデックス機能を有効にします。詳細については、「YML ファイルの構成」をご参照ください。 その後、クラスターの詳細ページを更新し、更新の進捗状況を確認します。 |
パイプラインの入力構成でBeatsシッパーが指定されていますが、 8000 ～ 9000 の範囲外のポートが使用されています。 | Logstash クラスターの更新を一時停止し、更新が一時停止するまで待ってから、パイプラインの構成でポート番号を 8000 ～ 9000 の範囲の値に変更して、クラスターの再起動をトリガーします。 |
パイプラインの構成で、ソースまたはデスティネーションのパブリックIPアドレスが指定されています。 | 次のいずれかの解決策を使用します。
|
パイプラインの構成でfile_extendが指定されています。 ただし、logstash-output-file_extendプラグインがインストールされていません。 | 次のいずれかの解決策を使用します。
|
LogstashクラスタのプライベートIPアドレスをpingできますか？
デフォルトでは、LogstashクラスタのプライベートIPアドレスをpingすることはできません。 telnetコマンドを実行して、LogstashクラスタのプライベートIPアドレスへのネットワーク接続をテストできます。
Logstashを使用してElasticsearchクラスタ間でデータを同期するときに、2 つの Elasticsearch クラスタのマッピング構成を同じにするにはどうすればよいですか？
データセキュリティを確保するため、Alibaba Cloud Elasticsearchはデフォルトで [自動インデックス作成] 機能を無効にしています。 Alibaba Cloud Logstashを使用してAlibaba Cloud Elasticsearchクラスタにデータを転送する場合、Alibaba Cloud Logstashは インデックス作成 API を呼び出す代わりに、データを送信することでElasticsearchクラスタにインデックスを作成します。 そのため、Alibaba Cloud Logstashを使用してデータを転送する前に、デスティネーションElasticsearchクラスタの [自動インデックス作成] 機能を有効にするか、デスティネーションElasticsearchクラスタにインデックスを作成し、インデックスのマッピングを構成する必要があります。
Alibaba Cloud Logstashはrubydebugモードをサポートしていますか？
いいえ、Alibaba Cloud Logstashはrubydebugモードをサポートしていません。 Alibaba Cloud Logstashは、デバッグログを出力するための logstash-output-file_extend プラグインを提供しています。 Alibaba Cloud Logstashはstdoutモードを推奨しておらず、関連APIも提供していません。