Elasticsearch:Alibaba Cloud Elasticsearch のデータインジェストソリューション

収集メソッドの選択

要件を満たす最もシンプルなオプションから始めます。

要件が明確でない場合は、Beats から始めてください。セットアップのオーバーヘッドが最も低く、ほとんどのログとメトリックの収集シナリオで機能します。Beats モジュールが変換やルーティングの要件を満たせない場合にのみ、Logstash に移行してください。

Elastic Beats

Beats は、軽量なデータシッパーのコレクションです。各シッパーは特定のデータの型を対象とし、最小限のリソースオーバーヘッドで実行されます。これにより、Beats はエッジデバイス、IoT センサー、ファイアウォール、およびより重いエージェントが実用的でないホストにとって、デフォルトの選択肢となります。

Beats は、十分なリソースを持つサーバーでも動作します。収集のニーズが単純な場合、Beats は Logstash よりも設定が迅速です。事前構築済みのモジュールが、一般的なソフトウェアスタックの解析、インデックス作成、ダッシュボードのセットアップを処理します。基本的なデプロイメントは、通常 5 分未満で実行できます。

Logstash

Logstash は、ほぼすべてのソースからデータを読み取り、変換し、ルーティングします。外部データソースのクエリ、条件付きロジックの適用、イベントの複数のアウトプットへの同時ルーティングなど、Beats 単独では実行できない複雑なエンリッチメントタスクを処理します。

Logstash は Beats よりも多くの CPU とメモリを必要とします。低リソースのデバイスでは使用しないでください。Beats モジュールが提供する機能を超える変換要件がある場合に Logstash を使用してください。

Alibaba Cloud Logstash はフルマネージドサービスです。Logstash インフラストラクチャをプロビジョニングまたは維持する必要はありません。すべてのオープンソース Logstash 機能と互換性があり、複数のソースから同時にデータを収集できます。

input {
  rss {
    url      => "https://www.elastic.co/blog/feed"
    interval => 120
  }
}

filter {
  mutate {
    rename => [ "message", "blog_html" ]
    copy   => { "blog_html"  => "blog_text" }
    copy   => { "published"  => "@timestamp" }
  }
  mutate {
    gsub => [
      "blog_text", "<.*?>",  "",
      "blog_text", "[\n\t]", " "
    ]
    remove_field => [ "published", "author" ]
  }
}

output {
  stdout {
    codec => dots
  }
  elasticsearch {
    hosts    => [ "https://<your-elasticsearch-internal-endpoint>:9200" ]
    index    => "elastic_blog"
    user     => "elastic"
    password => "<your-elasticsearch-password>"
  }
}

POST elastic_blog/_search

Elasticsearch クライアント

Elasticsearch クライアントは、RESTful API の低レベルな HTTP の詳細を抽象化する、言語固有のライブラリです。アプリケーションがプログラムでデータをインデックス作成またはクエリする必要がある場合に使用します。また、RESTful API を使用して Elasticsearch クラスターとインデックスを管理することもできます。

公式にサポートされている言語には、Java、JavaScript、Go、.NET、PHP、Perl、Python、Ruby があります。完全なドキュメントとコードサンプルについては、「Elasticsearch クライアント」をご参照ください。

ご利用の言語が上記のリストにない場合は、「コミュニティ提供のクライアント」をご確認ください。

Kibana コンソール

Kibana コンソールは、Elasticsearch RESTful API へのブラウザベースのインターフェイスを提供します。基盤となる HTTP リクエストの技術的な詳細を抽象化します。開発、デバッグ、および 1 回限りのインデックス作成タスクに使用します。

次の例では、単一の JSON ドキュメントをインデックスに追加します。

PUT my_first_index/_doc/1
{
    "title"       : "How to Ingest Into Elasticsearch Service",
    "date"        : "2019-08-15T14:12:12",
    "description" : "This is an overview article about the various ways to ingest into Elasticsearch Service"
}

スクリプト化または自動化されたワークフローの場合、cURL は、同じ RESTful API を介して Elasticsearch と通信し、カスタマイズされたスクリプトを統合するために使用できるコマンドラインの代替手段です。

まとめ

データソースと運用上の制約に一致するメソッドを選択してください。

• Beats — 便利で軽量、すぐに使えます。事前構築済みのモジュールは、一般的なデータベース、オペレーティングシステム、コンテナ、Web サーバー、キャッシュをカバーしています。ダッシュボードは 5 分未満で実行できます。リソースが限られている組み込みデバイス、IoT センサー、またはファイアウォールに最適です。

• Logstash — Beats がエンリッチメント、フィルタリング、またはルーティングの要件を満たせない場合に使用します。Alibaba Cloud Logstash はフルマネージドであり、インフラストラクチャを運用する必要はありません。

• Elasticsearch クライアント — アプリケーションがプログラムで送信する必要のあるデータを収集または生成する場合に推奨されます。

• Kibana コンソール — Elasticsearch リクエストを対話的に開発、テスト、またはデバッグする場合に推奨されます。

次のステップ

• セルフマネージド Metricbeat を使用してシステムメトリックを収集する

• Kibana コンソールにログインする

• Elasticsearch Service へのデータインジェスト方法

• Logstash と Elasticsearch インジェストノードのどちらを使用すべきか？

• Beats システムモジュールを使用してシステムログとメトリックを Elasticsearch に取り込む