Elasticsearch:logstash-output-datahub プラグインの使用

前提条件

• logstash-output-datahub プラグインがインストールされていること。

  詳細については、プラグインのインストールと削除をご参照ください。

• DataHub がアクティブ化され、プロジェクトが作成され、プロジェクトのトピックが作成されていること。

  詳細については、DataHub を使い始めるをご参照ください。

• データを読み取るデータソースが準備されていること。

  使用可能なデータソースは、Logstash でサポートされている入力プラグインによって決定されます。詳細については、入力プラグインをご参照ください。この例では、Alibaba Cloud Elasticsearch クラスタを使用します。

logstash-output-datahub の使用

構成ファイルを使用してパイプラインを管理するに記載されている手順に従って、パイプラインを作成します。パイプラインを作成する際は、「パラメータ」セクションの表に記載されている説明に基づいて、パイプラインパラメータを構成します。パラメータを構成した後、設定を保存してパイプラインをデプロイします。これにより、Logstash をトリガーしてデータソースからデータを読み取り、DataHub に転送できます。

次のコードは、パイプライン構成の例を示しています。パラメータの詳細については、パラメータをご参照ください。

input {
    elasticsearch {
      hosts => ["http://es-cn-mp91cbxsm000c****.elasticsearch.aliyuncs.com:9200"]
      user => "elastic"
      index => "test"
      password => "your_password"
      docinfo => true
  }
}
filter{
    
}
output {
    datahub {
        access_id => "Your accessId" // アクセスID
        access_key => "Your accessKey" // アクセスキー
        endpoint => "Endpoint" // エンドポイント
        project_name => "project" // プロジェクト名
        topic_name => "topic" // トピック名
        #shard_id => "0" // シャードID
        #shard_keys => ["thread_id"] // シャードキー
        dirty_data_continue => true // 不正なデータの処理を継続するかどうか
        dirty_data_file => "/ssd/1/<Logstash cluster ID>/logstash/data/File name" // 不正なデータファイルの名前
        dirty_data_file_max_size => 1000 // 不正なデータファイルの最大サイズ
    }
}

パラメータ