Elasticsearch：logstash-output-datahub外掛程式使用說明

前提條件

您已完成以下操作：

• 安裝logstash-output-datahub外掛程式。

  具體操作，請參見安裝或卸載外掛程式。

• 開通DataHub產品，並完成建立專案和建立Topic。

  具體操作，請參見快速入門。

• 準備輸入資料來源。

  輸入資料來源可以為input支援的所有輸入源外掛程式中的資料，本文以Elasticsearch為例，詳細資料請參見input外掛程式。

使用logstash-output-datahub外掛程式

參見通過設定檔管理管道，在建立管道任務時，按照以下說明配置Pipeline參數，儲存並部署後，即可觸發阿里雲Logstash向DataHub傳送資料。

Logstash的Pipeline配置如下，相關參數說明請參見參數說明。

input {
    elasticsearch {
      hosts => ["http://es-cn-mp91cbxsm000c****.elasticsearch.aliyuncs.com:9200"]
      user => "elastic"
      index => "test"
      password => "your_password"
      docinfo => true
  }
}
filter{
    
}
output {
    datahub {
        access_id => "Your accessId"
        access_key => "Your accessKey"
        endpoint => "Endpoint"
        project_name => "project"
        topic_name => "topic"
        #shard_id => "0"
        #shard_keys => ["thread_id"]
        dirty_data_continue => true
        dirty_data_file => "/ssd/1/<Logstash執行個體ID>/logstash/data/檔案名稱"
        dirty_data_file_max_size => 1000
    }
}

參數說明