步骤二：创建并运行管道任务

操作步骤

1. 登录阿里云Elasticsearch控制台。
2. 在左侧导航栏，单击Logstash实例。
3. 在顶部菜单栏处，选择地域，然后在实例列表中单击目标实例ID。
4. 在左侧导航栏，单击管道管理。
5. 在管道列表区域，单击创建管道。
   
6. 在Config配置中，输入管道ID并配置管道。
   本案例使用的配置如下。

   input {
       elasticsearch {
       hosts => ["http://es-cn-0pp1f1y5g000h****.elasticsearch.aliyuncs.com:9200"]
       user => "elastic"
       password => "your_password"
       index => "*"
       docinfo => true
     }
   }
   filter {
   }
   output {
     elasticsearch {
       hosts => ["http://es-cn-mp91cbxsm000c****.elasticsearch.aliyuncs.com:9200"]
       user => "elastic"
       password => "your_password"
       index => "%{[@metadata][_index]}"
       document_type => "%{[@metadata][_type]}"
       document_id => "%{[@metadata][_id]}"
     }
     file_extend {
        path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
      }
   }

   参数	说明
   hosts	阿里云Elasticsearch服务的访问地址。input中为http://<源实例ID>.elasticsearch.aliyuncs.com:9200；output中为http://<目标实例ID>.elasticsearch.aliyuncs.com:9200。
   user	访问阿里云Elasticsearch服务的用户名，默认为elastic。
   password	对应用户的密码。elastic用户的密码在创建实例时设定，如果忘记可进行重置，重置密码的注意事项和操作步骤请参见重置实例访问密码。
   index	指定同步索引名。设置为%{[@metadata][_index]}，表示匹配元数据中的index，即同步后索引的名称和源索引名称相同。
   docinfo	设置为true，将会提取Elasticsearch文档的元信息，例如index、type和id。
   document_type	指定同步后索引的类型。设置为%{[@metadata][_type]}，表示匹配元数据中的type，即同步后索引的类型和源索引类型相同。
   document_id	指定同步后文档的ID。设置为%{[@metadata][_id]}，表示匹配元数据中的id，即同步后文档的ID和源文档ID相同。
   file_extend	开启调试日志功能，并通过path参数配置调试日志的输出路径（使用前需要先安装logstash-output-file_extend插件）。详细信息，请参见使用Logstash管道配置调试功能。 注意 path参数默认为系统指定路径，请勿修改。您也可以单击开启配置调试获取path路径。

   更多Config配置信息，请参见Logstash配置文件说明。

7. 单击下一步，配置管道参数。
   

   表 1. 管道配置参数说明

   参数	说明
   管道工作线程	并行执行管道的Filter和Output的工作线程数量。当事件出现积压或CPU未饱和时，请考虑增大线程数，更好地使用CPU处理能力。默认值：实例的CPU核数。
   管道批大小	单个工作线程在尝试执行Filter和Output前，可以从Input收集的最大事件数目。较大的管道批大小可能会带来较大的内存开销。您可以设置LS_HEAP_SIZE变量，来增大JVM堆大小，从而有效使用该值。默认值：125。
   管道批延迟	创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。
   队列类型	用于事件缓冲的内部排队模型。可选值： MEMORY：默认值。基于内存的传统队列。 PERSISTED：基于磁盘的ACKed队列（持久队列）。
   队列最大字节数	请确保该值小于您的磁盘总容量。默认值：1024MB。
   队列检查点写入数	启用持久性队列时，在强制执行检查点之前已写入事件的最大数目。设置为0，表示无限制。默认值：1024。

   警告 配置完成后，需要保存并部署才能生效。保存并部署操作会触发实例重启，请在不影响业务的前提下，继续执行以下步骤。
8. 单击保存或者保存并部署。
   • 保存：将管道信息保存在Logstash里并触发实例变更，配置不会生效。保存后，系统会返回管道管理页面。可在管道列表区域，单击操作列下的立即部署，触发实例重启，使配置生效。
   • 保存并部署：保存并且部署后，会触发实例重启，使配置生效。
9. 在创建成功提示框中，单击确认。
   确认后，可在管道列表中查看创建成功的管道。等待实例变更完成后，并且管道的状态显示为运行中时，表示阿里云Logstash开始执行同步任务。