Elasticsearch:Uso do plug-in logstash-output-oss

Pré-requisitos

Antes de começar, verifique se você:

• Instalou o plug-in logstash-output-oss. Para mais informações, consulte Instalar e remover um plug-in.

• Ativou o OSS. Para mais informações, consulte Ativar o OSS.

• Criou um bucket do OSS com permissão de leitura e escrita e obteve o AccessKey ID e o AccessKey secret de uma conta com permissões de gravação nesse bucket. Para mais informações, consulte Criar buckets.

• Preparou as fontes de dados. O plug-in é compatível com todos os plug-ins de entrada do Logstash. Para obter a lista completa, consulte Input plugins.

Configurar o plug-in

Crie um pipeline usando um arquivo de configuração e defina a seção de saída com os parâmetros do plug-in oss. Após salvar e implantar o pipeline, o Alibaba Cloud Logstash transfere os dados das suas fontes para o OSS.

Para obter instruções sobre como criar um pipeline, consulte Usar arquivos de configuração para gerenciar pipelines.

O exemplo a seguir configura um pipeline que lê do Beats e grava no OSS:

input {
  beats {
    port => "8044"                    # required
    codec => json {
      charset => "UTF-8"
    }
  }
}
output {
  oss {
    endpoint => "http://oss-cn-hangzhou-internal.aliyuncs.com"  # required
    bucket => "zl-log-output-test"                              # required
    access_key_id => "LTAI****************"                     # required
    access_key_secret => "yourAccessKeySecret"                  # required
    temporary_directory => "/ssd/1/<Logstash cluster ID>/logstash/data/22"  # required
    prefix => "oss/database"                                    # optional, default: empty
    recover => true                                             # optional, default: true
    rotation_strategy => "size_and_time"                        # optional, default: size_and_time
    time_rotate => 1                                            # optional, default: 15 (minutes)
    size_rotate => 1000                                         # optional, default: 31457280 (bytes)
    encoding => "gzip"                                          # optional, default: none
    additional_oss_settings => {
      max_connections_to_oss => 1024                            # optional, default: 1024
      secure_connection_enabled => false                        # optional, default: false
    }
    codec => json {
      charset => "UTF-8"
    }
  }
}

Atualmente, o Alibaba Cloud Logstash oferece suporte à transferência de dados apenas dentro da mesma Virtual Private Cloud (VPC). Para transferir dados pela rede pública, configure o NAT. Para mais informações, consulte Configurar NAT para transferência de dados pela rede pública.

Parâmetros

A tabela a seguir descreve todos os parâmetros compatíveis com o logstash-output-oss.

Arquivos temporários

Durante a transferência, o plug-in armazena dados em cache num arquivo temporário local e envia periodicamente para o OSS. Use o parâmetro temporary_directory para especificar onde esse arquivo ficará salvo.

O caminho do arquivo temporário segue este formato:

/ssd/1/<Logstash cluster ID>/logstash/data/eaced620-e972-0136-2a14-02b7449b****/logstash/1/ls.oss.eaced620-e972-0136-2a14-02b7449b****.2018-12-24T14.27.part-0.data

Os segmentos do caminho são descritos a seguir:

Próximos passos

• Para instalar ou remover plug-ins, consulte Instalar e remover um plug-in.

• Para gerenciar pipelines por meio de arquivos de configuração, acesse Usar arquivos de configuração para gerenciar pipelines.