Como integrar o plugin aliyun-log-flume ao Flume para gravar e consumir dados de log - Simple Log Service: Central de Documentação do Alibaba Cloud

Informações básicas

O aliyun-log-flume é um plugin que conecta o Log Service ao Apache Flume e permite a troca de dados com outros sistemas, como HDFS e Kafka. Ele fornece um sink e uma source.

Sink: o Flume lê dados de outras fontes e os grava no Log Service.
Source: o Flume consome dados de log do Log Service e os envia a outros sistemas.

Para obter mais informações, consulte aliyun-log-flume.

Procedimento

Baixe e instale o Apache Flume.

Para obter mais informações, consulte Apache Flume.
Baixe o plugin aliyun-log-flume e coloque-o no diretório **/flume/lib** .

Para obter mais informações, consulte aliyun-log-flume-1.3.jar.
No diretório **/flume/conf** , crie um arquivo de configuração chamado flumejob.conf.
- Para configurações e exemplos de sink, consulte Sink.
- Para configurações e exemplos de source, consulte Source.
Inicie o Flume.

Sink

Um sink grava dados de outras fontes no Log Service. Há suporte a dois formatos de análise:

SIMPLE: grava todo o evento do Flume como um único campo no Log Service.
DELIMITED: trata o evento do Flume como dados delimitados por separador, analisa-os em campos com base nos nomes das colunas configuradas e os grava no Log Service.

A tabela a seguir lista os parâmetros do sink.

Parâmetro	Obrigatório	Descrição
type	Sim	Tipo do sink. Defina este parâmetro como `com.aliyun.Loghub.flume.sink.LoghubSink`.
endpoint	Sim	Endpoint do projeto do Log Service. Exemplo: `http://cn-qingdao.log.aliyuncs.com`. Substitua o valor pelo endpoint real. Para obter mais informações, consulte Endpoints.
project	Sim	Nome do projeto do Log Service.
LogStore	Sim	Nome do Logstore.
accessKeyId	Sim	AccessKey ID da sua conta Alibaba Cloud. Recomendamos usar o par de AccessKeys de um usuário RAM. Para obter mais informações, consulte Create an AccessKey.
accessKey	Sim	AccessKey secret da sua conta Alibaba Cloud. Recomendamos usar o par de AccessKeys de um usuário RAM. Para obter mais informações, consulte Create an AccessKey.
batchSize	Não	Número de entradas de dados a serem gravadas no Log Service em cada lote. Valor padrão: 1.000.
maxBufferSize	Não	Tamanho da fila de buffer. Valor padrão: 1.000 entradas.
serializer	Não	Formato de serialização do evento. Valores válidos: DELIMITED: defina o formato de serialização como modo Delimited. SIMPLE: defina o formato de serialização como modo Simple. Este é o modo padrão. JSON: defina o formato de serialização como modo JSON. serializer personalizado: nome totalmente qualificado de uma classe de serialização personalizada.
columns	Não	Obrigatório quando `serializer` está definido como DELIMITED. Especifica uma lista de nomes de campos separados por vírgulas (,). A ordem dos campos deve corresponder à ordem nos seus dados.
separatorChar	Não	Usado quando `serializer` está definido como DELIMITED. Especifica o separador para os dados. O separador deve ser um único caractere. Valor padrão: vírgula (,).
quoteChar	Não	Usado quando `serializer` está definido como DELIMITED. Especifica o caractere de aspas. Valor padrão: aspas duplas (").
escapeChar	Não	Usado quando `serializer` está definido como DELIMITED. Especifica o caractere de escape. Valor padrão: aspas duplas (").
useRecordTime	Não	Defina se o campo `timestamp` dos dados será usado como horário do log. O valor padrão é `false`, que utiliza o horário atual.

Para exemplos de configuração de sink, consulte GitHub.

Source

Uma source consome dados de log do Log Service e os envia a outros sistemas. Há suporte aos seguintes formatos de saída:

DELIMITED: grava dados no Flume em formato delimitado.
JSON: grava dados no Flume em formato JSON.

A tabela a seguir lista os parâmetros da source.

Parâmetro	Obrigatório	Descrição
type	Sim	Tipo da source. Defina este parâmetro como `com.aliyun.Loghub.flume.source.LoghubSource`.
endpoint	Sim	Endpoint do projeto do Log Service. Exemplo: `http://cn-qingdao.log.aliyuncs.com`. Substitua o valor pelo endpoint real. Para obter mais informações, consulte Endpoints.
project	Sim	Nome do projeto do Log Service.
LogStore	Sim	Nome do Logstore.
accessKeyId	Sim	AccessKey ID da sua conta Alibaba Cloud. Recomendamos usar o par de AccessKeys de um usuário RAM. Para obter mais informações, consulte Create an AccessKey.
accessKey	Sim	AccessKey secret da sua conta Alibaba Cloud. Recomendamos usar o par de AccessKeys de um usuário RAM. Para obter mais informações, consulte Create an AccessKey.
heartbeatIntervalMs	Não	Intervalo de heartbeat entre o cliente e o Log Service. Valor padrão: 30.000 ms.
fetchIntervalMs	Não	Intervalo de busca de dados. Valor padrão: 100 ms.
fetchInOrder	Não	Defina se os dados devem ser consumidos em ordem sequencial. Valor padrão: `false`.
batchSize	Não	Número de entradas de dados a serem lidas em cada lote. Valor padrão: 100.
consumerGroup	Não	Nome do grupo de consumidores usado para leitura de dados.
initialPosition	Não	Posição inicial para começar a leitura dos dados. Valores válidos: begin, end e timestamp. Valor padrão: begin. Nota Se existir um checkpoint no servidor, ele terá precedência.
timestamp	Não	Obrigatório quando `initialPosition` está definido como timestamp. Especifique o horário no formato de timestamp UNIX.
deserializer	Sim	Formato de desserialização do evento. Valores válidos: DELIMITED: defina o formato de desserialização como modo Delimited. Este é o modo padrão. JSON: defina o formato de desserialização como modo JSON. deserializer personalizado: nome totalmente qualificado de uma classe de desserialização personalizada.
columns	Não	Obrigatório quando `deserializer` está definido como DELIMITED. Especifica uma lista de nomes de campos separados por vírgulas (,). A ordem dos campos deve corresponder à ordem nos seus dados.
separatorChar	Não	Usado quando `deserializer` está definido como DELIMITED. Especifica o separador para os dados. O separador deve ser um único caractere. Valor padrão: vírgula (,).
quoteChar	Não	Usado quando `deserializer` está definido como DELIMITED. Especifica o caractere de aspas. Valor padrão: aspas duplas (").
escapeChar	Não	Usado quando `deserializer` está definido como DELIMITED. Especifica o caractere de escape. Valor padrão: aspas duplas (").
appendTimestamp	Não	Usado quando `deserializer` está definido como DELIMITED. Defina se o timestamp deve ser anexado automaticamente como um campo ao final de cada linha. Valor padrão: `false`.
sourceAsField	Não	Usado quando `deserializer` está definido como JSON. Defina se a origem do log deve ser adicionada como um campo chamado `__source__`. Valor padrão: `false`.
tagAsField	Não	Usado quando `deserializer` está definido como JSON. Defina se as tags de log devem ser adicionadas como campos. Os nomes dos campos seguem o formato `__tag__:{tag_name}`. Valor padrão: `false`.
timeAsField	Não	Usado quando `deserializer` está definido como JSON. Defina se o horário do log deve ser adicionado como um campo chamado `__time__`. Valor padrão: `false`.
useRecordTime	Não	Defina se o horário original do log no Log Service deve ser usado para o timestamp do evento Flume. Se `false`, o horário atual do sistema é utilizado. O valor padrão é `false`.

Para exemplos de configuração de source, consulte GitHub.