Simple Log Service:Guia de início rápido

Pré-requisitos

Antes de começar, verifique se você:

• Criou um projeto chamado web-project. Para mais informações, consulte Gerenciar projetos.

• Criou um Logstore de origem chamado website_log no projeto web-project. Para mais informações, consulte Gerenciar Logstores.

• Ingeriu logs de acesso ao site no Logstore de origem (website_log). Para mais informações, consulte Visão geral da ingestão de dados.

• Criou um Logstore de destino chamado website_fail no projeto web-project.

• Concedeu permissões ao usuário RAM para executar operações de transformação de dados, se aplicável. Para mais informações, consulte Conceder permissões a um usuário RAM para executar operações de transformação de dados.

• Configurou índices para os Logstores de origem e de destino. Para mais informações, consulte Criar índices.

Informações de contexto

Um site armazena todos os logs de acesso em um Logstore chamado website_log. Para melhorar a experiência do usuário, analise os erros de acesso. Este exemplo filtra logs com código de status 4xx, remove informações pessoais dos usuários e grava os resultados em um novo Logstore chamado website_fail para analistas de negócios. Veja abaixo um exemplo de log:

body_bytes_sent: 1061
http_user_agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5
remote_addr: 192.0.2.2
remote_user: vd_yw
request_method: GET
request_uri: /request/path-1/file-5
status: 400
time_local: 10/Jun/2021:19:10:59
error: Invalid time range

Etapa 1: Crie um job de transformação de dados

1. Faça login no console do Simple Log Service.

2. Acesse a página de transformação de dados.

   1. Na seção Projects, clique em o projeto desejado.

   2. Na aba Log Storage > Logstores, clique em o Logstore desejado.

   3. Na página de consulta e análise, clique em Data Transformation.

3. No canto superior direito da página, selecione um intervalo de tempo.

   Após selecionar o intervalo de tempo, verifique se os logs aparecem na aba Raw Logs.

4. No editor, insira a seguinte regra da Structured Process Language (SPL).

   *
   | extend status=cast(status as BIGINT)
   | where status>=0 AND status<500
   | project-away remote_addr, remote_user
   

5. Depure a regra SPL.

   1. Selecione dados de teste na aba Raw Data ou insira-os manualmente.

   2. Clique em ▷ para execute o teste.

   3. Visualize os resultados da pré-visualização.

6. Crie o job de transformação de dados.

   1. Clique em Save as Transformation Job (New Version).

   2. No painel Create Data Transformation Job (New Version), configure os parâmetros a seguir e clique em OK.

   Parâmetro	Descrição
   Task Name	Nome do job de transformação de dados.
   Display Name	Nome de exibição do job.
   Job Description	Descrição do job.
   Authorization Method	Conceda ao job acesso de leitura ao Logstore de origem usando um destes métodos: Default Role: O job assume a função de sistema AliyunLogETLRole para ler dados do Logstore de origem. Clique em Authorize the system role AliyunLogETLRole e conclua a autorização conforme solicitado. Para mais informações, consulte Acessar dados usando uma função padrão. Importante Se você usar um usuário RAM, uma conta Alibaba Cloud deve concluir a autorização primeiro. Caso sua conta Alibaba Cloud já esteja autorizada, pule esta etapa. Custom Role: O job assume uma função personalizada para ler dados do Logstore de origem. Primeiro, conceda à função personalizada permissões para ler dados do Logstore de origem e, em seguida, insira o ARN da função no campo Role ARN. Para mais informações, consulte Acessar dados usando uma função personalizada. AccessKey: Por motivos de segurança, não é mais possível usar um par de AccessKey (AK/SK) para criar jobs.
   Storage Destination
   Destination Name	Nome do destino de armazenamento. Inclui configurações como Project e Logstore.
   Destination Region	Região onde o Project de destino está localizado.
   Destination Project	Project de destino para os resultados da transformação. Um Project especificado na instrução SPL substitui esta configuração. Saída dinâmica de Project/Logstore de destino. Importante O Project especificado dinamicamente na instrução SPL deve corresponder à região e à autorização configuradas aqui.
   Target Store	Logstore de destino para os resultados da transformação. Um Logstore especificado na instrução SPL substitui esta configuração. Saída dinâmica de Project/Logstore de destino. Importante O Logstore especificado dinamicamente na instrução SPL deve corresponder à região, à autorização e ao Project configurados aqui. O Logstore de destino não pode ser igual ao Logstore de origem. Aviso Não configure o store de destino como o store de origem atual (configuração de mesma origem). Caso contrário, os logs podem ser gravados em loop, gerando custos adicionais de armazenamento e tráfego. Você é responsável pelo consumo de recursos e pelos custos incorridos.
   Authorization Method	Conceda ao job acesso de gravação ao Logstore de destino usando um destes métodos: Default Role: O job assume a função de sistema AliyunLogETLRole para gravar resultados no Logstore de destino. Clique em Authorize the system role AliyunLogETLRole e conclua a autorização conforme solicitado. Para mais informações, consulte Acessar dados usando uma função padrão. Importante Se você usar um usuário RAM, uma conta Alibaba Cloud deve concluir a autorização primeiro. Caso sua conta Alibaba Cloud já esteja autorizada, pule esta etapa. Custom Role: O job assume uma função personalizada para gravar resultados no Logstore de destino. Primeiro, conceda à função personalizada permissões para gravar dados no Logstore de destino e, em seguida, insira o ARN da função no campo Role ARN. Para mais informações, consulte Acessar dados usando uma função personalizada. AccessKey: Por motivos de segurança, não é mais possível usar um par de AccessKey (AK/SK) para criar jobs.
   Write to Result Set	Conjunto de dados a ser gravado no Logstore de destino. Vários conjuntos de dados podem ter como alvo um único destino, e vários destinos podem compartilhar um conjunto de dados. Descrição do conjunto de dados.
   Escopo de processamento
   Time Range (Data Receiving Time)	Intervalo de tempo do job: All: Processa todos os dados desde a primeira entrada de log até ser interrompido manualmente. From Specific Time: Processa dados a partir do horário inicial especificado até ser interrompido manualmente. Specific Time Range: Processa dados dentro da janela de tempo especificada e para automaticamente no horário final.
   Advanced Options
   Advanced Parameter Settings	Armazene informações confidenciais (como senhas de banco de dados) como pares chave-valor e referencie-as na instrução usando res_local("key"). Clique em + para adicionar vários pares chave-valor. Por exemplo, config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj especifica o ID da VPC onde a instância RDS reside.

7. Acesse o Logstore de destino (website_fail) para consultar e analisar dados. Para mais informações, consulte Guia rápido de consulta e análise.

Etapa 2: Monitorar o job de transformação de dados

1. No painel de navegação à esquerda, escolha Job Management > Data Transformation.

2. Na lista de jobs de transformação de dados, localize e clique em o job que deseja gerenciar.

3. Na página Data Transformation Overview (New Version), visualize os detalhes do job de transformação de dados. É possível verificar detalhes e status, além de modificar, iniciar, parar e excluir o job. Para mais informações, consulte Gerenciar jobs de transformação de dados (nova versão). Também é possível observar o status de execução e as métricas do job. Para mais informações, consulte Observar e monitorar jobs de transformação de dados (nova versão).