Simple Log Service:Importar dados do OSS

Pré-requisitos

• Carregue os arquivos de log em um bucket do Object Storage Service (OSS). Para mais informações, consulte Upload objects.

• Crie um Project e um Logstore. Para mais informações, consulte Gerencie projects e Create a basic LogStore.

• Conclua a Cloud Resource Access Authorization, que autoriza o Simple Log Service a acessar seus recursos do OSS com a função AliyunLogImportOSSRole.

• Sua conta deve ter a permissão oss:ListBuckets para listar buckets do OSS. Para mais informações, consulte Attach a custom policy to a RAM user.

  Ao usar um usuário do RAM, conceda também a permissão PassRole a ele. Para mais informações, consulte Create a custom policy e Gerencie RAM user permissions.

  {
    "Statement": [
      {
        "Effect": "Allow",
        "Action": ["ram:PassRole", "ram:GetRole"],
        "Resource": "acs:ram:*:*:role/aliyunlogimportossrole"
      },
      {
        "Effect": "Allow",
        "Action": "oss:GetBucketWebsite",
        "Resource": "*"
      },
      {
        "Effect": "Allow",
        "Action": "oss:ListBuckets",
        "Resource": "*"
      }
    ],
    "Version": "1"
  }    

  Para importar dados entre contas, a conta raiz B deve primeiro autorizar a Conta A e uma função dentro da Conta A por meio de uma Bucket Policy no console do OSS. Exemplo de função: acs:ram::123456789:role/aliyunlogimportossrole.

  Autorização entre contas

  Execute as etapas a seguir como a Conta B (proprietária do bucket do OSS) para conceder acesso de leitura ao bucket à Conta A e à função de importação na Conta A.

  1. Faça login no console do OSS como a Conta B.

  2. Na lista Buckets, clique no bucket de destino.

  3. No painel de navegação à esquerda, clique em Bucket Policy e, em seguida, em Add Authorization.

  4. Conceda acesso à Conta A: defina Resource como o bucket inteiro, Authorized User como Other Accounts e insira o ID da conta (ID) da Conta A. Em seguida, defina as Actions necessárias e clique em OK.

  5. Gere a política para a função de importação na Conta A: insira a função (por exemplo, acs:ram::123456789:role/aliyunlogimportossrole), clique em Generate Policy, ajuste Action na política gerada e salve-a.

  6. Após salvar a política, uma nova entrada aparecerá na lista Bucket Policy. Essa entrada corresponde à política da função na Conta A.

  Após a conclusão da autorização, a Conta A poderá selecionar o bucket da Conta B ao criar uma configuração de importação de dados do OSS.

Crie uma configuração de importação de dados

1. Faça login no console do Simple Log Service.

2. Na seção Import Data, clique na aba Data Import e, em seguida, em OSS - Data Import.

3. Selecione o Project e o Logstore de destino e clique em Next.

4. Defina a configuração de importação.

   1. Na etapa Import Configuration, configure os seguintes parâmetros.

      Parâmetros

      Parâmetro	Descrição
      Task Name	Nome exclusivo para o job de importação.
      Display Name	Nome de exibição do job.
      Job Description	Descrição do job de importação.
      OSS Region	Região onde o bucket do OSS de source está localizado. Se o bucket do OSS e o Project do Log Service estiverem na mesma região, é possível economizar custos de tráfego de rede pública e obter uma transferência de dados mais rápida.
      Bucket	Bucket de source que contém os arquivos de dados a serem importados.
      File Path Prefix Filter	Filtra arquivos do OSS por um prefixo de caminho. Por exemplo, se todos os arquivos a serem importados estiverem no diretório csv/, especifique o prefixo como csv/. Ao deixar esse parâmetro em branco, o job percorrerá todo o bucket do OSS. Nota Recomendamos configurar este parâmetro. Se um bucket contiver muitos arquivos, percorrer o bucket inteiro reduzirá significativamente a eficiência da importação de dados.
      File Path Regex Filter	Filtra arquivos do OSS ao corresponder seus caminhos a uma expressão regular. Apenas arquivos com caminhos correspondentes à expressão regular são importados. Por padrão, este parâmetro fica vazio, o que indica ausência de filtragem. Por exemplo, se o caminho do arquivo for testdata/csv/bill.csv, defina a expressão regular como (testdata/csv/)(.*). Para mais informações sobre como testar uma expressão regular, consulte How to test a regular expressionComo testar uma expressão regular.
      File Modification Time Filter	Filtra arquivos do OSS pelo horário de modificação. All: selecione esta opção para importar todos os arquivos correspondentes. From Specific Time: selecione esta opção para importar arquivos modificados após um ponto específico no tempo. Specific Time Range: selecione esta opção para importar arquivos modificados dentro de um intervalo de tempo específico.
      Data Format	Formato de análise de arquivo. Valores válidos: CSV: arquivo de texto delimitado. É possível usar a primeira linha como nomes de campo ou especificá-los manualmente. Cada linha subsequente é analisada como uma entrada de log. Single-line JSON: lê o arquivo do OSS linha por linha, analisando cada linha como um objeto JSON separado. As chaves no objeto JSON tornam-se os nomes de campo no log. JSON array: lê o arquivo inteiro do OSS de uma vez. O conteúdo do arquivo deve ser um array JSON contendo um ou mais objetos JSON. CloudTrail: lê o arquivo inteiro do OSS de uma vez. O conteúdo deve estar no formato de estrutura de dados padrão do CloudTrail. Single-line Text Log: analisa cada linha no arquivo do OSS como uma única entrada de log. Multi-line Text Logs: modo de várias linhas que usa uma expressão regular para identificar o início ou o fim de uma entrada de log abrangendo várias linhas. ORC: formato Optimized Row Columnar (ORC). O arquivo é analisado automaticamente em logs sem configuração adicional. Parquet: formato Parquet. O arquivo é analisado automaticamente em logs sem configuração adicional. Alibaba Cloud OSS Access Log: formato para logs de acesso do Alibaba Cloud OSS. Para mais informações, consulte Log shipping. Alibaba Cloud CDN Download Log: formato para logs de download do Alibaba Cloud CDN. Para mais informações, consulte Quick start.
      Compression Format	Formato de compactação dos arquivos de source. O Log Service descompacta os arquivos com base no formato especificado antes de ler os dados.
      Encoding Format	Formato de codificação dos arquivos de source. Atualmente, apenas UTF-8 e GBK são suportados.
      New File Check Cycle	Se novos arquivos forem adicionados continuamente ao caminho do OSS de source, defina um New File Check Cycle. O job de importação será executado em segundo plano, descobrindo e lendo novos arquivos periodicamente. O sistema garante que os dados do mesmo arquivo do OSS não sejam importados mais de uma vez. Por exemplo, ao criar um job às 12:00 com um ciclo de verificação de 30 minutos, a primeira importação ocorre às 12:00. Se novos arquivos forem gerados, a próxima importação ocorre às 12:30. Se não houver expectativa de novos arquivos no caminho do OSS de source, defina o ciclo como Never Check. O job de importação para após ler todos os arquivos existentes correspondentes aos critérios.
      Import Archive Files	Se os arquivos de source estiverem armazenados nas classes Archive ou Cold Archive no OSS, eles deverão ser restaurados antes da leitura. Ative esta opção para restaurar os arquivos automaticamente. A classe de armazenamento Deep Cold Archive não é suportada. Nota A restauração de arquivos Archive leva cerca de um minuto, o que pode causar tempo limite na visualização inicial. Se ocorrer tempo limite, aguarde um momento e tente novamente. A restauração de arquivos Cold Archive leva cerca de uma hora. Se a visualização atingir o tempo limite, pule a visualização ou aguarde uma hora e tente novamente. Ao restaurar arquivos Cold Archive, as cópias restauradas permanecem disponíveis por sete dias, garantindo tempo suficiente para a importação.
      Log Time Configuration
      Time Field	Ao selecionar Data Format, Single-line JSON, Single-line JSON, CloudTrail, ORC, Parquet, Alibaba Cloud OSS Access Log ou Alibaba Cloud CDN Download Log como o Data Format, especifique um campo de tempo. O Log Service usa esse campo para definir o horário de cada entrada de log importada.
      Time Field Extraction Regular Expression	Ao selecionar Data Format ou Single-line Text Log como o Multi-line Text Logs, use uma expressão regular para extrair o tempo do conteúdo do log. Por exemplo, para a entrada de log 127.0.0.1 - - [10/Sep/2018:12:36:49 +0800] "GET /index.html HTTP/1.1", defina Time Field Extraction Regular Expression como [0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9\: +]+. Nota Para outros formatos de dados, também é possível usar uma expressão regular caso seja necessário extrair apenas uma parte do campo de tempo.
      Time Field Format	Formato de tempo usado para analisar o valor no campo de tempo. Suporta a sintaxe SimpleDateFormat do Java, como yyyy-MM-dd HH:mm:ss. Para mais informações sobre a sintaxe, consulte Class SimpleDateFormat. Para formatos de tempo comuns, consulte Time formats. Suporta formatos epoch, incluindo epoch, epochMillis, epochMicro e epochNano.
      Time Zone	Fuso horário para o campo de tempo. Este parâmetro não é necessário se o formato de tempo for do tipo epoch. Para considerar o horário de verão ao analisar o tempo do log, selecione um formato baseado em UTC. Caso contrário, selecione um formato baseado em GMT.
      Advanced Settings
      OSS Metadata Indexing	Se o número de arquivos no seu bucket do OSS exceder um milhão, recomendamos fortemente ativar esta opção. Caso contrário, a descoberta de arquivos torna-se ineficiente. Com a indexação de metadados do OSS, novos arquivos no bucket são descobertos em segundos, permitindo a importação de dados quase em tempo real. Para usar a indexação de metadados do OSS, ative primeiro o recurso de gerenciamento de metadados do bucket no console do OSS. Para mais informações, consulte Scalar search.

      Ao selecionar Data Format ou Multi-line text log como Multi-line Text Logs, configure os parâmetros adicionais descritos nas tabelas a seguir.

      CSV

      Parâmetro	Descrição
      Delimiter	Delimitador usado para separar campos no log. O padrão é a vírgula (,).
      Quote	Caractere de aspas usado para strings no arquivo CSV.
      Quote	Caractere de escape para logs. O padrão é a barra invertida (\\).
      Maximum Lines	Número máximo de linhas que uma única entrada de log pode abranger. O padrão é 1.
      First Line as Field Name	Ao ativar a opção First Line as Field Name, a primeira linha do arquivo CSV é usada como nomes de campo. Por exemplo, a primeira linha na amostra a seguir é extraída como os nomes dos campos de log. Pré-visualização do arquivo de amostra: remote_addr,remote_user,time_local,request_time,request_length xxx,5,-,11/Dec/2020:15:31:06,0,000,133,3650,404,GET xxx,5,-,11/Dec/2020:15:32:06,0,000,133,3650,404,GET xxx,5,-,11/Dec/2020:15:34:10,0,000,133,3650,404,GET
      Custom Fields	Ao desativar a opção First Line as Field Name, especifique uma lista separada por vírgulas de nomes de campo personalizados.
      Lines to Skip	Número de linhas de cabeçalho a serem ignoradas. Por exemplo, o valor 1 significa que a coleta de dados começa a partir da segunda linha do arquivo CSV.

      Log de texto de várias linhas

      Parâmetro	Descrição
      Position to Match Regular Expression	Local para corresponder à expressão regular: Regular Expression to Match First Line: usa uma expressão regular para corresponder à primeira linha de uma entrada de log. As linhas subsequentes que não correspondem são anexadas à entrada de log atual, até o número máximo de linhas configurado. Regular Expression to Match Last Line: usa uma expressão regular para identificar o fim de uma entrada de log. Uma entrada de log inclui todas as linhas até e incluindo a linha correspondente a esta expressão.
      Regular Expression	Insira uma expressão regular com base no conteúdo do seu log. Para mais informações, consulte How to test a regular expressionComo testar uma expressão regular.
      Maximum Lines	Número máximo de linhas que uma única entrada de log pode abranger.

   2. Clique em Preview para visualizar os resultados da importação.

   3. Após confirmar as configurações, clique em Next.

5. Crie índices e visualize os dados. Em seguida, clique em Next. Por padrão, a indexação de texto completo é ativada no Simple Log Service. Também é possível criar manualmente índices de campo para os logs coletados ou clique em Automatic Index Generation para que o Simple Log Service gere os índices de campo. Para mais informações, consulte Create indexes.

   Importante

   Para consultar todos os campos nos logs, recomendamos o uso de índices de texto completo. Para consultar apenas campos específicos, recomendamos índices de campo, o que ajuda a reduzir o tráfego de indexação. Para analisar campos, crie índices de campo e inclua uma instrução SELECT na sua instrução de consulta para análise.

6. Clique em Query Log para abrir a página de consulta e análise e verificar se os dados do OSS foram importados com sucesso.

   Aguarde cerca de um minuto. Se os dados do OSS de destino aparecerem, a importação foi bem-sucedida.

Operações relacionadas

Após criar uma configuração de importação de dados, visualize a configuração e seus relatórios estatísticos no console.

1. Na lista Project, clique no Project desejado.

2. No painel de navegação à esquerda, escolha Log Storage > Logstore. Na página exibida, encontre o Logstore desejado, escolha Data Collection > Data Import e clique no nome da configuração.

3. Visão geral

   Na página Import Configuration Overview, visualize as informações básicas e os relatórios estatísticos da configuração.

   A página Import Configuration Overview contém as seguintes informações: a seção Basic Information exibe parâmetros como Configuration Name, Status, Bucket, Compression Format, Encoding Format, File Path Regex Filter, Import Archive Files, OSS Region, New File Check Interval, Data Format e Use System Time. A seção Statistical Reports (Data Processing Insight) mostra seis métricas: Successful Reads, Failed Reads, Public Read Traffic, Successful Writes, Failed Writes e Public Write Traffic, além de um gráfico de linhas de taxa de processamento e um gráfico de atraso de progresso. A tabela Running Status na parte inferior lista informações de cada tarefa, como Time, Type, Instance, Successful Items, Failed Items e Average Response Time. O canto superior direito disponibiliza os botões de ação Edit Configurations, Stop e Delete Configuration.

   Modifique

   Clique em Edit Configurations para modificar a configuração de importação de dados. Para mais informações, consulte Create a data import configuration.

   Exclua

   Clique em Delete Configuration para remover a configuração de importação de dados.

   Aviso

   Esta operação é irreversível. Prossiga com cautela.

   Parar

   Para parar a tarefa de importação de dados, clique em Stop.

   Iniciar

   Clique em Start para iniciar a tarefa de importação de dados.

Perguntas frequentes

Tratamento de erros

API de ingestão do OSS