Simple Log Service:Importar dados do OSS

Pré-requisitos

• Carregue os arquivos de log em um bucket do Object Storage Service (OSS). Para mais detalhes, consulte Upload objects.

• Crie um Project e um Logstore. Consulte Manage projects e Create a basic Logstore para instruções.

• Conclua a Autorização de Acesso a Recursos Cloud para autorizar o Simple Log Service a acessar seus recursos do OSS com a função AliyunLogImportOSSRole.

• Sua conta precisa da permissão oss:ListBuckets para listar buckets do OSS. Veja mais em Attach a custom policy to a RAM user.

  Para usuários RAM, conceda também a permissão PassRole. Consulte Create a custom policy e Manage RAM user permissions para orientações.

  {
    "Statement": [
      {
        "Effect": "Allow",
        "Action": ["ram:PassRole", "ram:GetRole"],
        "Resource": "acs:ram:*:*:role/aliyunlogimportossrole"
      },
      {
        "Effect": "Allow",
        "Action": "oss:GetBucketWebsite",
        "Resource": "*"
      },
      {
        "Effect": "Allow",
        "Action": "oss:ListBuckets",
        "Resource": "*"
      }
    ],
    "Version": "1"
  }    

  Para importar dados entre contas diferentes, a conta raiz B deve autorizar a Conta A e uma função dentro da Conta A usando uma Bucket Policy no console do OSS. Exemplo de função: acs:ram::123456789:role/aliyunlogimportossrole.

  Autorização entre contas

  Execute as etapas abaixo como a Conta B, proprietária do bucket do OSS, para conceder acesso de leitura ao bucket para a Conta A e para a função de importação da Conta A.

  1. Faça login no console do OSS como Conta B.

  2. Na lista Buckets, clique em no bucket desejado.

  3. No painel de navegação à esquerda, clique em Bucket Policy e depois em Add Authorization.

  4. Conceda acesso à Conta A: defina Resource como todo o bucket, configure Authorized User para Other Accounts e insira o ID da conta (UID) da Conta A, especifique as Actions necessárias e clique em OK.

  5. Gere a política para a função de importação da Conta A: insira a função (por exemplo, acs:ram::123456789:role/aliyunlogimportossrole), clique em Generate Policy, ajuste Action na política gerada e salve-a.

  6. Após salvar a política, uma nova entrada aparecerá na lista Bucket Policy. Essa entrada corresponde à política daquela função na Conta A.

  Depois de concluir a autorização, a Conta A poderá selecionar o bucket da Conta B ao configurar a importação de dados do OSS.

Criar uma configuração de importação de dados

1. Faça login no console do Simple Log Service.

2. Na seção Import Data, clique em na aba Data Import e selecione OSS - Data Import.

3. Selecione o Project e o Logstore de destino e clique em Next.

4. Configure a importação.

   1. Na etapa Import Configuration, defina os seguintes parâmetros.

      Parâmetros

      Parâmetro	Descrição
      Task Name	Nome exclusivo para o job de importação.
      Display Name	Nome de exibição do job.
      Job Description	Descrição do job de importação.
      OSS Region	Região onde o bucket do OSS de source está localizado. Se o bucket do OSS e o Project do Log Service estiverem na mesma região, você economiza custos de tráfego de rede pública e obtém transferência de dados mais rápida.
      Bucket	Bucket de source que contém os arquivos de dados a serem importados.
      File Path Prefix Filter	Filtra arquivos do OSS por prefixo de caminho. Por exemplo, se todos os arquivos a importar estiverem no diretório csv/, especifique o prefixo como csv/. Sem essa configuração, o job percorre todo o bucket do OSS. Nota Recomendamos configurar este parâmetro. Em buckets com muitos arquivos, percorrer tudo reduz significativamente a eficiência da importação.
      File Path Regex Filter	Filtra arquivos do OSS correspondendo seus caminhos a uma expressão regular. Apenas arquivos cujos caminhos correspondem à expressão são importados. Por padrão, este campo fica vazio, indicando ausência de filtro. Por exemplo, se o caminho do arquivo for testdata/csv/bill.csv, defina a expressão regular como (testdata/csv/)(.*). Para saber como testar expressões regulares, consulte How to test a regular expressionComo testar uma expressão regular.
      File Modification Time Filter	Filtra arquivos do OSS pela data de modificação. All: Selecione esta opção para importar todos os arquivos correspondentes. From Specific Time: Escolha esta opção para importar arquivos modificados após um momento específico. Specific Time Range: Use esta opção para importar arquivos modificados dentro de um intervalo de tempo definido.
      Data Format	Formato de análise do arquivo. Valores válidos: CSV: Arquivo de texto delimitado. É possível usar a primeira linha como nomes de campo ou especificá-los manualmente. Cada linha subsequente é analisada como uma entrada de log. Single-line JSON: Lê o arquivo do OSS linha por linha, analisando cada linha como um objeto JSON separado. As chaves do objeto JSON tornam-se os nomes dos campos no log. JSON array: Lê o arquivo inteiro do OSS de uma vez. O conteúdo deve ser um array JSON contendo um ou mais objetos JSON. CloudTrail: Lê o arquivo inteiro do OSS de uma vez. O conteúdo deve estar no formato padrão de estrutura de dados do CloudTrail. Single-line Text Log: Analisa cada linha do arquivo do OSS como uma única entrada de log. Multi-line Text Logs: Modo multilinha que usa expressão regular para identificar o início ou fim de uma entrada de log que abrange várias linhas. ORC: Formato Optimized Row Columnar (ORC). O arquivo é automaticamente analisado em logs sem configuração adicional. Parquet: Formato Parquet. A análise em logs ocorre automaticamente, sem necessidade de configuração extra. Alibaba Cloud OSS Access Log: Formato para logs de acesso do Alibaba Cloud OSS. Para mais informações, veja Log shipping. Alibaba Cloud CDN Download Log: Formato para logs de download do Alibaba Cloud CDN. Consulte Quick start para detalhes.
      Compression Format	Formato de compactação dos arquivos de source. O Log Service descompacta os arquivos conforme o formato especificado antes de ler os dados.
      Encoding Format	Formato de codificação dos arquivos de source. Atualmente, apenas UTF-8 e GBK são suportados.
      New File Check Cycle	Se novos arquivos forem adicionados continuamente ao caminho do OSS de source, defina um New File Check Cycle. O job de importação executará em segundo plano, descobrindo e lendo novos arquivos periodicamente. O sistema garante que os dados do mesmo arquivo do OSS não sejam importados mais de uma vez. Por exemplo, ao criar um job às 12:00 com ciclo de 30 minutos, a primeira importação ocorre às 12:00. Se surgirem novos arquivos, a próxima importação será às 12:30. Caso não haja expectativa de novos arquivos no caminho do OSS de source, defina o ciclo como Never Check. O job de importação para após ler todos os arquivos existentes que atendem aos critérios.
      Import Archive Files	Arquivos armazenados nas classes Archive ou Cold Archive no OSS precisam ser restaurados antes da leitura. Ative esta opção para restaurar os arquivos automaticamente. A classe Deep Cold Archive não é suportada. Nota A restauração de arquivos Archive leva cerca de um minuto, podendo causar timeout na visualização inicial. Se ocorrer timeout, aguarde um momento e tente novamente. Restaurar arquivos Cold Archive demora aproximadamente uma hora. Se a visualização expirar, pule-a ou aguarde uma hora antes de tentar outra vez. Durante a restauração de arquivos Cold Archive, as cópias restauradas permanecem disponíveis por sete dias, garantindo tempo suficiente para a importação.
      Log Time Configuration
      Time Field	Ao selecionar Data Format como Single-line JSON, Single-line JSON, CloudTrail, ORC, Parquet, Alibaba Cloud OSS Access Log ou Alibaba Cloud CDN Download Log, especifique um campo de tempo. O Log Service utiliza esse campo para definir o horário de cada entrada de log importada.
      Data Format	Quando o Time Field Extraction Regular Expression for Data Format ou Single-line Text Log, utilize uma expressão regular para extrair o tempo do conteúdo do log. Por exemplo, para a entrada de log 127.0.0.1 - - [10/Sep/2018:12:36:49 +0800] "GET /index.html HTTP/1.1", defina a Multi-line Text Logs como [0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9\: +]+. Nota Em outros formatos de dados, também é possível usar expressão regular caso precise extrair apenas parte do campo de tempo.
      Time Field Extraction Regular Expression	Define o formato de tempo usado para analisar o valor no campo de tempo. Suporta sintaxe SimpleDateFormat do Java, como yyyy-MM-dd HH:mm:ss. Para detalhes da sintaxe, veja Class SimpleDateFormat. Para formatos comuns, consulte Time formats. Aceita formatos epoch, incluindo epoch, epochMillis, epochMicro e epochNano.
      Time Field Format	Selecione o fuso horário do campo de tempo. Este parâmetro não é necessário se o formato for do tipo epoch. Para considerar o horário de verão ao analisar o tempo do log, escolha um formato baseado em UTC. Caso contrário, prefira um formato baseado em GMT.
      Time Zone
      Advanced Settings	Se o número de arquivos no bucket do OSS ultrapassar um milhão, ative fortemente esta opção. Caso contrário, a descoberta de arquivos torna-se ineficiente. Com a indexação de metadados do OSS, novos arquivos no bucket são descobertos em segundos, permitindo importação de dados quase em tempo real. Para utilizar a indexação de metadados do OSS, primeiro ative o recurso de gerenciamento de metadados para o bucket no console do OSS. Consulte Scalar search para mais informações.

      Se você escolher OSS Metadata Indexing ou Multi-line text log como Data Format, configure parâmetros adicionais conforme descrito nas tabelas a seguir.

      CSV

      Parâmetro	Descrição
      Multi-line Text Logs	Delimitador usado para separar campos no log. O padrão é vírgula (,).
      Delimiter	Caractere de aspas usado para strings no arquivo CSV.
      Quote	Caractere de escape para logs. O padrão é barra invertida (\\).
      Quote	Número máximo de linhas que uma única entrada de log pode abranger. O padrão é 1.
      Maximum Lines	Ao ativar a chave First Line as Field Name, a primeira linha do arquivo CSV serve como nomes dos campos. Por exemplo, a primeira linha do exemplo abaixo é extraída como nomes dos campos de log. Visualização do arquivo de exemplo: remote_addr,remote_user,time_local,request_time,request_length xxx,5,-,11/Dec/2020:15:31:06,0,000,133,3650,404,GET xxx,5,-,11/Dec/2020:15:32:06,0,000,133,3650,404,GET xxx,5,-,11/Dec/2020:15:34:10,0,000,133,3650,404,GET
      First Line as Field Name	Desativando a opção Custom Fields, especifique uma lista de nomes de campos personalizados separados por vírgulas.
      First Line as Field Name	Quantidade de linhas de cabeçalho a ignorar. Por exemplo, o valor 1 indica que a coleta de dados começa na segunda linha do arquivo CSV.

      Log de texto multilinha

      Parâmetro	Descrição
      Lines to Skip	Define onde aplicar a expressão regular: Position to Match Regular Expression: Usa expressão regular para corresponder à primeira linha de uma entrada de log. Linhas subsequentes que não correspondem são anexadas à entrada atual, até o limite máximo configurado. Regular Expression to Match First Line: Utiliza expressão regular para identificar o fim de uma entrada de log. A entrada inclui todas as linhas até aquela que corresponde a esta expressão.
      Regular Expression to Match Last Line	Insira uma expressão regular baseada no conteúdo do seu log. Para mais detalhes, consulte How to test a regular expressionComo testar uma expressão regular.
      Regular Expression	Limite máximo de linhas que uma única entrada de log pode abranger.

   2. Clique em Maximum Lines para visualizar os resultados da importação.

   3. Após confirmar as configurações, clique em Preview.

5. Crie índices e visualize os dados. Em seguida, clique em Next. Por padrão, o Simple Log Service ativa a indexação de texto completo. Também é possível criar manualmente índices de campo para os logs coletados ou clicar em Next para que o Simple Log Service gere os índices de campo automaticamente. Para mais informações, consulte Create indexes.

   Importante

   Para consultar todos os campos nos logs, recomendamos índices de texto completo. Se precisar consultar apenas campos específicos, prefira índices de campo para reduzir o tráfego de indexação. Para analisar campos, a criação de índices de campo é obrigatória. Inclua uma instrução SELECT na sua consulta para realizar análises.

6. Clique em Automatic Index Generation para abrir a página de consulta e análise e verificar se a importação dos dados do OSS foi bem-sucedida.

   Aguarde cerca de um minuto. Se os dados do OSS alvo aparecerem, a importação ocorreu com sucesso.

Operações relacionadas

Após criar uma configuração de importação de dados, visualize a configuração e seus relatórios estatísticos no console.

1. Na lista Project, clique em no Project desejado.

2. No painel de navegação à esquerda, escolha Query Log > Log Storage. Na página exibida, localize o Logstore desejado, selecione Logstore > Data Collection e clique em no nome da configuração.

3. Visão geral

   Na página Data Import, visualize as informações básicas da configuração e os relatórios estatísticos.

   A página Import Configuration Overview contém as seguintes informações: A seção Basic Information exibe parâmetros como Configuration Name, Status, Bucket, Compression Format, Encoding Format, File Path Regex Filter, Import Archive Files, OSS Region, New File Check Interval, Data Format e Use System Time. A seção Statistical Reports (Data Processing Insight) mostra seis métricas: Successful Reads, Failed Reads, Public Read Traffic, Successful Writes, Failed Writes e Public Write Traffic, além de um Gráfico de Linhas de Taxa de Processamento e um Gráfico de Atraso de Progresso. A tabela Running Status na parte inferior lista informações de cada tarefa, como Time, Type, Instance, Successful Items, Failed Items e Average Response Time. O canto superior direito oferece os botões de ação Edit Configurations, Stop e Delete Configuration.

   Modificar

   Clique em Import Configuration Overview para alterar a configuração de importação de dados. Para mais detalhes, veja Create a data import configuration.

   Excluir

   Clique em Edit Configurations para remover a configuração de importação de dados.

   Aviso

   Esta operação é irreversível. Proceda com cautela.

   Parar

   Para interromper a tarefa de importação de dados, clique em Delete Configuration.

   Iniciar

   Clique em Stop para iniciar a tarefa de importação de dados.

Perguntas frequentes

Tratamento de erros

API de ingestão do OSS