Simple Log Service:,

Pré-requisitos

• Você já criou um projeto e um logstore no Log Service (SLS) e configurou a coleta de dados. Para mais informações, consulte Manage a project, Create a basic logstore e Data collection overview.

• Você já criou uma tabela particionada do MaxCompute (ODPS) na mesma região do projeto do Log Service (SLS). Para mais informações, consulte Create a table.

Observações de uso

• Para obter informações sobre as regiões que suportam o envio de dados para o MaxCompute (ODPS), consulte Supported regions.

• Se o valor de um campo do tipo char ou varchar exceder o comprimento especificado, a parte excedente será truncada durante o envio para o MaxCompute (ODPS).

  Por exemplo, se o limite de comprimento for 3 e o valor do campo for 012345, o valor se tornará 012 após o envio para o MaxCompute (ODPS).

• Caso o valor de um campo do tipo string, char ou varchar seja uma string vazia, seu valor se tornará Null após o envio para o MaxCompute (ODPS).

• O valor de um campo do tipo datetime deve estar no formato YYYY-MM-DD HH:mm:ss. Múltiplos espaços são permitidos entre DD e HH. Um formato inválido não causa erro de envio, mas o valor se tornará Null após o envio para o MaxCompute (ODPS).

• Se o valor de um campo do tipo date estiver em um formato inválido, a tarefa de envio de dados não reportará erro, porém o valor se tornará Null após o envio para o MaxCompute (ODPS).

• Para um campo decimal, se o valor exceder a escala definida, o sistema fará o arredondamento. Se o valor exceder a precisão definida, o sistema descartará todo o log como dados incorretos e incrementará a contagem de erros.

• Por padrão, o sistema descarta dados incorretos durante o envio de dados.

• Quando um campo especificado na configuração de envio não existe em um log, seu valor no MaxCompute (ODPS) assume o valor padrão ou Null.

  • Se você definiu um valor padrão ao criar a tabela do MaxCompute (ODPS), o campo receberá esse valor padrão.

  • Caso nenhum valor padrão tenha sido definido, mas a coluna aceite valores Null, o valor do campo se tornará Null.

• Devido às limitações do MaxCompute (ODPS), a concorrência máxima de envio de dados é de 64 operações de escrita. O throughput máximo para uma única partição é de 10 MB/s.

Procedimento

1. Faça login no Simple Log Service console.

2. Na seção Projects, clique em no projeto desejado.

3. Na aba Log Storage > Logstores, clique em no ícone > à esquerda do logstore alvo e escolha Data Processing > Export > MaxCompute (ODPS).

4. Passe o ponteiro do mouse sobre MaxCompute (ODPS) e clique em no ícone +.

5. No painel Data Shipping to MaxCompute, configure os parâmetros a seguir e clique em OK.

   Descrição dos parâmetros

   Parâmetro	Descrição
   Job name	Nome exclusivo da tarefa de envio de dados.
   Display name	Nome de exibição da tarefa de envio de dados.
   Job description	Descrição da tarefa de envio de dados.
   Destination region	Região onde está localizada a tabela de destino do MaxCompute (ODPS).
   MaxCompute endpoint	O endpoint do serviço MaxCompute (ODPS) na região de destino. Nota O painel do endpoint do MaxCompute fica recolhido por padrão. Clique em no ícone para expandi-lo. No campo Cross-service EndPoint, clique em na seta suspensa à direita para expandir e visualizar os detalhes.
   Tunnel endpoint	O tunnel endpoint do serviço MaxCompute (ODPS) na região de destino. Nota O painel do endpoint do MaxCompute fica recolhido por padrão. Clique em no ícone para expandi-lo. No campo Cross-service EndPoint, clique em na seta suspensa à direita para expandir e visualizar os detalhes.
   Project name	Projeto do MaxCompute (ODPS) que contém a tabela de destino.
   MaxCompute table name	Nome da tabela do MaxCompute (ODPS).
   Read Log Service authorization	Permissões para a tarefa de envio de dados ler dados do logstore. Default role: Permite que a tarefa de envio de dados assuma a função de sistema da Alibaba Cloud AliyunLogDefaultRole para ler dados do logstore. Para mais informações, consulte Grant permissions to a default role. Custom role: Permite que a tarefa de envio de dados assuma uma função personalizada do RAM para ler dados do logstore. Primeiro, conceda à função personalizada as permissões necessárias para ler dados do logstore. Em seguida, na seção Read Log Service authorization, insira o ARN (Alibaba Cloud Resource Name) da sua função personalizada. Para mais informações, consulte Authorize a RAM role to read data from a logstore.
   Write MaxCompute authorization	Permissões para a tarefa de envio de dados gravar dados na tabela do MaxCompute (ODPS). Default role: Permite que a tarefa de envio de dados assuma a função de sistema da Alibaba Cloud AliyunLogDefaultRole para gravar dados na tabela do MaxCompute (ODPS). Para mais informações, consulte Authorize a default role to write data to MaxCompute (for data shipping within the same account). Custom role: Permite que a tarefa de envio de dados assuma uma função personalizada do RAM para gravar dados na tabela do MaxCompute (ODPS). Primeiro, conceda à função personalizada as permissões necessárias para gravar dados na tabela do MaxCompute (ODPS). Depois, na seção Write MaxCompute authorization, insira o ARN da sua função personalizada. Se o Log Service (SLS) e o MaxCompute (ODPS) pertencerem à mesma conta da Alibaba Cloud, consulte Procedure. Se o Log Service (SLS) e o MaxCompute (ODPS) pertencerem a contas diferentes da Alibaba Cloud, consulte Authorize a custom role to write data to MaxCompute (for data shipping across accounts).
   Automatic Authorization	Clique em Authorize para conceder automaticamente permissões à função do RAM para gravar dados no MaxCompute (ODPS). Importante Se você estiver usando um usuário do RAM, esse usuário deve ter permissões para gerenciar a conta do MaxCompute (ODPS). Caso a autorização automática falhe, copie os quatro comandos fornecidos para o console do MaxCompute (ODPS) e conceda as permissões manualmente. Para mais informações, consulte Grant permissions by using the command-line tool. USE xxxxx; ADD USER RAM$xxxxx:`role/xxxxx`; GRANT CreateInstance ON PROJECT xxxxx TO USER RAM$xxxxx:`role/xxxxx`; GRANT Describe, Alter, update ON TABLE xxxxx TO USER RAM$xxxxx:`role/xxxxx`;
   MaxCompute data columns	Mapeie campos de log para colunas de dados na tabela do MaxCompute (ODPS). Insira o nome do campo de log na caixa de texto à esquerda e o nome da coluna de dados correspondente na caixa de texto à direita. Para mais informações, consulte Data model mapping. Importante Os dados são enviados mapeando campos de log para colunas da tabela na ordem especificada. Alterar nomes de colunas no MaxCompute (ODPS) não afeta o envio. No entanto, se você alterar o esquema da tabela, será necessário reconfigurar esses mapeamentos. O nome do campo de log na caixa de texto à esquerda não pode conter aspas duplas (""), aspas simples ('') ou espaços. Se seus logs contiverem nomes de campos duplicados (por exemplo, dois campos chamados request_time), o Log Service poderá exibir um deles como request_time_0 no console. O nome armazenado subjacente permanece request_time. Use o nome de campo original request_time ao configurar a regra de envio. Com nomes de campos duplicados, o sistema envia apenas um valor aleatoriamente. Evite nomes de campos duplicados para garantir resultados previsíveis.
   MaxCompute partition columns	Mapeie campos de log para colunas de chave de partição na tabela do MaxCompute (ODPS). Insira o nome do campo de log na caixa de texto à esquerda e o nome da coluna de chave de partição correspondente na caixa de texto à direita. Para mais informações, consulte Data model mapping. Nota Campos cujos valores não podem ser enumerados não são suportados. Os seguintes campos não podem ser usados como campos de partição: _extract_others_, __extract_others__ e __extract_others_all__. Recomendamos usar __receive_time__ (o momento em que um log chega ao servidor) como campo de partição para evitar perda de dados causada por excesso de partições. Para mais informações sobre as diferenças entre os dois campos, consulte MaxCompute partition columns: __partition_time__ and __receive_time__.
   Time partition format	Formato da partição de tempo. Para exemplos de configuração e detalhes, consulte Time partition format. Nota Este parâmetro só entra em vigor quando o nome do campo de log em MaxCompute partition columns estiver definido como __receive_time__ ou __partition_time__. Não use um formato de data com precisão de segundos. Isso pode fazer com que o número de partições em uma única tabela exceda o limite de 60.000.
   Time zone	Fuso horário usado para formatar valores de tempo e partições de tempo. Para mais informações, consulte Time zone format.
   Shipping mode	Escolha entre envio em tempo real ou envio em lote. Real-time shipping: Lê e envia dados do logstore para o MaxCompute (ODPS) em tempo real. Batch shipping: Lê e envia dados do logstore em lotes, processando dados com 5 a 10 minutos de antiguidade.
   Start time range	Intervalo de tempo dos dados a serem enviados, com base no horário de recebimento do log. As seguintes opções estão disponíveis: From Specific Time: A tarefa começa a enviar dados a partir de um horário inicial especificado e continua até ser interrompida manualmente. Specific Time Range: A tarefa envia dados dentro de um intervalo de início e fim especificados. A tarefa é interrompida automaticamente ao atingir o horário final. Nota Se as colunas de partição incluírem __partition_time__, o horário inicial não pode ser anterior a 24 horas do horário atual, pois dados históricos podem ser distribuídos por muitas partições e acionar limites de slot e QPS do MaxCompute (ODPS). Se as colunas de partição usarem apenas __receive_time__, você poderá especificar qualquer horário inicial histórico. Para mais informações, consulte Start time limits.

   Após criar uma tarefa de envio de dados, uma nova tarefa geralmente envia dados para o MaxCompute em aproximadamente 10 minutos. Em seguida, você pode consultar os dados no MaxCompute (ODPS). Para mais informações, consulte How do I check the integrity of data after it is shipped from Log Service to MaxCompute?

   | log_source | log_time | log_topic | time | ip | thread | log_extract_others | log_partition_time | status |
   +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+
   | 10.10.*.* | 1642942213 | | 24/Jan/2022:20:50:13 +0800 | 10.10.*.* | 414579208 | {"url":"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1","user-agent":"aliyun-sdk-java"} | 2022_01_23_20_50 | 200 |
   +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+

Mapeamento de modelo de dados

Para enviar logs do Log Service (SLS) para uma tabela do MaxCompute (ODPS), é necessário mapear os modelos de dados dos dois serviços. A seção a seguir descreve as regras de mapeamento e fornece exemplos.

• Uma tabela do MaxCompute (ODPS) deve conter pelo menos uma coluna de dados e uma coluna de chave de partição.

• Recomendamos o uso dos seguintes campos reservados do Log Service (SLS): __partition_time__, __source__ e __topic__.

• Uma tabela do MaxCompute (ODPS) pode ter no máximo 60.000 partições. Se esse limite for excedido, não será possível gravar dados na tabela.

• O campo reservado do sistema __extract_others__ era anteriormente denominado _extract_others_. O nome antigo ainda é suportado para fins de compatibilidade.

• Os valores das colunas de chave de partição do MaxCompute (ODPS) não podem ser palavras reservadas ou palavras-chave do MaxCompute (ODPS). Para mais informações, consulte Reserved words and keywords.

• As partições em uma tabela particionada do MaxCompute (ODPS) não podem estar vazias. É necessário mapear um campo específico, como um campo reservado do sistema ou um campo de log, para uma coluna de chave de partição. O valor do campo mapeado não pode estar vazio ou nulo. Se um campo de log for do tipo string, ele deve ser conversível para o tipo de dados da coluna de chave de partição. Se a conversão falhar e resultar em uma chave de partição vazia, o sistema descartará o log durante o envio.

• No Log Service (SLS), um campo de log pode ser mapeado para apenas uma coluna em uma tabela do MaxCompute (ODPS), seja uma coluna de dados ou uma coluna de chave de partição. A redundância de campos não é suportada.

Formato de partição de tempo

Informações de referência

• O campo __partition_time__

  Uma forma comum de filtrar dados no MaxCompute é usar o horário do log como coluna de chave de partição.

  • Formato

    O campo __partition_time__ é derivado do campo __time__ no Log Service (SLS). Ele gera uma string de tempo com base no fuso horário e no formato de tempo da partição. Para evitar exceder o limite de partições de uma única tabela do MaxCompute, o valor da chave de partição de data é alinhado em intervalos de 1.800 segundos (meia hora).

    Por exemplo, se o horário do log no Log Service for 27/Jan/2022 20:50:13 +0800, o SLS calcula o campo reservado __time__ como 1643287813 (timestamp Unix). A tabela a seguir mostra os valores da coluna de chave de partição de tempo para diferentes configurações.

    Formato de tempo de partição	__partition_time__
    %Y_%m_%d_%H_%M_00	2022_01_27_20_30_00
    %Y_%m_%d_%H_%M	2022_01_27_20_30
    %Y%m%d	20220127

  • Uso

    Usar __partition_time__ para filtrar dados evita uma varredura completa da tabela. Por exemplo, para consultar dados de log de 26 de dezembro de 2024:

    select * from {ODPS_TABLE_NAME} where log_partition_time >= "2024_12_26" and log_partition_time < "2024_12_27";

• O campo __receive_time__

  Uma maneira comum de filtrar dados no MaxCompute é usar o horário de chegada do log como coluna de chave de partição.

  • Formato

    Formato de tempo de partição	__receive_time__
    %Y_%m_%d_%H_%M_00	2022_01_27_20_30_00
    %Y_%m_%d_%H_%M	2022_01_27_20_30
    %Y%m%d	20220127

• Os campos __extract_others__ e __extract_others_all__

  • O campo __extract_others__ contém todos os campos não mapeados dos campos de log, excluindo __topic__, __tag__:* e __source__.

  • O campo __extract_others_all__ contém todos os campos não mapeados dos campos de log, incluindo __topic__, __tag__:* e __source__.

Exemplos de SDK

export_odps_sink_demo.py