DataWorks:Nó SQL do MaxCompute

Introdução

O SQL do MaxCompute processa e consulta dados no MaxCompute. Ele oferece suporte a operações SQL comuns, como SELECT, INSERT, UPDATE e DELETE, além de sintaxe e funções específicas do MaxCompute. Para obter mais informações sobre a sintaxe SQL, consulte SQL overview.

Pré-requisitos

• Você possui bound a MaxCompute compute engine ao workspace do DataWorks.

• (Opcional, para usuários RAM) O usuário RAM responsável pelo desenvolvimento da tarefa deve ser membro do workspace e ter a função Development ou Workspace Administrator. A função Workspace Administrator inclui permissões amplas e deve ser concedida com cautela. Para obter mais informações sobre como adicionar um membro a um workspace, consulte Add members to a workspace.

  Nota

  Se você estiver usando uma conta Alibaba Cloud, poderá pular esta etapa.

Limitações

As seguintes limitações se aplicam ao desenvolvimento SQL no nó SQL do MaxCompute:

Observações

• Certifique-se de que a conta usada para executar tarefas SQL do MaxCompute tenha as permissões necessárias no projeto correspondente do MaxCompute. Para obter mais informações, consulte DataWorks On MaxCompute permission control e MaxCompute authorization.

• A execução de tarefas SQL do MaxCompute depende de recursos de cota. Se sua tarefa demorar muito para ser executada, acesse o console do MaxCompute para verificar o consumo de recursos de cota e garantir que haja recursos suficientes disponíveis para a execução. Para obter mais informações, consulte View quota resource consumption.

• Ao desenvolver tarefas de nó SQL do MaxCompute, parâmetros especiais, como caminhos do OSS, devem estar entre aspas duplas. A ausência de aspas pode causar exceções de análise da tarefa, resultando em falhas na execução.

• Ao executar instruções relacionadas a palavras-chave (SET, USE) em diferentes ambientes no DataWorks, a ordem de execução varia. Para obter mais informações, consulte Appendix 1: SQL execution order in different environments.

• Em alguns casos extremos, como falta de energia no servidor ou failover primário/secundário, o DataWorks pode não conseguir encerrar completamente as tarefas relacionadas do MaxCompute. Nessa situação, acesse o projeto correspondente do MaxCompute para terminate the job.

• Quando o objetivo principal de uma tarefa é criar uma nova tabela (por exemplo, DROP TABLE seguido por CREATE TABLE AS SELECT), o mecanismo do MaxCompute realiza uma verificação prévia de metadados antes da execução. Se a tabela já existir, um erro é retornado diretamente. Para a criação inicial da tabela, use CREATE TABLE IF NOT EXISTS. Para gravações subsequentes de dados, utilize INSERT OVERWRITE TABLE ... SELECT ....

• É possível controlar o modo de execução SQL definindo o parâmetro odps.task.sql.realtime. Defina o valor como true para ativar o modo Online para execução em tempo real, ou defina o valor como false para forçar o modo Offline. Coloque este parâmetro no início do seu código SQL, antes das instruções SQL de negócio. Exemplo:

  SET odps.task.sql.realtime=true; -- Your business SQL statements SELECT * FROM my_table;

• A modificação direta de um tipo de dados de coluna de STRING para tipos complexos, como STRUCT, não é suportada. Se o erro ODPS-0130071 for retornado, verifique se a conversão de tipo de campo está em conformidade com as regras semânticas e evite operações de conversão de tipo não suportadas.

Criar um nó SQL do MaxCompute

Para obter informações sobre como criar um nó, consulte Create a MaxCompute SQL node.

Desenvolver um nó SQL do MaxCompute

Na página de edição do nó SQL do MaxCompute, realize as seguintes operações.

Depurar um nó SQL do MaxCompute

1. Configure os parâmetros relevantes no painel Run Configuration no lado direito da página de edição do nó.

   Parâmetro	Descrição
   Compute resource	Selecione o recurso de computação do MaxCompute que você associou ao workspace.
   Compute quota	Selecione a cota de computação para fornecer os recursos de computação necessários (CPU e memória) para jobs de computação. Se nenhuma cota de computação estiver disponível, clique em Create Compute Quota na lista suspensa e crie uma cota no console do MaxCompute. Para obter mais informações, consulte Create a compute quota.
   Resource group	Selecione um grupo de recursos de agendamento que tenha passado no teste de conectividade com o recurso de computação. Para obter mais informações, consulte Resource groups for scheduling.

2. Na caixa de diálogo de parâmetros na barra de ferramentas, selecione a fonte de dados do MaxCompute que você criou e, em seguida, clique em Run para executar a tarefa SQL do MaxCompute.

Visualizar resultados

• Os resultados são exibidos em formato de planilha. Você pode realizar operações no DataWorks, abrir os resultados em uma planilha ou copiar e colar o conteúdo em um arquivo Excel local.

  Nota

  Devido a alterações nas informações de fuso horário da china divulgadas pela Organização Internacional para Padronização (ISO), podem ocorrer discrepâncias na exibição de datas para determinados períodos ao executar instruções SQL relacionadas por meio do DataWorks: uma diferença de 5 minutos e 52 segundos para datas entre 1900 e 1928, e uma diferença de 9 segundos para datas anteriores a 1900.

• Log de execução: Na aba dos resultados, clique em Logview para visualizar os logs. Para obter mais informações, consulte LogView.

• Ordenar resultados: Na página de resultados, clique em menu suspenso no cabeçalho da coluna correspondente, selecione a ordem crescente ou decrescente na seção Sort e, em seguida, confirme para ordenar os resultados.

• Visualizar colunas BLOB: O MaxCompute suporta o tipo de dados BLOB para armazenar objetos binários, como imagens e arquivos de áudio. Nos resultados, clique em duas vezes em uma célula desse tipo de dados para visualizar o conteúdo na caixa de diálogo Current Field Value (imagens são renderizadas diretamente; texto é exibido em modo somente leitura). Você pode alternar entre Blob View, Text View e JSON View usando os botões na parte inferior da caixa de diálogo.

• Exibição em notação científica: No ambiente de desenvolvimento de dados do DataWorks, valores numéricos nos resultados de consulta podem ser exibidos em notação científica. Trata-se de uma questão de exibição do frontend e não afeta os valores reais dos dados. Para garantir que os valores numéricos sejam exibidos conforme esperado, use a função CAST em seu SQL para converter manualmente o tipo de dados. Por exemplo, use CAST(column_name AS STRING) para converter um valor numérico em string para exibição. Você também pode verificar a precisão dos dados no módulo DataAnalysis.

Próximas etapas

• Configure schedule settings: Se os nós no diretório do projeto precisarem ser agendados periodicamente, configure a Scheduling Policy e as propriedades de agendamento relacionadas no painel Scheduling Settings no lado direito do nó.

• Deploy a node: Se uma tarefa precisar ser implantada no ambiente de produção, clique em ícone na página para iniciar o processo de implantação. Os nós no diretório do projeto são agendados periodicamente somente após serem implantados no ambiente de produção.

Apêndice 1: Ordem de execução SQL em diferentes ambientes

Ao executar instruções relacionadas a palavras-chave (SET, USE) em diferentes ambientes do DataWorks para um nó SQL do MaxCompute, a ordem de execução varia.

• Execução no Data Studio: Todas as instruções de palavra-chave (SET, USE) no código da tarefa atual são mescladas e prefixadas a todas as instruções SQL.

• Execução no ambiente de agendamento: As instruções são executadas na ordem em que foram escritas.

Suponha que o seguinte código esteja definido em um nó.

SET a=b;
CREATE TABLE name1(id string);
SET c=d;
CREATE TABLE name2(id string);

A ordem de execução varia por ambiente da seguinte forma:

SET a=b;
SET c=d;
CREATE TABLE name1(id string);

SET a=b;
CREATE TABLE name1(id string);

SET a=b;
SET c=d;
CREATE TABLE name2(id string);

SET c=d;
CREATE TABLE name2(id string);

Apêndice 2: Práticas de Lakehouse

Para ler e gravar em tabelas de dados DLF em tarefas SQL do MaxCompute, utilize projetos externos do MaxCompute (External Project). Projetos externos permitem acesso em tempo real a metadados e dados mapeando catálogos DLF. Eles delegam o gerenciamento de permissões ao DLF e suportam acesso a metadados e operações de leitura/gravação em dados gerenciados pelo DLF armazenados no OSS. Para obter mais informações, consulte MaxCompute external projects.

FAQ

Referências

Para obter mais exemplos de tarefas SQL do MaxCompute, consulte os seguintes tópicos:

• JOIN operations in MaxCompute SQL

• Migrate JSON data from OSS to MaxCompute

• Unified batch and real-time analytics on GitHub events

• Convert IP addresses to geolocations with MaxCompute UDFs

• Build a MaxCompute data lakehouse by using DataWorks and DLF

• SQL query optimization

• Policy-based permission management for users assigned built-in roles

• Implement capabilities provided by the GROUP_CONCAT function

• Merge small files