DataWorks:Desenvolver uma tarefa ODPS SQL

Comandos SQL

Os comandos MaxCompute SQL usam sintaxe similar à SQL padrão e aceitam instruções DDL, DML e DQL, além de sintaxes específicas do MaxCompute. Consulte SQL overview para ver requisitos de sintaxe e exemplos de uso de cada comando. O exemplo simples abaixo demonstra como desenvolver e executar comandos SQL.

• Criar uma tabela

  Use a instrução CREATE TABLE para criar tabelas não particionadas, particionadas, externas ou clusterizadas. Consulte CREATE TABLE para mais detalhes. Exemplo de instrução SQL:

  -- Create a partitioned table named test1.
  CREATE TABLE if NOT EXISTS students
  ( id BIGINT,
    name STRING,
    age BIGINT,
    birth DATE)
  partitioned BY (gender STRING); 

• Inserir dados

  Use a instrução INSERT INTO ou INSERT OVERWRITE para inserir ou atualizar dados em uma tabela de destino. Veja Insert or overwrite data (INSERT INTO | INSERT OVERWRITE) para mais informações. Exemplos de instruções SQL:

  -- Insert data.
  INSERT INTO students PARTITION(gender='boy') VALUES (1,'John',15,DATE '2008-05-15') ;
  INSERT INTO students PARTITION(gender='boy') VALUES (2,'Jack',17,DATE '2006-07-20') ;
  INSERT INTO students PARTITION(gender='girl') VALUES (3,'Alice',20,DATE '2003-04-20') ;
  INSERT INTO students PARTITION(gender='girl') VALUES (4,'Lily',21,DATE '2002-01-08') ;
  INSERT INTO students PARTITION(gender='boy') VALUES (5,'Bob',17,DATE '2006-09-12') ;

  Importante

  Evite usar a instrução INSERT INTO para inserir dados, pois isso pode causar duplicação acidental. Recomendamos o uso da instrução INSERT OVERWRITE como alternativa. Consulte Insert or overwrite data para saber mais.

• Consultar dados

  A instrução SELECT permite realizar operações como consultas aninhadas, agrupamentos e ordenação. Para mais detalhes, veja SELECT syntax. Exemplos de instruções SQL:

  -- (Optional) Enable full table scan at the project level. This operation requires high-level permissions.
  -- SETPROJECT odps.sql.allow.fullscan=true;  
  
  -- Enable full table scan at the session level. This setting is valid only for the current session.
  SET odps.sql.allow.fullscan=true; 
  -- Query the information about all boys and sort the results by ID in ascending order.
  SELECT * FROM students WHERE gender='boy' ORDER BY id;

  Nota

  Por padrão, usuários RAM não têm permissão de consulta em tabelas de produção. Para consultar essas tabelas, envie uma solicitação no Security Center. Consulte MaxCompute data permission control details para entender as predefinições de permissões de dados do MaxCompute e o controle de acesso no DataWorks. Para conceder permissões via comandos no MaxCompute, veja Manage user permissions by using commands.

Funções SQL

O MaxCompute oferece funções integradas e funções definidas pelo usuário (UDFs) para desenvolvimento e análise de dados. Consulte Overview of built-in functions para saber mais sobre funções integradas e MaxCompute UDF overview para UDFs. O exemplo abaixo ilustra o uso de funções SQL.

• Funções integradas: Já vêm pré-instaladas no MaxCompute e podem ser chamadas diretamente. Seguindo o exemplo anterior, use a função dateadd para modificar a coluna birth conforme unidade e intervalo especificados. Exemplo de comando:

  -- Enable full table scan at the session level. This setting is valid only for the current session.
  SET odps.sql.allow.fullscan=true; 
  SELECT id, name, age, birth, dateadd(birth,1,'mm') AS birth_dateadd FROM students;

• Funções definidas pelo usuário (UDFs): Para usar uma UDF, escreva o código da função, faça upload dele como resource e registre a função. Consulte Create and use a UDF para mais detalhes.

Execução e resultados

• Os resultados da execução aparecem diretamente em formato de planilha. É possível interagir com os dados no DataWorks, abri-los como planilha ou copiar e colar o conteúdo em um arquivo Excel local. Consulte Debug tasks para mais informações.

  Nota

  Devido a um ajuste nas informações de fuso horário da china publicado pela Organização Internacional de Normalização (ISO), pode haver discrepância na exibição de datas ao executar consultas SQL relevantes no DataWorks. A diferença é de 5 minutos e 52 segundos para datas entre 1900 e 1928, e de 9 segundos para datas anteriores a 1900.

• Log de execução: Clique em na aba Operational Logs para visualizar o Logview. Consulte View job information by using Logview V2.0 para mais detalhes.

• Resultados retornados:

  • Consulte as informações de todos os meninos e ordene os resultados por ID em ordem crescente.

    +------------+------------+------------+------------+------------+
    | id         | name       | age        | birth      | gender     |
    +------------+------------+------------+------------+------------+
    | 1          | John       | 15         | 2008-05-15 | boy        |
    | 2          | Jack       | 17         | 2006-07-20 | boy        |
    | 5          | Bob        | 17         | 2006-09-12 | boy        |
    +------------+------------+------------+------------+------------+

  • Modifique a coluna birth conforme unidade e intervalo especificados.

    +------------+------------+------------+------------+---------------+
    | id         | name       | age        | birth      | birth_dateadd |
    +------------+------------+------------+------------+---------------+
    | 4          | Lily       | 21         | 2002-01-08 | 2002-02-08    |
    | 3          | Alice      | 20         | 2003-04-20 | 2003-05-20    |
    | 2          | Jack       | 17         | 2006-07-20 | 2006-08-20    |
    | 1          | John       | 15         | 2008-05-15 | 2008-06-15    |
    | 5          | Bob        | 17         | 2006-09-12 | 2006-10-12    |
    +------------+------------+------------+------------+---------------+

  Na página de resultados da consulta, ordene os dados por um campo específico e baixe o resultado. Consulte Process query results para mais informações.