DataWorks:SQL query (new version)

Fontes de dados compatíveis

A consulta SQL é compatível com os seguintes tipos de fonte de dados: MaxCompute, Hologres, EMR, CDH, ADB for PostgreSQL, ADB for MySQL, ClickHouse, StarRocks, MySQL, PostgreSQL, Oracle, SQL Server, Doris, SelectDB e Lindorm Spark.

Permissões de fonte de dados

Acessar o recurso

Faça login no DataWorks DataAnalysis, alterne para a região desejada e clique em Go to DataAnalysis.

• Se Switch to New DataAnalysis aparecer na barra de navegação, clique nessa opção para mudar para a nova versão.

• Se Return to Legacy DataAnalysis estiver visível na barra de navegação, você já está na nova versão.

Criar uma consulta SQL

1. Passe o mouse sobre Personal Directory > My Files e clique em > New SQL File.

   Você também pode clicar em New Folder para criar uma estrutura de pastas personalizada para seus arquivos de consulta SQL.

2. No editor SQL, escreva sua consulta.

   Importante

   Você também pode gerar instruções SQL das seguintes formas:

   • Na página Data Catalog, após adicionar um catálogo de dados, localize a tabela desejada, clique com o botão direito nela e selecione Generate Query SQL.

   • Copie uma consulta SQL compartilhada com você na pasta Shared Files.

   • Após escrever o código SQL, clique no botão Format na barra de ferramentas para formatar o código.

   • A consulta SQL oferece suporte ao Copilot. Clique no ícone do Copilot () no canto superior direito da barra de navegação para usar recursos como geração de código e correção de código, facilitando a escrita. O Copilot também fornece preenchimento automático de código no editor para aumentar sua eficiência.

   Exemplo de SQL

   A instrução SQL a seguir consulta os dados públicos de eventos do GitHub no MaxCompute:

   -- Enable session-level schema syntax.
   SET odps.namespace.schema=true; 
   -- Query 100 rows from the dwd_github_events_odps table.
   SELECT * FROM bigdata_public_dataset.github_events.dwd_github_events_odps WHERE ds='${dt}' LIMIT 100;

   Nota

   • Ao consultar um projeto MaxCompute com sintaxe de schema ativada, adicione SET odps.namespace.schema=true; antes da instrução de consulta. Isso habilita a sintaxe de schema no nível de sessão e evita falhas na consulta.

   • Por padrão, a consulta executa na fonte de dados definida na Run Configuration atual. Para consultar outros projetos MaxCompute dos quais você é membro, especifique explicitamente o nome do projeto na instrução de consulta. Por exemplo, se o recurso de computação nas configurações de execução for o MaxCompute A e sua instrução especificar o MaxCompute B (SELECT * FROM B.schema_name.table_name WHERE ****), o sistema usará o mecanismo de execução de A para consultar dados em B.

3. Depois de escrever a consulta SQL, clique em Run Configuration à direita para definir configurações como Data Source e Script Parameters.

   • Type: selecione o tipo de fonte de dados desejado para a consulta SQL. Se o tipo for MaxCompute, configure as cotas de computação. Os métodos de faturamento pagamento conforme o uso e assinatura são compatíveis tanto com processamento em lote quanto com cenários interativos. Para mais detalhes sobre como gerenciar cotas do MaxCompute, consulte Gerenciar recursos de computação (cotas).

   • Computing Resource: define a fonte de dados de destino para a consulta SQL. Ao consultar apenas dados do MaxCompute, conexões diretas ou conexões de fonte de dados são compatíveis. Para outros tipos de fontes, consulte apenas dados em workspaces onde você tenha permissão. Para mais informações sobre permissões, veja Permissões de fonte de dados.

   • Script Parameters: se sua consulta SQL usar variáveis de parâmetro, atribua valores a elas durante a execução.

     Importante

     Se a análise falhar, acesse Management > Settings no canto inferior esquerdo, pesquise por parsing e marque a caixa de seleção Enable DataWorks ISP code parameter function.

4. Na barra de ferramentas do editor SQL, clique em Run. Alternativamente, clique no ícone de seta ao lado do botão Run para alterar o modo de execução. Escolha o modo adequado ao seu cenário.

   Modo de execução	Caso de uso	Condição de acionamento	Engine aplicável
   Query mode (LIMIT 10000)	Visualizar dados rapidamente e validar a lógica da consulta. Ideal para exploração inicial de dados quando apenas uma pequena amostra dos resultados é necessária.	O resultado da consulta contém ≤ 10.000 linhas e tamanho ≤ 10 MB.	Todas
   Query mode (full data)	Recuperar o conjunto completo de resultados para análise ou exportação. O sistema ativa este modo automaticamente quando é necessário processar e visualizar todos os dados.	O resultado da consulta contém > 10.000 linhas ou tamanho > 10 MB.	Todas
   Temporary table mode	Reutilizar resultados em consultas complexas de múltiplas etapas. Permite usar a saída de uma consulta como entrada para a seguinte, melhorando a eficiência de desenvolvimento e depuração.	O resultado da consulta contém ≤ 10.000 linhas e tamanho ≤ 10 MB. O resultado é gravado automaticamente em uma tabela temporária.	Apenas MaxCompute

5. Após a execução da consulta SQL, visualize o Operational Log, os Results e o código SQL correspondente na página de resultados.

   Use o botão no canto superior direito dos resultados da consulta para alternar entre o layout lado a lado e o layout vertical.

Visualizar campos do tipo BLOB

O MaxCompute aceita campos do tipo BLOB, que armazenam objetos binários grandes, como imagens e texto. Na tabela de resultados da consulta, clique duas vezes em uma célula de campo BLOB para visualizar seu conteúdo na caixa de diálogo Current field value.

A caixa de diálogo Current field value abre no Blob view por padrão e seleciona automaticamente um formato de exibição com base nos dados retornados:

• Para formatos de imagem como JPEG, PNG, GIF, WebP, BMP ou ICO, a caixa de diálogo renderiza a imagem diretamente. Para salvar a imagem, clique com o botão direito nela e selecione Save as.

• Para formatos de texto, incluindo text/*, application/json e application/xml, a caixa de diálogo exibe o conteúdo como texto somente leitura.

Use os botões na parte inferior da caixa de diálogo para alternar entre Blob view, Text view e JSON view.

Visualizar resultados da consulta

Na barra de ferramentas à esquerda dos resultados da consulta, clique no botão para gerar automaticamente um gráfico a partir dos resultados.

Exportar e compartilhar

À direita dos resultados da consulta SQL, clique em Export. As seguintes opções de exportação estão disponíveis:

• Local File: baixa os resultados da consulta para o seu computador local como um arquivo CSV. A tabela a seguir apresenta os detalhes.

  Item	Descrição
  Limites de download	Somente as engines MaxCompute, EMR e Lindorm Spark são compatíveis. Para mais informações, consulte Limites de download de dados. Se o mecanismo de proteção de dados estiver ativado para o projeto MaxCompute, proibindo downloads de dados, os downloads pelo DataAnalysis falharão.
  Scope	Escolha entre baixar Only Data Displayed in Table ou All Data. Only Data Displayed in Table: baixa apenas os dados exibidos na página atual. Por padrão, o limite máximo é de 10000 linhas. All Data: exporta todos os resultados da consulta dentro do limite de exportação.
  Método de download	Selecione Download After Approval ou Download Without Approval. Download com aprovação: este método exige uma solicitação de aprovação para baixar dados. Garante maior segurança ao usar regras de detecção de riscos configuráveis para identificar possíveis riscos nos dados. Nota Somente a Enterprise Edition do DataWorks aceita regras de detecção de riscos. Download sem aprovação: método padrão. Não requer aprovação.

• Object Storage Service (OSS): exporta os resultados da consulta para um bucket do Object Storage Service (OSS) em um formato especificado, como CSV ou Parquet. Esta opção é adequada para arquivar grandes volumes de dados ou integrar com outros produtos de nuvem.

  Na primeira vez que usar este recurso, conceda permissão ao DataWorks para acessar seus recursos do OSS. Na lista suspensa File path , clique no link one-click authorization no aviso e siga as instruções na tela para concluir a autorização RAM.

  Parâmetro	Descrição
  File path	Clique no ícone de pasta à direita para selecionar o bucket e o diretório do OSS onde deseja armazenar o arquivo de resultado.
  File name	O sistema gera automaticamente um nome de arquivo, que também pode ser modificado.
  File format	Selecione o formato do arquivo. Formatos compatíveis: csv, text, orc e parquet.
  Delimiter	Delimitador usado para separar colunas. O delimitador padrão é a vírgula (,).
  Encoding format	Formato de codificação do arquivo, como UTF-8 ou GBK.
  CU	Número de unidades de computação (CUs) para a tarefa de exportação. Valor padrão: 1.
  Resource group	Selecione o grupo de recursos Serverless para executar esta tarefa de exportação. Se nenhum grupo for selecionado, será utilizado o grupo de recursos de integração de dados definido em DataAnalysis > System Administration.

  Após configurar os parâmetros, clique em OK para iniciar a tarefa de exportação. Na página de execução da tarefa, acompanhe o progresso da exportação, o log operacional e os detalhes da configuração. Após a conclusão bem-sucedida da tarefa, acesse o console do OSS para baixar o arquivo exportado para o seu computador local.

• DingTalk Sheet: exporta os resultados para uma planilha do DingTalk. Para mais informações, consulte Planilha.

• Pastas de trabalho e compartilhamento: salve os dados da consulta em uma pasta de trabalho para realizar análises adicionais. Você também pode compartilhar os resultados mais recentes de uma pasta de trabalho com outras pessoas.

Compartilhar arquivos

A nova versão do DataAnalysis aceita compartilhamento no nível de arquivo para consultas SQL, arquivos Notebook e pastas. Compartilhe rapidamente um arquivo ou pasta com seus colaboradores. Os itens compartilhados aparecem na pasta Shared Files do destinatário, que possui acesso somente leitura para visualizá-los ou copiá-los.

Use qualquer um dos seguintes pontos de entrada para compartilhar:

• Compartilhar um arquivo pela página de edição: abra a consulta SQL ou o arquivo Notebook desejado. Na barra de ferramentas na parte superior da página de edição, clique em Share.

• Compartilhar um arquivo pela árvore de arquivos: na árvore de arquivos à esquerda, clique com o botão direito na consulta SQL ou no arquivo Notebook desejado e selecione Share.

• Compartilhar uma pasta pela árvore de arquivos: na árvore de arquivos à esquerda, clique com o botão direito na pasta desejada e selecione Share. Ao compartilhar uma pasta, todos os arquivos contidos nela são compartilhados juntos.

Na caixa de diálogo Share exibida, defina as configurações a seguir e clique em OK:

• Sharing method: selecione Workspace ou Alibaba Cloud account.

• Sharing scope: com base no método de compartilhamento escolhido, selecione os workspaces ou contas Alibaba Cloud específicos com os quais deseja compartilhar. Seleções múltiplas são permitidas.

• Link address: disponível apenas ao compartilhar uma consulta SQL ou arquivo Notebook. Clique em Copy Link para copiar o link de compartilhamento e envie-o aos seus colaboradores para que possam abrir o arquivo diretamente pelo link. Nenhum endereço de link é fornecido ao compartilhar uma pasta.