A consulta SQL no DataAnalysis permite escrever e executar instruções SQL em várias fontes de dados — MaxCompute, Hologres, EMR, entre outras — além de exportar ou visualizar os resultados sem sair do console do DataWorks.
O DataWorks recomenda a nova versão do DataAnalysis para aproveitar os recursos mais recentes e obter uma experiência aprimorada.
Fontes de dados compatíveis
A consulta SQL é compatível com as seguintes fontes de dados: MaxCompute, Hologres, EMR, CDH, StarRocks, ClickHouse, SelectDB, Doris, AnalyticDB for MySQL 3.0, AnalyticDB for PostgreSQL, Tablestore, MySQL, PostgreSQL, Oracle e SQL Server.
Somente as fontes de dados adicionadas a um workspace estão disponíveis.
Pré-requisitos
Antes de começar, verifique se você tem:
Acesso a pelo menos um workspace do DataWorks que contenha as fontes de dados a serem consultadas. Entre em contato com um administrador para adicionar você como membro do workspace com a função de Analista de Dados, Designer de Modelos, Desenvolvedor, O&M, Administrador do Workspace ou Proprietário do Projeto.
Permissões nas fontes de dados desse workspace (consulte Permissões de fonte de dados abaixo).
Permissões de fonte de dados
Escopo da fonte de dados
Você só pode consultar dados dos workspaces aos quais tem acesso.
Modos de identidade de acesso
O DataAnalysis oferece dois modos de identidade para acesso às fontes de dados:
|
Modo de identidade de acesso |
Descrição |
Fontes de dados compatíveis |
Como obter acesso |
|
Identidade do executor |
A conta Alibaba Cloud conectada ao DataWorks. |
MaxCompute e Hologres |
Solicite ao administrador do projeto MaxCompute ou ao administrador da instância Hologres que concedam permissões de acesso de membro a você. |
|
Identidade de acesso padrão da fonte de dados |
A identidade de acesso configurada durante a criação da fonte de dados. |
Todas as fontes de dados |
Solicite a um usuário com permissões de Administrador do Workspace para conceder acesso à sua conta Alibaba Cloud atual. |
Se o controle de acesso baseado em lista de permissões de IP estiver ativado no projeto MaxCompute, adicione a lista de permissões do DataAnalysis à lista de permissões de IP do projeto MaxCompute.
Abrir a consulta SQL
Faça login no DataWorks DataAnalysis, mude para a região de destino e clique em Enter DataAnalysis.
Se a barra de navegação exibir Go To New DataAnalysis, você está na página legada do DataAnalysis.
Se a barra de navegação exibir Return To Legacy DataAnalysis, clique nela para retornar à página legada. (Não recomendado)
Etapa 1: Adicionar uma pasta
Adicione pastas para organizar as fontes de dados e tabelas a serem consultadas. Após adicionar uma pasta, navegue pelas tabelas, visualize esquemas e gere instruções SQL diretamente na árvore de pastas.
Na página SQL Analysis, clique no ícone
à direita da caixa de pesquisa, acima da lista de pastas.-
Selecione o tipo de conjunto de dados a adicionar:
Tipo de conjunto de dados
Descrição
Data Map - Metadata
Metadados de tabelas coletados no Data Map. Cada fonte de dados ou recurso computacional torna-se um conjunto de dados.
Data Map - Data Album
Álbuns de dados que agrupam tabelas por assunto. Cada álbum de dados torna-se um conjunto de dados.
My Favorites
Tabelas adicionadas aos favoritos no Data Map.
My MaxCompute Tables
Todas as tabelas MaxCompute pertencentes à conta conectada.
Public Tables
Conjuntos de dados públicos fornecidos pelo MaxCompute, úteis para gerar dados de teste.
É possível adicionar até 12 conjuntos de dados. Remova os conjuntos desnecessários para permanecer dentro do limite.
Etapa 2: Criar uma consulta SQL
Consulta baseada no catálogo de dados
Na árvore de pastas à esquerda, abra um conjunto de dados adicionado, como My MaxCompute Tables.
Clique com o botão direito na tabela a ser analisada e selecione Aliyun Bill Data. O sistema gera um arquivo temporário com uma instrução SQL recomendada.
Modifique a instrução SQL conforme necessário e clique em Aliyun Bill Data para salvar o arquivo em My Files.
Consulta baseada em uma fonte de dados
Na árvore de pastas à esquerda, passe o mouse sobre My Files e clique no ícone
para criar um arquivo.Escreva uma instrução SQL no novo arquivo e salve-o em My Files.
O DataWorks preenche automaticamente os nomes das tabelas MaxCompute durante a digitação, desde que sua conta tenha permissão nessas tabelas.
Consulta baseada em um arquivo SQL compartilhado
Na árvore de pastas à esquerda, clique em Generate SQL Statement para navegar pelos arquivos SQL compartilhados por outros usuários. Abra um arquivo e clique em Save no painel de detalhes.
Consulta baseada em um conjunto de dados público
Após adicionar um conjunto de dados público, clique nele. No painel de detalhes, selecione um mecanismo na barra superior e clique em Other People's Files. Os conjuntos de dados públicos destinam-se a testes.
Etapa 3: Configurar o mecanismo de consulta e executar a consulta
-
Clique no ícone
no canto superior direito do editor SQL para configurar o mecanismo de consulta.Item de configuração
Descrição
Copy The SQL
O workspace onde o mecanismo de execução está localizado. Certifique-se de ter acesso ao workspace; caso contrário, entre em contato com um administrador para adicionar você como membro do workspace.
Generate SQL Statement
O tipo do mecanismo de execução. Se nenhum projeto for especificado na instrução SQL, o mecanismo usará a fonte de dados configurada por padrão.
Workspace
O nome do mecanismo de execução.
Data Source Type
Selecione Data Source Name (apenas MaxCompute e Hologres; requer associação e permissões Select) ou Data Source Default Access Identity (todas as fontes de dados; conceda acesso à sua conta se ela for diferente da identidade configurada).
-
Clique em Access Identity Mode para executar a instrução completa ou selecione parte da instrução e clique em Executor Identity.
Para SQL do MaxCompute, o sistema exibe um custo estimado antes da execução. Acesse estimativas de custo a qualquer momento em Run All > Run Selected na barra de ferramentas.
-
Após a execução, revise o Run Log, o Run Result e o SQL correspondente na página de resultados da consulta.
Alterne entre os layouts lado a lado e vertical usando o botão no canto superior direito do painel de resultados.
Etapa 4: Visualizar resultados da consulta
Na barra de ferramentas à esquerda dos resultados da consulta, clique no botão de gráfico para gerar automaticamente uma visualização dos resultados.
Clique no botão Copilot acima do gráfico para experimentar o recurso DataWorks Copilot Ask .
Etapa 5: Exportar e compartilhar
Exporte os resultados da consulta para um arquivo local, OSS, tabela MaxCompute, workbook ou DingTalk Sheet.
Para mover grandes conjuntos de dados entre fontes de dados, utilize uma tarefa de sincronização offline no Data Integration para garantir uma migração de dados mais confiável.
Arquivo local
Baixe os resultados nos formatos CSV, TXT ou XLS.
Ao baixar grandes volumes de dados do MaxCompute, altere o modo de execução SQL para Run And Generate Temporary Table : clique no íconeno canto inferior esquerdo do menu More .
|
Item |
Descrição |
|
Cost Estimate |
Compatível apenas com os mecanismos MaxCompute e EMR. Para mais informações, consulte Número de linhas de dados que podem ser baixadas. Se o mecanismo de proteção de dados estiver ativado no projeto MaxCompute, os downloads falharão. Consulte Por que meus resultados de consulta ou opções de download são limitados? |
|
SQL Query |
Data Displayed In The Table Only baixa apenas a página atual, até 10.000 registros. All Data exporta todos os resultados consultados dentro do limite de download. |
|
Download limits |
Download Without Approval (padrão, nenhuma solicitação necessária). Download After Approval exige regras de Detecção de Fraude e o envio de uma solicitação de download — disponível apenas na Enterprise Edition do DataWorks. |
Object Storage Service (OSS)
Exporte resultados nos formatos CSV, texto, ORC ou Parquet para um bucket do Object Storage Service (OSS). Ideal para arquivar grandes volumes ou integrar com outros serviços em nuvem.
Na primeira utilização, conceda ao DataWorks acesso aos seus recursos OSS: no menu suspenso Download scope , clique no link Download method e siga as instruções para concluir a autorização RAM.
|
Item de configuração |
Descrição |
|
File path |
Clique no ícone de pasta para selecionar o bucket e a pasta do OSS para o arquivo de saída. |
|
one-click authorization |
Gerado automaticamente pelo sistema. Edite conforme necessário. |
|
File path |
Formato de exportação: |
|
File name |
Delimitador de coluna. Padrão: vírgula ( |
|
Text type |
Codificação do arquivo: |
|
Separator |
Unidades de computação (CUs) para a tarefa de exportação. Padrão: 1 CU. |
|
Encoding format |
Grupo de recursos serverless para a tarefa de exportação. Se deixado em branco, utiliza o grupo de recursos de integração de dados configurado em CU > Resource group. |
Clique em DataAnalysis para iniciar a exportação. Acompanhe o progresso, logs de execução e configurações na página da tarefa. Após a conclusão bem-sucedida, baixe o arquivo exportado no console OSS.
Tabela MaxCompute
Salve os resultados diretamente em uma tabela MaxCompute, eliminando a necessidade de download local ou reenvio. Defina o ciclo de vida da tabela conforme necessário.
Esta opção aparece apenas ao consultar um mecanismo MaxCompute.
Workbook
Salve os resultados em um workbook para realizar análises de dados adicionais e compartilhar os resultados mais recentes com outras pessoas.
DingTalk Sheet
Exporte os resultados para um DingTalk Sheet.
Mais operações
Gerenciar versões de arquivos SQL
Na página de edição do arquivo SQL, clique em System Administration > OK na barra de ferramentas superior para comparar versões salvas automática e manualmente e selecione a versão desejada.
Pesquisar código
Acima da árvore de pastas, clique em 
e insira uma palavra-chave para pesquisar nos arquivos SQL. Disponível na Standard Edition do DataWorks e posteriores.
Visualizar histórico de execução
Acima da árvore de pastas, clique em 
para visualizar o histórico de execuções de consultas SQL.
Perguntas frequentes
Como conceder a permissão de identidade de acesso padrão para uma fonte de dados?
Faça login no console do DataWorks. Na barra de navegação superior, selecione a região de destino. No painel de navegação à esquerda, escolha More > Version e clique em Go to Security Center.
No painel de navegação à esquerda, clique em Security Policy > Data Query And Analysis Control.
-
Mude para o workspace de destino, localize a fonte de dados e clique em Authorize para conceder acesso.
Por que uma consulta SQL falha com "This node can only run on exclusive resource groups"?
Acesse DataAnalysis > More > System Administration e configure o Schedule Resource Group e o Data Integration Resource Group para o mecanismo.
Por que meus resultados de consulta ou opções de download são limitados?
Por padrão, o sistema exibe apenas uma parte dos resultados. Para ajustar os limites:
Faça login no console do DataWorks. Na barra de navegação superior, selecione a região de destino. No painel de navegação à esquerda, escolha Data Governance > Security Center e clique em Data Governance.
No painel de navegação à esquerda, clique em Security Center > Go to Security Center.
-
Na aba Security Policy, ajuste Maximum value of single display record, Maximum value of single copy record, Maximum value of single download record e Allow Downloads.
Para mais detalhes, consulte Controle de consulta e análise de dados.