DataWorks:SQL query (new version)

Fontes de dados compatíveis

A consulta SQL é compatível com os seguintes tipos de fonte de dados: MaxCompute, Hologres, EMR, CDH, ADB for PostgreSQL, ADB for MySQL, ClickHouse, StarRocks, MySQL, PostgreSQL, Oracle, SQL Server, Doris, SelectDB e Lindorm Spark.

Permissões de fonte de dados

Acessar o recurso

Faça login no DataWorks DataAnalysis, alterne para a região desejada e clique em Go to DataAnalysis.

• Caso Switch to New DataAnalysis apareça na barra de navegação, clique nessa opção para mudar para a nova versão.

• Se Return to Legacy DataAnalysis estiver visível na barra de navegação, você já está na nova versão.

Criar uma consulta SQL

1. Passe o mouse sobre Personal Directory > My Files e clique em > New File .

   Você também pode clicar em New Folder para criar uma estrutura de pastas personalizada para seus arquivos de consulta SQL.

2. No editor SQL, escreva sua consulta.

   Importante

   Você também pode gerar instruções SQL das seguintes formas:

   • Na página Data Catalog, após add a data catalog, localize a tabela desejada, clique com o botão direito nela e selecione Generate Query SQL.

   • Copie uma consulta SQL compartilhada com você na pasta Shared Files.

   • Após escrever o código SQL, clique no botão Format na barra de ferramentas para formatar o código.

   • A consulta SQL oferece suporte ao Copilot. Clique no ícone do Copilot () no canto superior direito da barra de navegação para usar recursos como geração de código e correção de código, auxiliando na escrita. O Copilot também fornece conclusão de código diretamente no editor para aumentar sua eficiência.

   Exemplo de SQL

   A instrução SQL a seguir consulta os public GitHub event data no MaxCompute:

   -- Enable session-level schema syntax.
   SET odps.namespace.schema=true; 
   -- Query 100 rows from the dwd_github_events_odps table.
   SELECT * FROM bigdata_public_dataset.github_events.dwd_github_events_odps WHERE ds='${dt}' LIMIT 100;

   Nota

   • Ao consultar um projeto MaxCompute com schema syntax habilitado, adicione SET odps.namespace.schema=true; antes da instrução de consulta. Isso ativa a sintaxe de schema no nível de sessão e evita falhas na consulta.

   • Por padrão, a consulta executa na fonte de dados definida na Run Configuration atual. Para consultar outros projetos MaxCompute dos quais você é membro, especifique explicitamente o nome do projeto na instrução. Por exemplo, se o recurso de computação nas configurações de execução for o MaxCompute A e sua instrução especificar o MaxCompute B (SELECT * FROM B.schema_name.table_name WHERE ****), o sistema usará o mecanismo de execução de A para consultar dados em B.

3. Depois de escrever a consulta SQL, clique em Run Configuration à direita para definir configurações como Data Source e Script Parameters.

   • Type: selecione o data source type alvo para a consulta SQL. Se o tipo de fonte de dados for MaxCompute, configure as cotas de computação. Os métodos de faturamento pagamento conforme o uso e assinatura são compatíveis tanto com processamento em lote quanto com cenários interativos. Para mais detalhes sobre como gerenciar cotas do MaxCompute, consulte Manage computing resources (quotas).

   • Computing Resource: define a fonte de dados alvo para a consulta SQL. Ao consultar exclusivamente dados do MaxCompute, conexões diretas ou de fonte de dados são compatíveis. Para outros tipos de fontes, consulte apenas dados em workspaces onde você tenha permissão. Para mais informações sobre permissões, veja Data source permissions.

   • Script Parameters: caso sua consulta SQL use variáveis de parâmetro, atribua valores a elas durante a execução.

     Importante

     Se a análise falhar, acesse Management > Settings no canto inferior esquerdo, pesquise por parsing e marque a caixa de seleção Enable DataWorks ISP code parameter function.

4. Na barra de ferramentas do editor SQL, clique em Run. Alternativamente, clique no ícone de seta ao lado do botão Run para alterar o modo de execução. Escolha o modo adequado ao seu cenário.

   Modo de execução	Caso de uso	Condição de acionamento	Engine aplicável
   Query mode (LIMIT 10000)	Visualizar dados rapidamente e validar a lógica da consulta. Ideal para exploração inicial de dados quando apenas uma pequena amostra dos resultados é necessária.	O resultado contém ≤ 10.000 linhas e tamanho ≤ 10 MB.	Todas
   Query mode (full data)	Recuperar o conjunto completo de resultados para análise ou exportação. O sistema aciona este modo automaticamente quando é necessário processar e visualizar todos os dados.	O resultado contém > 10.000 linhas ou tamanho > 10 MB.	Todas
   Temporary table mode	Reutilizar resultados em consultas complexas de múltiplas etapas. Permite usar a saída de uma consulta como entrada para a seguinte, melhorando a eficiência de desenvolvimento e depuração.	O resultado contém ≤ 10.000 linhas e tamanho ≤ 10 MB. O resultado é gravado automaticamente em uma tabela temporária.	Apenas MaxCompute

5. Após a execução da consulta SQL, visualize o Operational Log, os Results e o código SQL correspondente na página de resultados.

   Use o botão no canto superior direito dos resultados da consulta para alternar entre o layout lado a lado e o layout vertical.

Visualizar campos do tipo BLOB

O MaxCompute é compatível com campos do tipo BLOB, que armazenam objetos binários grandes, como imagens e textos. Na tabela de resultados da consulta, clique duas vezes em uma célula de campo BLOB para visualizar seu conteúdo na caixa de diálogo Current field value.

A caixa de diálogo Current field value abre na Blob view por padrão e seleciona automaticamente um formato de exibição com base nos dados retornados:

• Para formatos de imagem como JPEG, PNG, GIF, WebP, BMP ou ICO, a caixa de diálogo renderiza a imagem diretamente. Para salvar a imagem, clique com o botão direito nela e selecione Save as.

• Para formatos de texto, incluindo text/*, application/json e application/xml, a caixa de diálogo exibe o conteúdo como texto somente leitura.

Use os botões na parte inferior da caixa de diálogo para alternar entre Blob view, Text view e JSON view.

Visualizar resultados da consulta

Na barra de ferramentas à esquerda dos resultados da consulta, clique no botão para gerar automaticamente um gráfico a partir dos resultados.

Exportar e compartilhar

À direita dos resultados da consulta SQL, clique em Export. As seguintes opções de exportação são compatíveis:

• Local File: baixa os resultados da consulta para o seu computador local como um arquivo CSV. A tabela a seguir fornece detalhes.

  Item	Descrição
  Limites de download	Apenas os engines MaxCompute, EMR e Lindorm Spark são compatíveis. Para mais informações, consulte Data download limits. Se o data protection mechanism estiver habilitado para o projeto MaxCompute, proibindo downloads de dados, os downloads via DataAnalysis falharão.
  Scope	Escolha entre baixar Only Data Displayed in Table ou All Data. Only Data Displayed in Table: baixa apenas os dados exibidos na página atual. Por padrão, o limite máximo é de 10000 linhas. All Data: exporta todos os resultados da consulta dentro do limite de exportação.
  Método de download	Selecione Download After Approval ou Download Without Approval. Download com aprovação: este método exige uma solicitação de aprovação para baixar dados. Garante maior segurança ao usar risk detection rules configuráveis para identificar riscos potenciais nos dados. Nota Apenas o DataWorks Enterprise Edition é compatível com regras de detecção de risco. Download sem aprovação: método padrão. Não requer aprovação.

• Object Storage Service (OSS): exporta os resultados da consulta para um bucket do Object Storage Service (OSS) em um formato especificado, como CSV ou Parquet. Esta opção é adequada para arquivar grandes volumes de dados ou integrar com outros produtos cloud.

  Na primeira vez que usar este recurso, conceda permissão ao DataWorks para acessar seus recursos OSS. Na lista suspensa File path , clique no link one-click authorization no aviso e siga as instruções na tela para concluir a autorização RAM.

  Parâmetro	Descrição
  File path	Clique no ícone de pasta à direita para selecionar o bucket e o diretório OSS onde deseja armazenar o arquivo de resultado.
  File name	O sistema gera automaticamente um nome de arquivo, que também pode ser modificado.
  File format	Selecione o formato do arquivo. Formatos compatíveis: csv, text, orc e parquet.
  Delimiter	Delimitador usado para separar colunas. O delimitador padrão é a vírgula (,).
  Encoding format	Formato de codificação do arquivo, como UTF-8 ou GBK.
  CU	Número de unidades de computação (CUs) para a tarefa de exportação. Valor padrão: 1.
  Resource group	Selecione o grupo de recursos Serverless para executar esta tarefa de exportação. Se nenhum grupo for selecionado, será utilizado o grupo de recursos de integração de dados definido em DataAnalysis > System Administration.

  Após configurar os parâmetros, clique em OK para iniciar a tarefa de exportação. Na página de execução da tarefa, acompanhe o progresso da exportação, o log operacional e os detalhes da configuração. Após a conclusão bem-sucedida, acesse o console OSS para baixar o arquivo exportado para o seu computador local.

• DingTalk Sheet: exporta os resultados para uma planilha do DingTalk. Para mais informações, consulte Spreadsheet.

• Workbooks e compartilhamento: salve os dados da consulta em uma pasta de trabalho para perform further analysis. Você também pode compartilhar os resultados mais recentes de uma análise de workbook com outras pessoas.

Compartilhar arquivos

A nova versão do DataAnalysis é compatível com compartilhamento no nível de arquivo para consultas SQL, arquivos Notebook e pastas. Compartilhe rapidamente um arquivo ou pasta com seus colaboradores. Os itens compartilhados aparecem na pasta Shared Files do destinatário, que possui acesso somente leitura para visualizá-los ou copiá-los.

Compartilhe a partir de qualquer um dos seguintes pontos de entrada:

• Compartilhar um arquivo da página de edição: abra a consulta SQL ou o arquivo Notebook desejado. Na barra de ferramentas na parte superior da página de edição, clique em Share.

• Compartilhar um arquivo da árvore de arquivos: na árvore de arquivos à esquerda, clique com o botão direito na consulta SQL ou no arquivo Notebook alvo e selecione Share.

• Compartilhar uma pasta da árvore de arquivos: na árvore de arquivos à esquerda, clique com o botão direito na pasta desejada e selecione Share. Ao compartilhar uma pasta, todos os arquivos contidos nela são compartilhados juntos.

Na caixa de diálogo Share exibida, defina as configurações abaixo e clique em OK:

• Sharing method: selecione Workspace ou Alibaba Cloud account.

• Sharing scope: com base no método de compartilhamento escolhido, selecione os workspaces ou contas Alibaba Cloud específicos com quem compartilhar. Seleções múltiplas são compatíveis.

• Link address: disponível apenas ao compartilhar uma consulta SQL ou arquivo Notebook. Clique em Copy Link para copiar o link de compartilhamento e envie-o aos seus colaboradores para que possam abrir o arquivo diretamente pelo link. Nenhum endereço de link é fornecido ao compartilhar uma pasta.