SQL查詢與資料分析 - DataWorks

如果需要快速地對資料進行查詢與分析，您可以使用SQL語句查詢MaxCompute、EMR Hive、Hologres等資料來源。本文為您介紹如何通過SQL語句查詢資料來源。

重要

本文檔適用於新版資料分析，舊版操作請參見SQL查詢（舊版）。您可通過導覽列切換新舊版資料分析。

支援的資料來源

SQL查詢支援的資料來源類型包含：MaxCompute、Hologres、EMR、CDH、ADB for PostgreSQL、ADB for MySQL、ClickHouse、StarRocks、MySQL、PostgreSQL、Oracle、SQL Server、Doris、SelectDB。

說明

僅MaxCompute支援直接連接和資料來源兩種方式查詢，其他類型資料來源僅支援已添加到工作空間的資料來源。

資料來源許可權說明

資料來源範圍

資料來源串連模式：僅支援選擇有許可權的工作空間內的資料來源資料，因此您需要先聯絡管理員將您添加為工作空間的資料分析師、開發、營運、空間管理員。
直接連接模式：僅支援選擇當前登入帳號已經加入的MaxCompute專案。MaxCompute專案相關使用權限設定，請參見MaxCompute使用者與許可權。

資料來源存取權限

資料來源訪問支援以下兩種身份模式訪問。

訪問身份模式	模式說明	支援資料來源	授權操作
執行者身份	當前登入DataWorks的阿里雲帳號身份。	MaxCompute和Hologres。	讓指定MaxCompute專案或者Hologres執行個體的管理者，授權您成員存取權限。
資料來源預設訪問身份	建立資料來源時配置的訪問身份。	本功能支援的資料來源。	若您當前登入帳號非資料來源預設訪問身份時，需讓擁有工作空間管理員許可權的使用者為您當前登入的雲帳號授權。

重要

如果MaxCompute專案空間開啟了白名單存取控制，請在MaxCompute專案IP白名單上添加資料分析白名單。

功能入口

登入DataWorks資料分析，切換至目標地區後，單擊進入資料分析頁面。

若在導覽列看到前往新版資料分析，單擊切換進入新版資料分析頁面。
若在導覽列看到返回舊版資料分析，則表示已進入新版資料分析頁面。

建立SQL查詢

滑鼠懸浮至個人目錄 > 我的檔案，單擊右側的 > 建立SQL檔案。
您也可以單擊建立檔案夾，自訂規劃SQL查詢檔案的目錄結構。
在SQL編輯頁面，編寫SQL查詢語句。
重要
也可通過以下方式產生SQL語句：
- 在資料目錄頁面，添加資料目錄之後，找到目標表右鍵選擇產生查詢SQL。
- 複製他人檔案目錄下分享給你的SQL。
- 編輯SQL後，您可以單擊頂部的格式化按鈕，對代碼進行格式化。
- SQL查詢支援使用Copilot，您可以單擊導覽列右上方Copilot表徵圖（），使用智能助手的相關功能（如代碼產生、代碼錯誤修正等），輔助完成代碼編寫；同時，Copilot還支援在編輯器中代碼自動補全，提升編寫效率。
樣本SQL
以查詢MaxCompute的Github公開事件數目據為例，SQL查詢語句如下：
```
--開啟Session級Schema文法
SET odps.namespace.schema=true; 
--查詢表dwd_github_events_odps中的100條資料
SELECT * FROM bigdata_public_dataset.github_events.dwd_github_events_odps WHERE ds='${dt}' LIMIT 100;
```
說明
查詢開啟Schema文法的MaxCompute專案時，需在查詢語句前使用SET odps.namespace.schema=true;開啟Session級Schema文法，避免查詢失敗。
預設情況下，查詢將基於當前回合組態指定的資料來源執行。如需查詢其他已加入的MaxCompute專案，您需在查詢語句中顯式指定對應專案名稱。例如，回合組態中指定計算資源為MaxCompute A，查詢語句中指定MaxCompute B（SELECT * FROM B.schema_name.table_name WHERE ****），此時將使用A作為執行引擎，查詢B中的資料。
編寫完成SQL查詢代碼後，單擊右側回合組態，設定SQL查詢時使用的資料來源、指令碼參數等。
- 類型：按需選擇SQL查詢語句查詢的目標資料來源類型。
- 計算資源：SQL查詢的目標資料來源配置，僅查詢MaxCompute資料時支援直接連接或資料來源串連，其他類型僅支援查詢有許可權的工作空間內的資料來源資料，具體許可權說明，請參見資料來源許可權說明。
- 指令碼參數：如果您在SQL查詢中使用參數變數，則可以在此處對運行時變數進行賦值。
  重要
  若解析失敗，請在左下角進入管理>設定介面，搜尋parsing找到勾選配置項開啟dataworks Isp代碼參數功能。
在SQL編輯頁面頂部工具列單擊運行，然後在結果視窗中，查看執行SQL內容、作業記錄、運行結果。

查詢結果可視化

在查詢結果左側工具列，單擊按鈕，可將結果自動產生可視化圖表。

說明

您可單擊圖表上方的Copilot按鈕，體驗DataWorks Copilot智能圖表與見解產生能力。
您可以單擊編輯圖表按鈕，對圖表樣式進行調整。

匯出與分享

重要

若您有將資料匯出到本地後再匯入到其他資料來源的需求，建議通過Data Integration的離線同步任務進行同步，從而實現更高效、穩定的資料移轉與同步。

在SQL查詢結果右側，單擊匯出，支援匯出如下形式：

本地檔案：將查詢結果以CSV格式下載至本地。關鍵說明如下：

說明項	具體描述
下載限制	僅支援MaxCompute、EMR引擎，具體說明參見下載資料條數說明。若MaxCompute專案開啟了資料保護機制（即禁止下載資料），則通過資料分析下載資料會失敗。
下載範圍	您可選擇下載僅表格中展示資料或全部資料。僅表格中展示資料：僅下載當前頁面展示的資料，預設最多為`10000`條。全部資料：匯出限制範圍內所查詢的全部結果資料。
下載方式	支援審批下載和免審批下載。審批下載：支援您通過設定風險識別規則來識別下載資料操作行為中的風險。下載資料時，需提交下載審批申請，以確保資料使用的合規性和安全性。說明僅DataWorks企業版支援設定並開啟風險識別規則。免審批下載：預設為免審批下載，在下載過程中無需進行許可權申請。

Object Storage Service：將查詢結果以指定格式（如CSV、Parquet）匯出至阿里雲Object Storage Service（Object Storage Service）空間，適用於巨量資料量歸檔或與其他雲產品整合的情境。

首次使用時，您需要為DataWorks進行授權，以允許其訪問您的OSS資源。請在檔案路徑下拉框中，單擊提示資訊中的一鍵授權連結，根據頁面指引完成RAM授權。

配置項	說明
檔案路徑	點擊右側檔案夾按鈕，選擇您希望儲存結果檔案的OSS Bucket及目錄。
檔案名稱	系統將自動產生一個檔案名稱，您也可以手動修改。
文本類型	選擇匯出的檔案格式。支援`csv`、`text`、`orc`、`parquet`。
分隔字元	指定列與列之間的分隔字元號。預設為英文逗號（`,`）。
編碼格式	選擇檔案的編碼格式，例如`UTF-8`、`GBK`等。
CU	為本次匯出任務配置計算資源單元（CU）的數量。預設值為1 CU。
資源群組	選擇用於執行本次匯出任務的Serverless資源群組。當不選時，將會預設使用資料分析>系統管理中設定的Data Integration資源群組。

配置完成後，單擊確定即可啟動匯出任務。您可以在任務運行頁面查看匯出進度、作業記錄和配置詳情。任務成功後，可進入OSS控制台，將已經匯出的目標檔案下載到本地。

DingTalk表格：支援匯出至DingTalk表格，具體操作請參見匯出查詢結果至DingTalk。
試算表/試算表並分享：您可儲存至試算表進一步深入分析查詢資料。同時支援將試算表的最新分析結果分享給他人。