SQL查詢資料來源 - DataWorks

如果需要快速地對資料進行查詢與分析，您可以使用SQL語句查詢MaxCompute、EMR Hive、Hologres等資料來源。本文為您介紹如何通過SQL語句查詢資料來源。

前提條件

工作空間已建立資料來源，詳情請參見建立並管理資料來源。
已擁有某資料來源在資料分析模組的查詢許可權。
操作帳號已被添加為工作空間的以下角色之一：資料分析師、模型設計師、開發、營運角色、空間管理員或專案所有者，詳情請參見為工作空間增加空間成員。
說明
使用SQL查詢功能時，僅支援查詢有許可權的工作空間內的資料來源資料，因此您需要先聯絡管理員將您添加為工作空間的資料分析師、模型設計師、開發、營運、空間管理員或專案所有者。

注意事項

SQL查詢支援的資料來源

SQL查詢支援的資料來源包含MaxCompute、Hologres、EMR Hive、EMR Spark SQL、EMR Impala、EMR Presto、EMR Trino、CDH Hive、StarRocks、ClickHouse、AnalyticDB for MySQL3.0、AnalyticDB for PostgreSQL、MySQL、PostgreSQL、Tablestore、Oracle、SQL Server。

說明

僅MaxCompute、Hologres資料來源支援使用執行者身份訪問。

許可權控制

資料來源許可權。
- 標準模式工作空間：擁有生產與開發環境，無論想要查詢開發還是生產環境資料，均需租用戶系統管理員或組戶級安全性系統管理員手動在資料查詢與分析管控進行設定。
- 簡單模式工作空間：分析師在SQL查詢頁面無權查看任何資料，需租用戶系統管理員或組戶級安全性系統管理員手動在資料查詢與分析管控進行設定。
  說明
  標準模式工作空間與簡單模式工作空間的區別可參見必讀：簡單模式和標準模式的區別。
白名單存取控制。
當使用資料分析操作MaxCompute表資料時，如果MaxCompute專案空間開啟了白名單存取控制，資料分析的相關服務（例如，費用計算、資料下載、維表使用、資料上傳等）可能會出現報錯。為保證DataWorks資料分析服務能順利訪問MaxCompute的專案空間，則需提前配置好MaxCompute的資料分析白名單許可權。

步驟一：添加目錄

支援您將系統推薦目錄及已授權的資料來源下的資料表添加至目錄，添加為目錄後您可快速查看相應目錄下資料表，支援查看錶結構並快速產生查詢SQL。

進入SQL查詢頁面。
登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的資料分析與服務 > 資料分析，單擊進入資料分析頁面，單擊左側導覽列的SQL查詢進入SQL查詢頁面。
添加目錄。
SQL查詢頁面預設僅展示我的檔案和他人檔案，其他檔案目錄需要通過單擊搜尋方塊右側的按鈕。添加支援下面幾類檔案目錄添加至檔案目錄，添加為目錄後您可快速查看相應目錄下的資料表，支援查看錶結構並快速產生查詢SQL。
- 推薦目錄：提供我的收藏、我的MaxCompute表、公用資料等。
- 資料地圖-中繼資料：支援添加工作空間下的計算資源或資料來源。相關文檔請參見管理工作空間、建立並管理資料來源、綁定計算資源。
- 資料地圖-資料專輯：支援您將我管理的、我建立的、我關注的資料專輯添加為SQL查詢的目錄。詳情請參見業務視角管理：資料專輯。
說明
- 他人檔案：展示當前租戶下其他使用者公開到工作空間的檔案。
- 目前最大支援添加8個資料集。

步驟二：建立SQL查詢

您可建立SQL查詢檔案並手動編輯SQL查詢命令，還支援將SQL提交到指定資料來源執行。

建立SQL查詢檔案。
- 手動建立SQL查詢檔案。
  1. 單擊我的檔案後的按鈕，選擇建立檔案，進入建立檔案彈窗頁面
  2. 在彈窗頁面按介面要求配置檔案名稱，下拉選擇檔案儲存體的目標檔案夾。
  3. 單擊確定建立SQL查詢檔案。
- 建立臨時SQL查詢檔案。
  - 歡迎頁面點擊上方添加臨時SQL檔案。
  - 首次進入SQL查詢頁面或當前視窗沒有開啟SQL檔案時，單擊右側頁面中的建立SQL查詢視窗。

配置SQL執行資料來源。

建立完成SQL查詢檔案後，單擊頁面右上方的按鈕，配置SQL執行資料來源，可參考以下表格：

配置項	說明
工作空間	單擊按鈕選擇需要查詢的資料來源所在的工作空間。
資料來源類型	單擊按鈕選擇需要查詢的資料來源類型。
資料來源名稱	單擊按鈕選擇需要查詢的資料來源，可選擇開發或生產環境的資料來源。
訪問身份模式	選取查詢資料時採用哪種訪問模式進行SQL查詢，擁有以下兩種訪問身份模式：執行者身份：選擇執行者身份，代表使用登入DataWorks的當前雲帳號身份在資料來源中執行SQL。如果當前雲帳號在目標資料來源中具備資料存取權限，則資料來源將會正常返回資料結果。說明執行者身份僅支援MaxCompute和Hologres資料來源使用。資料來源預設訪問身份：當前登入帳號與預設訪問身份一致。身份一致時，無需額外授權，可直接使用當前資料來源的預設訪問身份來執行SQL。當前登入帳號與預設訪問身份不同。當前登入帳號擁有所選資料來源許可權時，能夠直接執行SQL。當前登入帳號未擁有所選資料來源許可權時，需讓擁有工作空間管理員權限的使用者為您當前登入的雲帳號授予目標資料來源及預設訪問身份的使用許可權，才可以開始執行SQL，詳情可參見：資料查詢與分析管控。

配置完成後單擊確定儲存SQL執行的資料來源資訊。

說明

您可在系統管理中修改SQL查詢任務運行時的資源群組。

編輯SQL代碼。

步驟三：執行查詢語句

在SQL編輯框內編輯對應資料來源的查詢代碼，完成後執行對應命令即可擷取查詢結果，以下內容為

序號	功能	操作說明
1	全文運行	單擊運行按鈕可全文運行SQL代碼或運行選中狀態的SQL。
2	快捷運行	單擊SQL代碼前的運行按鈕，僅快捷運行按鈕對應的代碼。
3	停止	停止正在啟動並執行SQL代碼。
4	儲存	儲存當前SQL查詢檔案。
5	格式化	您也可以通過格式化將自行排版的代碼一鍵正常化處理。
6	版本	您也可以單擊更多 > 版本來查看自動儲存的代碼和手動儲存代碼間差異，並選擇需要的版本儲存。
7	成本預估	單句運行時介面會提示您此次調試運行可能需要的費用，運行完整代碼前，您也可以單擊更多 > 成本預估來對全量代碼運行可能需要的費用進行預估。說明目前僅MaxCompute可以使用該功能。

更多操作

查詢結果操作

SQL執行完成後，您可在查詢結果頁面查看作業記錄、查看運行結果、查看查詢結果對應的SQL內容等，還支援您使用折線圖、柱狀圖、橫條圖、餅圖、交叉表等對查詢結果進行可視化展示。

功能	圖示	操作說明
查看運行結果中表格式資料		您可單擊匯出，對查詢結果表進行如下操作：本地檔案：將查詢結果下載至本地。當前下載操作無需執行審批次程序。說明僅DataWorks增值版本支援使用匯出至本地檔案。不同增值版本支援匯出到本地的最巨量資料條數不同。分別為：標準版20萬，專業版200萬，企業版500萬。檔案大小最大不超過1G。租用戶系統管理員、租戶安全性系統管理員、授權空間管理員角色的RAM使用者可以進入資料查詢與分析管控對查詢結果的展示條數、下載條數、是否允許下載等進行管控。當前僅MaxCompute、EMR引擎資料支援匯出本地檔案。若MaxCompute專案開啟了專案保護（即禁止下載資料），則通過資料分析下載資料會失敗。關於MaxCompute專案保護機制，詳情請參見資料保護機制。 MaxCompute表：將查詢結果儲存為一張線上的MaxCompute表。無需將資料下載至本地再傳至線上。您可根據需要設定表的生命週期。試算表：用於同步查詢結果至試算表，對查詢結果進行更大地區的查看等操作。詳情請參見：分析資料。試算表並分享：用於同步查詢結果至試算表，並通過試算表的資料分享功能，分享該表資料至指定使用者。詳情請參見：分享試算表。
查詢結果可視化圖表展示		支援查詢結果通過折線圖、柱狀圖、橫條圖、餅圖等圖表進行可視化展現。還支援您將查詢結果儲存為數據卡片，構建您專屬的可視化知識庫，同時，您還可以從卡片中挑選合適卡片，快速建立資料報告，輕鬆打造個人化作品。
查看查詢結果對應的SQL語句		為您展示當前查詢結果對應的SQL內容，支援對該查詢結果對應的SQL語句進行快速複製和快速插入到代碼編輯區的操作。

管理SQL查詢目錄

在SQL查詢頁面，您可以統一管理SQL查詢檔案。

SQL查詢

功能	描述
SQL查詢分類樹搜尋功能	在地區①，您可以通過搜尋功能定位目標表。
程式碼搜尋	在地區①，單擊，您可以輸入關鍵字進行程式碼搜尋。
運行歷史	在地區①，您可以單擊查看SQL查詢歷史執行記錄，此記錄不包括計劃任務執行日誌。
添加目錄	在地區①，您可以單擊添加目錄，支援您將系統推薦目錄及已授權的資料來源下的資料表添加至目錄，添加為目錄後您可快速查看相應目錄下的SQL檔案或者資料表，對於資料表支援您快速查看錶結構並快速產生查詢SQL。
我的檔案	在地區②，我的檔案為您展示您儲存的SQL查詢檔案，您可以按右鍵指定檔案，將檔案分享至指定工作空間。表示該檔案正在分享中，被分享的工作空間下的所有空間成員均可以在他人檔案目錄下看到您分享的檔案。
他人檔案	在地區②，他人檔案為您展示當前租戶下其他使用者公開到工作空間的檔案。
我的MaxCompute表	在地區②，我的MaxCompute表目錄需要通過單擊表徵圖進行添加。我的MaxCompute表為您展示您個人名下的MaxCompute表。包括開發表與生產表。
我的收藏	在地區②，我的收藏目錄需要通過單擊表徵圖進行添加。我的收藏為展示您個人收藏的表，您在資料集下，按右鍵目標表選擇收藏，收藏後檔案將展示在該目錄下。
公用資料	在地區②，公用資料目錄需要通過單擊表徵圖進行添加。公用資料為您展示資料分析預設提供且不需要申請許可權的表，您可使用該錶快速體驗SQL查詢產品功能。

個人化

支援您單擊左下角的表徵圖進入設定頁面，進行一些個人化：

主題設定：您可以設定SQL查詢的主題風格。
編輯器設定：您可以設定SQL查詢編輯器視窗的代碼風格、代碼提示、斷行符號輸入提示建議等。
SQL操作設定：您可以設定每次SQL執行時的預設執行模式。

常見問題說明

SQL查詢可選資料來源與當前空間繫結資料源數量不符

可查詢的資料來源，需要經過租用戶系統管理員或者租戶級安全性系統管理員在資訊安全中心進行授權。如有需要使用的資料來源未經授權，可以聯絡管理員在資訊安全中心對需要查詢的資料來源進行授權。

標準模式工作空間。
在標準模式下，無論是查詢開發還是生產環境資料，均需租用戶系統管理員或組戶級安全性系統管理員手動在資料查詢與分析管控進行設定。
簡單模式工作空間。
預設分析師在SQL查詢頁面無權查看任何資料，需租用戶系統管理員或組戶級安全性系統管理員手動在資料查詢與分析管控進行設定。

如何在分類樹中直接查看錶？

您可以在添加目錄中按需添加可查詢資料來源下的資料表，添加對應的資料表目錄後，如果表數量過多，可通過搜尋的方式尋找目標表。

在SQL查詢頁面，單擊搜尋方塊右側的按鈕，將資料地圖-中繼資料中的資料來源添加至目錄。
在分類樹上單擊添加的資料來源，即可展示該資料來源下的資料表。
1. 單擊資料表名即可查看資料表的基礎資訊以及明細資訊。
2. 滑鼠選中資料表後，右鍵可對資料表進行產生SQL語句、查看詳情以及收藏操作。
  說明
  對於經常使用的表，可以將其添加到收藏，後續可在我的收藏中進行查看。

如何配置SQL查詢與下載的開關以及最大數量？

您可在資訊安全中心 > 安全性原則 > 資料查詢與分析管控 > 查詢結果管控頁面對查詢和下載結果的上限進行配置。

進入資訊安全中心頁面。
登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的資料治理 > 資訊安全中心，在右側頁面中單擊進入資訊安全中心。
在資訊安全中心頁面左側導覽列單擊進入安全性原則 > 資料查詢與分析管控頁面，在查詢結果管控頁簽內即可配置資料分析的查詢結果策略。