通過即席查詢您可以根據當前的業務情況自訂並執行查詢語句和下載查詢的資料。例如,當完成計算任務開發後,您可以通過即席查詢驗證計算任務是否符合預期。本文為您介紹如何建立即席查詢並下載結果資料。
背景資訊
即席查詢任務使用您當前專案下所設定的計算源進行資料查詢。在使用Hadoop計算源時,支援開啟Impala任務,開啟後除支援建立Hive SQL即席查詢任務外,還支援建立Impala SQL即席查詢任務。因Impala基於記憶體計算,Impala SQL即席查詢相對於Hive SQL即席查詢具備更好的查詢響應。同時Dataphin支援Impala SQL和Hive SQL任務類型的快速切換,對於歷史任務無需再次編寫相同的查詢代碼。具體操作,請參見附錄:切換任務類型。
前提條件
建立Impala SQL即席查詢需在Hadoop計算源中開啟Impala任務。具體操作,請參見建立Hadoop計算源。
若您需下載即席查詢的結果資料,在您開始執行操作前,請確認您已開啟專案下載資料的許可權,並已開啟當前專案的下載(完整資料下載和範例資料下載)。具體操作,請參見管理專案空間的許可權和計算源、資料下載配置。
使用限制
未購買查詢加速時,即席查詢不支援使用查詢加速。
建立即席查詢
在Dataphin首頁的頂部功能表列中,選擇研發 > 資料研發。
在頂部功能表列選擇專案(Dev-Prod模式還需選擇環境)。
在左側導覽列選擇即席查詢,在即席查詢列表中單擊
表徵圖。支援建立計算引擎即席查詢和資料庫SQL即席查詢。在建立即席查詢對話方塊中,配置以下參數。
說明若您的計算引擎為Hadoop並開啟了Impala任務,支援建立Hive SQL即席查詢和Impala SQL即席查詢。
參數
描述
名稱
填寫即席查詢名稱。
長度不超過256個字元,不支援豎線(|)、正斜線(/)、反斜線(\)、半形冒號(:)、半形問號(?)、角括弧(<>)、星號(*)和半形引號(")。
描述
填寫對即席查詢的簡單描述。
選擇目錄
選擇任務所存放的目錄,預設為臨時代碼。
若未建立目錄,您可以建立檔案夾,操作方法如下:
在頁面左側計算工作清單上方單擊
表徵圖,開啟建立檔案夾對話方塊。在建立檔案夾對話方塊中輸入檔案夾名稱並根據需要選擇目錄位置。
單擊確定。
資料來源類型
選擇SQL任務的資料來源類型。可選資料來源類型詳情請參見Dataphin支援的資料來源中的離線研發-資料庫SQL列。
說明僅建立資料庫SQL即席查詢時,支援配置此參數。
資料來源
選擇用於即席查詢的資料來源。若無可選資料來源,可以單擊+建立資料來源進行建立。
說明僅建立資料庫SQL即席查詢時,支援配置此參數。
Catalog
資料來源類型為Presto、Trino時,配置資料來源後,還需要配置Catalog。
Database/Schema
資料來源類型為MySQL、PostgreSQL、AnalyticDB for PostgreSQL、Oracle、Presto、GaussDB(DWS)、Microsoft SQL Server、ClickHouse、Hologres、Doris、openGauss、StarRocks、DM、OceanBase(Oracle租戶模式)、SelectDB、Trino、PolarDB-X2.0時,配置資料來源後,還需要配置Schema。
單擊確定,完成即席查詢檔案的建立。
(可選)您可配置並開啟查詢加速,開啟後需選擇加速方式。
MCQA:即MaxCompute MCQA加速查詢。MCQA每一個租戶下,作業數量與並發數有限制,可能會導致加速失敗、執行報錯,詳情請參見查詢加速(MCQA)。您可在管理中心 > 系統設定 > 研發平台 > 查詢加速中禁用MCQA加速。
不同計算引擎的不同情況下,支援的加速方式不同。
當前租戶使用MaxCompute計算引擎時:
若未購買查詢加速,且已開啟研發平台-查詢加速時,此處加速方式為MCQA。
若已購買查詢加速、已開啟研發平台-查詢加速、且當前專案對應的計算源未綁定加速源時,此處加速方式為MCQA。
若已購買查詢加速,且專案對應的計算源已綁定加速源,此處加速方式可選擇加速源或MCQA。
當前租戶使用Hadoop計算引擎時:已購買查詢加速,且專案計算源對應的叢集已綁定加速源,Hive SQL、Impala SQL、Spark SQL即席查詢任務此處加速方式為加速源。
根據專案的計算源、資料庫SQL類型,編寫查詢資料的代碼。
代碼編寫完成後,單擊編輯器頂部的運行。
查詢語句執行成功後,在控制台中查看運行結果資料。
下載結果資料
查詢語句執行成功後,單擊控制台右上方的
表徵圖,下載執行結果資料。在資料下載對話方塊中,選擇下載資料範圍和下載資料格式。
下載資料範圍:支援完整資料下載或範例資料下載。
完整資料下載:完整資料下載耗時可能較長,可關注訊息中心訊息或在運行記錄查看下載進度。
重要完整資料下載會建立一個基於查詢語句的暫存資料表,Hadoop類型計算引擎下的Spark SQL即席查詢,在完整資料下載建立暫存資料表時將使用管理中心 > 系統設定 > 研發平台 > 表管理設定中的預設儲存格式。
例如:表管理設定中預設儲存格式為hudi,則建立暫存資料表時增加
using hudi語句;表管理設定中預設儲存格式為引擎預設,則建立暫存資料表時將不限定儲存格式。範例資料下載:所有查詢語句預設返回部分資料,具體記錄數可前往管理中心 > 規範設定 > 資料下載中設定。詳情請參見資料下載配置。
下載資料格式:當下載資料範圍選取為範例資料時,下載資料格式支援選擇CSV或Excel格式;當下載資料範圍選取為完整資料時,下載資料格式僅支援選擇CSV。
單擊確定,開始下載資料。
當下載資料範圍選取為完整資料時,單擊確定後將開始資料準備,完整資料準備完成後,再次單擊確定開始完整資料下載。
附錄:切換任務類型
專案的離線引擎為Hadoop計算源且已開啟Impala任務。支援Impala SQL任務類型和Hive SQL任務類型的互相切換。
在即席查看列表中,選擇目標Impala SQL類型或Hive SQL類型的任務,單擊任務名稱後的
表徵圖,選擇修改類型。在修改類型對話方塊中,選擇修改後的類型。下圖以Impala SQL任務類型切換為Hive SQL任務類型為例。

單擊確定,即可完成任務類型切換。