MaxCompute Studio是阿里雲MaxCompute平台提供的安裝在開發人員用戶端的巨量資料整合式開發環境工具,是一套基於流行的整合開發平台IntelliJ IDEA的開發外掛程式,協助您便捷、快速地進行資料開發。本文將為您介紹MaxCompute Studio的功能介面和常用的應用情境。
基本使用者介面
MaxCompute Studio是IntelliJ IDEA平台上的一套外掛程式,共用了IntelliJ IDEA的基本開發介面,詳情請參見IntelliJ IDEA開發介面。
MaxCompute Studio在IntelliJ IDEA的基礎上提供以下功能:
-
SQL編輯器(SQL Editor):提供SQL文法高亮、代碼補全、即時錯誤提示、本地編譯、作業提交等功能。
-
專案瀏覽器(Project Explorer):串連MaxCompute專案,瀏覽專案表結構、自訂函數、資源檔。
-
作業瀏覽器(Job Explorer):瀏覽、搜尋MaxCompute的活動作業和歷史作業。
-
MaxCompute控制台(MaxCompute Console):整合了MaxCompute用戶端,可以輸入和執行MaxCompute用戶端命令。詳情請參見MaxCompute用戶端。
串連MaxCompute專案
使用Studio的大部分功能前需要您先串連MaxCompute專案,串連後即可通過Studio進行編輯SQL指令碼、提交作業、查看Job資訊、開啟MaxCompute控制台等。Studio會自動為每一個專案串連建立一個本地的中繼資料備份,以提高對MaxCompute中繼資料的訪問頻率和降低延時。串連MaxCompute專案詳情請參見管理專案串連。
資料管理
您可以通過Studio的專案瀏覽器快速探索專案的表或視圖、自訂函數、資源檔。通過樹形控制項,可以列出所有專案串連下的資料表、列、分區列、虛擬視圖、自訂函數名稱、函數簽名、資源檔及類型等,並支援快速定位。
雙擊專案中資料表,即可開啟表詳情視圖,查看資料表的元資訊、表結構和樣本資料。如果您沒有專案的相應許可權,Studio會提示對應的錯誤資訊。
Studio整合了Tunnel工具,可以支援本機資料的上傳和下載。詳情請參見Tunnel命令和MaxCompute Studio通過Tunnel匯入匯出資料。
編寫SQL指令碼
您可以在Studio提供的SQL編輯器中編寫MaxCompute SQL指令碼。
-
建立專案或者模組。
-
在IntelliJ IDEA介面,單擊。
-
在New右側導覽列選擇Project...或者Module…。
-
在New Project或者New Module對話方塊選擇MaxCompute Studio,單擊Next。
-
輸入Project Name或者Module Name後單擊Finish。
-
-
建立MaxCompute SQL指令檔。
-
在IntelliJ IDEA介面,單擊。
說明您也可以按右鍵已建立的專案或者模組建立MaxCompute SQL指令碼。
-
在New右側導覽列選擇MaxCompute SQL指令碼。
-
在New MaxCompute SQL Script對話方塊輸入Script Name,單擊OK。
說明建立MaxCompute SQL指令碼時,Studio會提示您選擇一個關聯的MaxCompute專案,您也可以通過SQL編輯器上的工具條最右側的專案選取器變更,編輯器會根據SQL指令碼關聯的專案對SQL語句自動進行中繼資料(比如表結構等)的檢查並彙報錯誤,提交運行時也會發送到關聯的專案執行。更多詳情請參見編寫SQL指令碼。
-
SQL代碼智能提示
-
代碼文法校正
Studio提供的SQL編輯器可以根據您寫入的代碼,智能提示SQL語句的語法錯誤、類型匹配錯誤或者警告等,即時地標註在代碼上。
select a.key, b.value + c.value value from src a join srcp b, src c where a.key = b.key and b.key = c.key; -
代碼智能補全
通過代碼補全功能,Studio可以根據代碼上下文,提示您專案名稱、表、欄位、函數、類型、代碼關鍵詞等,並根據您的選擇,自動補全代碼。在SQL編輯器中輸入如下語句時,編輯器會自動彈出以輸入關鍵字開頭的表名補全列表(如以meta開頭的表名建議):
select * from meta
作業管理
-
作業狀態說明
-
全部活動作業
-
等待:作業提交後等待進入隊列。
-
排隊中:作業進入隊列,等待分配資源。
-
運行中:作業正在執行中。
-
-
全部歷史作業
-
成功:作業運行成功。
-
失敗:作業運行失敗。
-
取消:作業被人手工取消執行。
-
-
-
編譯作業
單擊SQL編輯器工具列上的
表徵圖,可以對SQL指令碼執行本地編譯,如果有文法或者語義錯誤,編譯器視窗會報告錯誤。-- select clause in the front select * from table_test; -- from clause in the front from table_test table_alias select *; -- table name with project prefix MaxCompute Compiler Information: Parsing ... Information: Type checking ... Information: Latency.compiler_parse_error : 44170 Information: Build failed(2) /Users/xueming.xm/IdeaProjects/MyUDF/Script/scripts/... Error:(9, 15) table meta.table_test cannot be resolved Error:(12, 6) table meta.table_test cannot be resolved -
提交作業
單擊SQL編輯器工具列上的
表徵圖,會在本地編譯之後,把SQL指令碼提交到MaxCompute指定的專案排隊執行。 -
查看作業
開啟作業瀏覽器,即可查看指定專案近期執行的作業。
-
查看作業詳情
雙擊作業列表中的作業,即可查看作業的詳情資訊。您也可以單擊
表徵圖使用Logview在瀏覽器中查看作業詳情。更多Logview使用請參見Logview工具。
開發MapReduce和UDF
Studio支援開發MapReduce、Java UDF、Python UDF等。詳情請參見開發MapReduce、開發Java UDF和開發Python UDF。
串連MaxCompute用戶端
Studio整合了最新版本的MaxCompute用戶端,您也可以在Studio的配置介面指定本地已經安裝好的MaxCompute用戶端路徑。詳情請參見配置MaxCompute Studio。
在專案瀏覽器中選定專案,按右鍵菜單選擇Open in Console即可開啟MaxCompute控制台視窗。
Aliyun ODPS Command Line Tool
Version 0.24.1
@Copyright 2015 Alibaba Cloud Computing Co., Ltd. All rights reserved.
odps@ sql_optimizer>
後續步驟:安裝並配置MaxCompute Studio
現在,您已經學習了MaxCompute Studio的功能介面和常用的應用情境,您可以繼續學習如何安裝並配置MaxCompute Studio,具體流程如下:
-
MaxCompute Studio是整合在IntelliJ IDEA工具上的外掛程式,需要先安裝IntelliJ IDEA。
-
在IntelliJ IDEA上安裝MaxCompute Studio外掛程式。
-
配置MaxCompute Studio的配置項資訊。
-
通過MaxCompute Studio串連MaxCompute專案,即可在MaxCompute Studio上查看MaxCompute專案的資訊。