本文為您介紹如何建立EMR(E-MapReduce)表。
背景資訊
建立舊版資料開發:EMR計算資源後,平台將自動在數據地圖建立EMR中繼資料採集器來採集該叢集中繼資料,若您建立EMR計算資源後仍無法在此介面選擇到EMR庫,請前往資料地圖找到該叢集的中繼資料採集器重新採集,詳情請參見採集E-MapReduce中繼資料。
操作步驟
-
進入數據開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入資料開發。
-
滑鼠移至上方至
表徵圖,單擊。您也可以找到相應的商務程序,按右鍵EMR,單擊新建表。
-
在新建表對話方塊中,配置表所在的引擎執行個體、路徑等資訊。
其中引擎類型可選擇 EMR 等類型,還需配置所屬庫和名稱,完成後單擊建立。
-
單擊新建,進入表編輯頁面。
-
在基本屬性地區,配置各項參數。
名稱
描述
一級主題
建立表所處的一級目標檔案夾名稱。
說明一級、二級主題僅僅是DataWorks上檔案夾的擺放形式,目的是為了您能更好地管理您的表。
二級主題
建立表所處的二級目標檔案夾名稱。
新建主題
單擊新建主題,進入主題管理頁面,您可以在該頁面建立一級主題、二級主題。
刷新
建立主題後,單擊刷新。
描述
對建立表進行簡單描述。
-
在物理模型設計地區,配置各項參數。
支援的儲存格式包括 ORC、PARQUET、SEQUENCEFILE、AVRO、TEXTFILE、JSON、RCFile 和自訂檔案格式。
參數
描述
層級
從下拉式清單中選擇相應的層級和物理分類。如果您需要建立層級和物理分類,請聯絡工作空間管理員,單擊新建層級,在層級管理頁面進行添加。建立成功後,單擊刷新。
物理分類
分區類型
包括分區表和非分區表。
錶類型
包括內部表和外部表。
選擇儲存格式
根據需要選擇表中檔案的儲存格式。
-
在表結構設計地區,配置各項參數。
參數
描述
添加字段
單擊添加字段,配置欄位資訊後,單擊保存,即可新增一個欄位。
上移
調整未建立的表的欄位順序。如果為已經建立的表調整欄位順序,會要求刪除當前已經建立的表,再建立一張同名表。生產環境中禁止該操作。
下移
字段英文名
欄位的英文名稱,由字母、數字和底線(_)組成。
字段类型
支援TINYINT、SMALLINT、INT、BIGINT、FLOAT、DOUBLE、DECIMAL、VARCHAR、CHAR、STRING、BINARY、DATETIME、DATE、TIMESTAMP、BOOLEAN、ARRAY、MAP和STRUCT。
長度/設置
當選擇的欄位類型需要設定長度時,請在文字框中進行配置。
描述
對欄位進行描述。
主鍵
勾選表示該欄位是主鍵。該主鍵為業務概念,您可以在業務上保證記錄的唯一性,DataWorks對主鍵無約束。
編輯
單擊已儲存欄位後的編輯,修改當前欄位的配置,並單擊保存。
刪除
刪除已經建立的欄位。
說明已經建立的表,刪除欄位重新提交時,會要求刪除當前表,再去建一張同名表,在生產環境中禁止該操作。
添加分區
如果您在物理模型設計地區,設定分區類型為分區表,則需要配置分區。
您可以為當前表建立一個分區。如果為已經建立的表添加分區,會要求刪除當前已經建立的表,再建立一張同名表。生產環境中禁止該操作。
-
單擊工具列中的
表徵圖,提交EMR表至生產環境。如果您使用的是標準模式的工作空間,請先提交表至開發環境,再提交表至生產環境。
說明提交時,您需要選擇提交表時所用的調度資源群組,當使用Serverless資源群組提交表時,DataWorks平台將下發對應建立表的任務到引擎側執行,並列印執行過程的執行日誌,如果資源提交過程中出現問題,您可以先通過日誌自助排查。如果您目前無可用的Serverless資源群組,請購買並配置Serverless資源群組便於使用,操作詳情請參見使用Serverless資源群組。