在基於HBase、Elasticsearch或MongoDB資料來源建立服務單元之前,需要先建立對應資料來源中資料表的中繼資料,以實現通過中繼資料確定資料來源中資料表的結構。後續您可以通過該中繼資料讀取到對應資料來源的資料。本文為您介紹如何建立HBase、Elasticsearch和MongoDB資料來源中資料表的中繼資料。
背景資訊
HBase、Elasticsearch和MongoDB資料來源為非關係型資料來源,基於這三種資料來源建立服務單元時無法直接讀取到資料來源的資料,因此在基於HBase、Elasticsearch或MongoDB資料來源建立服務單元之前,需要先建立對應資料來源中資料表的中繼資料。
前提條件
在開始執行操作前,請確認您已具有HBase、Elasticsearch或MongoDB資料來源的讀取許可權。
如何申請資料來源的讀取許可權,請參見申請、續期和交還資料來源許可權。
使用限制
HBase、Elasticsearch或MongoDB資料來源中的一個資料表只能建立一個中繼資料。
僅支援開發使用者、服務專案系統管理員角色的使用者建立中繼資料。
建立中繼資料
在Dataphin首頁,單擊頂部功能表列服務 > API開發。
在左上方選擇服務專案,單擊左側導覽列的中繼資料管理,再單擊+建立中繼資料按鈕,為HBase、Elasticsearch或MongoDB資料來源建立中繼資料。
建立HBase資料來源中資料表的中繼資料
在建立中繼資料頁面,配置參數。
參數
描述
資料表配置
物理資料表
選擇HBase 0.9.4/1.1.x/2.x的資料來源類型、資料來源和需要建立中繼資料的資料表。
Rowkey配置
在讀寫HBase的資料時,需要通過RowKey欄位查詢到資料所在的Region及Region下的MemStore和HFile。
分隔字元
基於業務資料中的分隔字元選擇對應的分隔字元。當只有一個Rowkey欄位時,也需要選擇分隔字元,這時分割符可以任意選一個即可。
Rowkey欄位間的分隔字元包括DASH(-)、AMPERSAND(&)、CARET(^)、SEMICOLO(:)、POUND(#)、VERTICAL(|)、UNDERSCORE(_)、ESCAPE_0(\0)、ESCAPE_40(\40)、ESCAPE_001(\001)、ESCAPE_002(\002)、ESCAPE_003(\003)、ESCAPE_004(\004)。
建立Rowkey欄位
建立Rowkey欄位。單擊Rowkey配置地區的建立欄欄位,配置如下參數:
Rowkey欄位名稱:您可以自訂Rowkey欄位的名稱。命名規則如下:
只能包含字母、數字或底線(_)。
以字母開頭。
不能超過64個字元。
欄位類型:根據業務資料的欄位類型選擇對應的Rowkey欄位類型。
支援選擇的欄位類型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果業務資料的欄位類型不在上述欄位類型範圍內,推薦您選擇String。
Rowkey描述:填寫對Rowkey欄位的簡單描述。
欄欄位配置
建立欄欄位
列簇名稱:配置為HBase業務資料來源中實際的列簇名稱。
欄欄位名稱:配置為HBase業務資料來源中實際的欄欄位名稱。
欄位類型:根據業務資料的欄位類型選擇對應的欄位類型。
支援選擇的欄位類型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果業務資料的欄位類型不在上述欄位類型範圍內,推薦您選擇String。
描述:填寫對欄欄位的簡單描述。
單擊提交,完成HBase資料來源的中繼資料的建立。
建立Elasticsearch資料來源中資料表的中繼資料
在建立中繼資料頁面,配置參數。
參數
描述
資料表配置
物理資料表
選擇Elasticsearch的資料來源類型、資料來源和需要建立中繼資料的資料表。
欄欄位配置
建立欄欄位
欄位名稱:配置為業務資料中實際的欄位名稱,且後續需要基於該欄位建立服務單元。支援多層嵌套,使用點(.)分隔。
欄位類型:根據業務資料的欄位類型選擇對應的欄位類型。
支援選擇的欄位類型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果業務資料的欄位類型不在上述欄位類型範圍內,推薦您選擇String。
描述:填寫對欄欄位的簡單描述。
單擊提交,完成Elasticsearch資料來源的中繼資料的建立。
建立MongoDB資料來源中資料表的中繼資料
在建立中繼資料頁面,配置參數。
參數
描述
資料表配置
物理資料表
選擇MongoDB的資料來源類型、資料來源和需要建立中繼資料的資料表。
欄欄位配置
建立欄欄位
欄位名稱:配置為業務資料中實際的欄位名稱,且後續需要基於該欄位建立服務單元。支援多層嵌套,使用半形句號(.)分割。
欄位類型:根據業務資料的欄位類型選擇對應的欄位類型。
支援選擇的欄位類型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果業務資料的欄位類型不在上述欄位類型範圍內,推薦您選擇String。
描述:填寫對欄欄位的簡單描述。
單擊提交,完成MongoDB資料來源的中繼資料的建立。
管理中繼資料
中繼資料建立完成後,可在中繼資料管理頁面對中繼資料執行編輯和刪除操作。

後續步驟
完成中繼資料建立後,即可建立服務單元。具體操作,請參見建立物理表格服務單元。