本文介紹如何通過DataWorks的Data Integration與開發將MaxCompute資料移轉至Table Store(Table Store)。
操作步驟
開通服務
在DataWorks上建立表
登入DataWorks控制台,在左上方選擇地區。
在左側導覽列選擇工作空間。
在工作空間列表頁面,單擊目標工作空間對應的操作列。
在Data Studio頁面,建立MaxCompute SQL節點。按照如下語句建立表
transs。CREATE TABLE transs (name STRING, id STRING, gender STRING);
為表
transs匯入資料將以下樣本資料儲存至本地,建議儲存為
CSV格式。qwe,145,F asd,256,F xzc,345,M rgth,234,F ert,456,F dfg,12,M tyj,4,M bfg,245,M nrtjeryj,15,F rwh,2344,M trh,387,F srjeyj,67,M saerh,567,M在左側導覽列選擇。
單擊進入數據上傳與下載。
在左側導覽列單擊上傳表徵圖
,單擊資料上傳。
在Table Store控制台上建立表
建立資料表trans。詳情請參見建立資料表。
主鍵設定為name和id。
在DataWorks上新增MaxCompute資料來源
登入DataWorks控制台,在左上方選擇地區。
在左側導覽列選擇工作空間。
在工作空間列表頁面,單擊目標工作空間名稱。
在空間詳情頁面,單擊左側導覽列資料來源。
在資料來源頁簽,單擊添加資料來源,選擇MaxCompute。
在添加MaxCompute資料來源頁面,填寫基本資料。
詳情請參見配置MaxCompute資料來源。
新增OTS資料來源,詳情請參見配置OTS資料來源。
配置MaxCompute(ODPS)Reader和Table StoreWriter
登入DataWorks控制台,在左上方選擇地區。
在左側導覽列選擇。
選擇工作空間,單擊進入Data Studio。
在Data Studio左側,單擊
,選擇。資料來源選擇Tablestore。
資料去向選擇MaxCompute(ODPS)。
在節點配置頁面,填寫如下資訊。
資料來源-來源:選擇新增的資料來源OTS名稱。
資料來源-去向:選擇新增的資料來源MaxCompute名稱。
資料來源-表:選擇OTS建立的表
資料去向-表:已建立MaxCompute表。
運行資源:選擇建立的獨享資源群組。
其他保持預設即可。
也可以單擊配置地區上方的
表徵圖,轉換為指令碼模式,通過指令碼配置。樣本如下:{ "type": "job", "steps": [ { "stepType": "odps", "parameter": { "partition": [], "datasource": "odps_first", "column": [ "name", "id", "gender" ], "table": "transs" }, "name": "Reader", "category": "reader" }, { "stepType": "ots", "parameter": { "datasource": "transs", "column": [ { "name": "gender", "type": "STRING" } ], "writeMode": "UpdateRow", "table": "trans", "primaryKey": [ { "name": "name", "type": "STRING" }, { "name": "id", "type": "INT" } ] }, "name": "Writer", "category": "writer" } ], "version": "2.0", "order": { "hops": [ { "from": "Reader", "to": "Writer" } ] }, "setting": { "errorLimit": { "record": "0" }, "speed": { "throttle": false, "concurrent": 1, "dmu": 1 } } }
在Table Store控制台中查看新增的表資料。
登入Table Store控制台,在左上方選擇地區。
在左側導覽列選擇全部執行個體。
在全部執行個體頁面下,單擊執行個體名稱,進入執行個體管理頁面。
在執行個體管理頁面,單擊執行個體詳情頁簽。
在執行個體詳情頁簽下方數據表列表地區,單擊要查看的資料表名稱。
在資料表管理頁面,單擊資料管理頁簽,查看新增的表資料。