本文介紹如何通過DataWorks的Data Integration與開發將MaxCompute資料移轉至Table Store(Table Store)。
操作步驟
-
開通服務
-
在DataWorks上建立表
-
登入DataWorks控制台,在左上方選擇地區。
-
在左側導覽列選擇工作空間。
-
在工作空間列表頁面,單擊目標工作空間對應的操作列。
-
在Data Studio頁面,建立MaxCompute SQL節點。按照如下語句建立表
transs。CREATE TABLE transs (name STRING, id STRING, gender STRING);
-
-
為表
transs匯入資料-
下載樣本CSV檔案至本地demo_data.csv。
-
在左側導覽列選擇。
-
單擊進入數據上傳與下載。
-
在左側導覽列單擊上傳表徵圖
,單擊数据上传。將上述本機資料上傳至已建立好的MaxCompute表
transs中。
-
-
在Table Store控制台上建立表
-
建立資料表trans。詳情請參見建立資料表。
主鍵設定為name和id。
-
在DataWorks上新增MaxCompute資料來源
-
登入DataWorks控制台,在左上方選擇地區。
-
在左側導覽列選擇工作空間。
-
在工作空間列表頁面,單擊目標工作空間名稱。
-
在空間詳情頁面,單擊左側導覽列資料來源。
-
在資料來源頁簽,單擊添加資料來源,選擇MaxCompute。
-
在添加MaxCompute資料來源頁面,填寫基本資料。
詳情請參見配置MaxCompute資料來源。
-
-
新增OTS資料來源,詳情請參見配置OTS資料來源。
-
配置MaxCompute(ODPS)Reader和Table StoreWriter
-
登入DataWorks控制台,在左上方選擇地區。
-
在左側導覽列選擇。
-
選擇工作空間,單擊進入Data Studio。
-
在DataStudio左側,單擊
,選擇。-
資料來源選擇Tablestore。
-
資料去向選擇MaxCompute(ODPS)。
-
-
在節點配置頁面,填寫如下資訊。
-
数据源-來源:選擇新增的資料來源OTS名稱。
-
数据源-去向:選擇新增的資料來源MaxCompute名稱。
-
數據來源-表:選擇OTS建立的表
-
數據去向-表:已建立MaxCompute表。
-
運行資源:選擇建立的獨享資源群組。
-
其他保持預設即可。
也可以單擊配置地區上方的
表徵圖,轉換為指令碼模式,通過指令碼配置。樣本如下:{ "type": "job", "steps": [ { "stepType": "odps", "parameter": { "partition": [], "datasource": "odps_first", "column": [ "name", "id", "gender" ], "table": "transs" }, "name": "Reader", "category": "reader" }, { "stepType": "ots", "parameter": { "datasource": "transs", "column": [ { "name": "gender", "type": "STRING" } ], "writeMode": "UpdateRow", "table": "trans", "primaryKey": [ { "name": "name", "type": "STRING" }, { "name": "id", "type": "INT" } ] }, "name": "Writer", "category": "writer" } ], "version": "2.0", "order": { "hops": [ { "from": "Reader", "to": "Writer" } ] }, "setting": { "errorLimit": { "record": "0" }, "speed": { "throttle": false, "concurrent": 1, "dmu": 1 } } } -
-
-
在Table Store控制台中查看新增的表資料。
-
登入Table Store控制台,在左上方選擇地區。
-
在左側導覽列選擇全部執行個體。
-
在全部執行個體頁面下,單擊執行個體名稱,進入執行個體管理頁面。
-
在執行個體管理頁面,單擊執行個體詳情頁簽。
-
在執行個體詳情頁簽下方數據表列表地區,單擊要查看的資料表名稱。
-
在資料表管理頁面,單擊資料管理頁簽,查看新增的表資料。
-