本文为您介绍如何将MaxCompute数据迁移至表格存储OTS(Table Store)。
操作步骤
- 在DataWorks上创建表。
- 登录DataWorks控制台。
- 在左侧导航栏,单击工作空间列表。
- 单击相应工作空间后的进入数据开发。
- 右键单击已创建的业务流程,选择。
- 在新建表页面,选择引擎类型并输入表名。
- 在表的编辑页面,单击DDL模式。
- 在DDL模式对话框,输入如下建表语句,单击生成表结构。
create table Transs
(name string,
id bigint,
gender string);
- 单击提交到生产环境。
- 为表Transs导入数据。
- 在数据开发页面,单击
图标。
- 在数据导入向导对话框,至少输入3个字母来搜索需要导入数据的表,单击下一步。
- 选择数据导入方式为上传本地数据,单击选择文件后的浏览...。选择本地数据文件,配置导入信息。
示例数据如下。
qwe,145,F
asd,256,F
xzc,345,M
rgth,234,F
ert,456,F
dfg,12,M
tyj,4,M
bfg,245,M
nrtjeryj,15,F
rwh,2344,M
trh,387,F
srjeyj,67,M
saerh,567,M
- 单击下一步。
- 选择目标表字段与源字段的匹配方式。
- 单击导入数据。
- 在表格存储控制台上创建表。
- 登录表格存储控制台,创建实例。详情请参见创建实例。
- 创建数据表Trans。详情请参见创建数据表。
- 在DataWorks中新增数据源。
- 登录DataWorks控制台。
- 在左侧导航栏,单击工作空间列表。
- 单击相应工作空间后的进入数据集成。
- 在左侧导航栏上,单击数据源,进入数据源管理页面。
- 单击右上角新增数据源,并选择数据类型为ODPS。
- 在新增ODPS数据源对话框中配置参数,并单击完成。详情请参见配置MaxCompute数据源。
- 新增OTS数据源,详情请参见配置OTS数据源。
- 配置MaxCompute(ODPS)Reader和表格存储(OTS)Writer。
- 进入数据开发页面,右键单击指定业务流程,选择。
- 在新建节点对话框中,输入节点名称,并单击提交。
- 在顶部菜单栏上,单击
图标。
- 在脚本模式下,单击顶部菜单栏上的
图标。
- 在导入模板对话框中选择来源类型、数据源、目标类型及数据源,并单击确定。
- 修改JSON代码后,单击
图标。
代码如下。
{
"type": "job",
"steps": [
{
"stepType": "odps",
"parameter": {
"partition": [],
"datasource": "odps_first",
"column": [
"name",
"id",
"gender"
],
"table": "Transs"
},
"name": "Reader",
"category": "reader"
},
{
"stepType": "ots",
"parameter": {
"datasource": "Transs",
"column": [
{
"name": "Gender",
"type": "STRING"
}
],
"writeMode": "UpdateRow",
"table": "Trans",
"primaryKey": [
{
"name": "Name",
"type": "STRING"
},
{
"name": "ID",
"type": "INT"
}
]
},
"name": "Writer",
"category": "writer"
}
],
"version": "2.0",
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
},
"setting": {
"errorLimit": {
"record": "0"
},
"speed": {
"throttle": false,
"concurrent": 1,
"dmu": 1
}
}
}
- 在表格存储控制台中查看新增的表数据。
- 登录表格存储控制台。
- 在左侧导航栏上,单击全部实例。
- 单击实例名称进入实例管理页面。在数据表列表区域,单击要查看的数据表名称。
- 单击顶部数据管理页签,查看新增的表数据。