Tablestore：匯出全量資料到MaxCompute

嚮導模式（預設）

在嚮導模式下配置以下內容：

• 資料來源：選擇來來源資料源和去向資料來源。

• 運行資源：選擇資源群組，選擇後會自動檢測資料來源連通性。

• 資料來源：

  • 表：下拉選擇來來源資料表。

  • 主鍵區間分布(起始)：資料讀取的起始主鍵，格式為JSON數組，inf_min表示無限小。

    當主鍵包含1個int類型的主鍵列id和1個string類型的主鍵列name時，樣本配置如下：

    指定主鍵範圍	全量資料
    [ { "type": "int", "value": "000" }, { "type": "string", "value": "aaa" } ]	[ { "type": "inf_min" }, { "type": "inf_min" } ]

  • 主鍵區間分布(結束)：資料讀取的結束主鍵，格式為JSON數組，inf_max表示無限大。

    當主鍵包含1個int類型的主鍵列id和1個string類型的主鍵列name時，樣本配置如下：

    指定主鍵範圍	全量資料
    [ { "type": "int", "value": "999" }, { "type": "string", "value": "zzz" } ]	[ { "type": "inf_max" }, { "type": "inf_max" } ]

  • 切分配置資訊：自訂切分配置資訊，格式為JSON數組，普通情況下不建議配置（設定為[]）。

    當Tablestore資料存放區發生熱點，且使用Tablestore Reader自動切分的策略不能生效時，建議使用自訂的切分規則。切分指定的是在主鍵起始和結束區間內的切分點，僅配置切分鍵，無需指定全部的主鍵。

• 資料去向：配置以下內容，其它參數可保持預設，也可根據需求修改。

  • 生產專案名：反顯去向資料來源關聯的MaxCompute專案名稱。

  • Tunnel資源群組：預設選擇公用傳輸資源，即MaxCompute的免費quota，可根據需要選擇獨享的Tunnel。

  • 表：選擇目標表，可單擊一鍵產生目標表結構自動產生目標表。

  • 分區：同步的資料儲存在指定日期的分區中，可以用於每日增量同步處理。

  • 寫入模式：可選擇寫入前清理已有資料還是保留已有資料。

• 去向欄位對應：配置來來源資料表到目標表的欄位對應，系統會根據源表欄位提供預設映射關係，可根據需要修改。

配置完成後，單擊頁面上方的儲存。

指令碼模式

單擊頁面上方的指令碼模式，在切換後的頁面中編輯指令碼。

以下樣本指令碼中，來來源資料表主鍵包含1個int類型的主鍵列id和1個string類型的主鍵列name，屬性列包含1個int類型的欄位age。配置時請替換樣本指令碼內的資料來源datasource、表名稱table。

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "ots",
            "parameter": {
                "datasource": "source_data",
                "column": [
                    {
                        "name": "id",
                        "type": "INTEGER"
                    },
                    {
                        "name": "name",
                        "type": "STRING"
                    },
                    {
                        "name": "age",
                        "type": "INTEGER"
                    }
                ],
                "range": {
                    "begin": [
                        {
                            "type": "inf_min"
                        },
                        {
                            "type": "inf_min"
                        }
                    ],
                    "end": [
                        {
                            "type": "inf_max"
                        },
                        {
                            "type": "inf_max"
                        }
                    ],
                    "split": []
                },
                "table": "source_table",
                "newVersion": "true"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
                "partition": "pt=${bizdate}",
                "truncate": true,
                "datasource": "target_data",
                "tunnelQuota": "default",
                "column": [
                    "id",
                    "name",
                    "age"
                ],
                "emptyAsNull": false,
                "guid": null,
                "table": "source_table",
                "consistencyCommit": false
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

指令碼編輯完成後，單擊頁面上方的儲存。