Tablestore：匯出全量資料到OSS

嚮導模式（預設）

配置以下內容：

• 資料來源：選擇來來源資料源和去向資料來源。

• 運行資源：選擇資源群組，選擇後會自動檢測資料來源連通性。

• 資料來源：

  • 表：下拉選擇來來源資料表。

  • 主鍵區間分布(起始)：資料讀取的起始主鍵，格式為JSON數組，inf_min表示無限小。

    當主鍵包含1個int類型的主鍵列id和1個string類型的主鍵列name時，樣本配置如下：

    指定主鍵範圍	全量資料
    [ { "type": "int", "value": "000" }, { "type": "string", "value": "aaa" } ]	[ { "type": "inf_min" }, { "type": "inf_min" } ]

  • 主鍵區間分布(結束)：資料讀取的結束主鍵，格式為JSON數組，inf_max表示無限大。

    當主鍵包含1個int類型的主鍵列id和1個string類型的主鍵列name時，樣本配置如下：

    指定主鍵範圍	全量資料
    [ { "type": "int", "value": "999" }, { "type": "string", "value": "zzz" } ]	[ { "type": "inf_max" }, { "type": "inf_max" } ]

  • 切分配置資訊：自訂切分配置資訊，格式為JSON數組，普通情況下不建議配置（設定為[]）。

    當Tablestore資料存放區發生熱點，且使用Tablestore Reader自動切分的策略不能生效時，建議使用自訂的切分規則。切分指定的是在主鍵起始和結束區間內的切分點，僅配置切分鍵，無需指定全部的主鍵。

• 資料去向：選擇目標文本類型，並配置相關參數。

  • 文本類型：可選類型包括csv、text、orc和parquet。

  • 檔案名稱(含路徑)：OSS Bucket內包含路徑的檔案名稱，如tablestore/resouce_table.csv。

  • 資料行分隔符號：預設為,，如果分隔字元不可見，請填寫Unicode編碼，比如\u001b、\u007c。

  • 檔案路徑：僅當文本類型為parquet時填寫，OSS Bucket內的檔案路徑。

  • 檔案名稱：僅當文本類型為parquet時填寫，OSS Bucket內的檔案名稱。

• 去向欄位對應：配置來來源資料表到目標檔案的欄位對應，一行表示一個欄位，格式為JSON。

  • 來源欄位：包含來來源資料表的主鍵欄位和屬性欄欄位。

    當主鍵包含1個int類型的主鍵列id和1個string類型的主鍵列name，屬性列包含1個int類型的欄位age時，樣本配置如下：

    {"name":"id","type":"int"}
    {"name":"name","type":"string"}
    {"name":"age","type":"int"}

  • 目標欄位：包含來來源資料表的主鍵欄位和屬性欄欄位。

    當主鍵包含1個int類型的主鍵列id和1個string類型的主鍵列name，屬性列包含1個int類型的欄位age時，樣本配置如下：

    {"name":"id","type":"int"}
    {"name":"name","type":"string"}
    {"name":"age","type":"int"}

配置完成後，單擊頁面上方的儲存。

指令碼模式

單擊頁面上方的指令碼模式，在切換後的頁面中編輯指令碼。

以下樣本配置以目標檔案類型為csv為例，來來源資料表主鍵包含1個int類型的主鍵列id和1個string類型的主鍵列name，屬性列包含1個int類型的欄位age。配置時請替換樣本指令碼內的資料來源datasource、表名稱table以及寫入檔案名稱object。

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "ots",
            "parameter": {
                "datasource": "source_data",
                "column": [
                    {
                        "name": "id",
                        "type": "int"
                    },
                    {
                        "name": "name",
                        "type": "string"
                    },
                    {
                        "name": "age",
                        "type": "int"
                    }
                ],
                "range": {
                    "begin": [
                        {
                            "type": "inf_min"
                        },
                        {
                            "type": "inf_min"
                        }
                    ],
                    "end": [
                        {
                            "type": "inf_max"
                        },
                        {
                            "type": "inf_max"
                        }
                    ],
                    "split": []
                },
                "table": "source_table",
                "newVersion": "true"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "oss",
            "parameter": {
                "dateFormat": "yyyy-MM-dd HH:mm:ss",
                "datasource": "target_data",
                "writeSingleObject": false,
                "column": [
                    {
                        "name": "id",
                        "type": "int"
                    },
                    {
                        "name": "name",
                        "type": "string"
                    },
                    {
                        "name": "age",
                        "type": "int"
                    }
                ],
                "writeMode": "truncate",
                "encoding": "UTF-8",
                "fieldDelimiter": ",",
                "fileFormat": "csv",
                "object": "tablestore/source_table.csv"
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

指令碼編輯完成後，單擊頁面上方的儲存。