通過 bulkload REST API 提交和管理 Lindorm 資料匯入任務

本文介紹如何通過API介面提交資料匯入任務。

提交任務

介面（POST）：http://{BDSMaster}:12311/pro/proc/bulkload/create，BDSMaster需要修改為Lindorm執行個體的Master hostname，可以登入Lindorm執行個體的LTS，在叢集資訊頁面的基本資料地區擷取。

參數說明：

參數	說明
src	來源資料源名稱。
dst	目標資料來源名稱。
readerConfig	讀外掛程式配置資訊，檔案類型為JSON，讀外掛程式配置樣本請參見通用大量匯入服務。
writerConfig	寫外掛程式配置資訊，檔案類型為JSON，寫外掛程式配置樣本請參見通用大量匯入服務。
driverSpec	Driver的規格，包括small、medium、large和xlarge四種規格，推薦配置為large。
instances	Executor的數量。
fileType	如果來源資料源為HDFS，需要填寫檔案類型為CSV或者Parquet。
sparkAdditionalParams	擴充參數可以不填。

樣本：

curl -d "src=hdfs&dst=ld&readerConfig={\"filePath\":\"parquet/\",\"column\":[\"id\",\"intcol\",\"doublecol\",\"stringcol\",\"string1col\",\"decimalcol\"]}&writerConfig={\"columns\":[\"ROW||String\",\"f:intcol||Int\",\"f:doublecol||Double\",\"f:stringcol||String\",\"f:string1col||String\",\"f:decimalcol||Decimal\"],\"namespace\":\"default\",\"lindormTable\":\"bulkload_test\",\"compression\":\"zstd\"}&driverSpec=large&instances=5&fileType=Parquet" -H "Content-Type: application/x-www-form-urlencoded" -X POST http://{LTSMaster}:12311/pro/proc/bulkload/create

返回內容如下，message為任務ID。

{"success":"true","message":"proc-91-ff383c616e5242888b398e51359c****"}

擷取任務資訊

介面（GET）：http://{LTSMaster}:12311/pro/proc/{procId}/info，LTSMaster需要修改為Lindorm執行個體的Master hostname，可以登入Lindorm執行個體的LTS，在叢集資訊頁面的基本資料地區擷取。
參數說明：procId表示任務ID。

樣本：

curl http://{LTSMaster}:12311/pro/proc/proc-91-ff383c616e5242888b398e51359c****/info

返回內容如下：

{
    "data":{
        "checkJobs":Array,
        "procId":"proc-91-ff383c616e5242888b398e51359c****",  //任務ID
        "incrJobs":Array,
        "procConfig":Object,
        "stage":"WAIT_FOR_SUCCESS",
        "fullJobs":Array,
        "mergeJobs":Array,
        "srcDS":"hdfs",    //來源資料源
        "sinkDS":"ld-uf6el41jkba96****",  //目標資料來源
        "state":"RUNNING",   //任務狀態
        "schemaJob":Object,   
        "procType":"SPARK_BULKLOAD"   //任務類型
    },
    "success":"true"
}

終止任務

介面（GET）：http://{LTSMaster}:12311/pro/proc/{procId}/abort，LTSMaster需要修改為Lindorm執行個體的Master hostname，可以登入Lindorm執行個體的LTS，在叢集資訊頁面的基本資料地區擷取。
參數說明：procId表示任務ID。

樣本：

curl http://{LTSMaster}:12311/pro/proc/proc-91-ff383c616e5242888b398e51359c****/abort

返回內容如下：

{"success":"true","message":"ok"}

重試任務

介面（GET）：http://{LTSMaster}:12311/pro/proc/{procId}/retry，LTSMaster需要修改為Lindorm執行個體的Master hostname，可以登入Lindorm執行個體的LTS，在叢集資訊頁面的基本資料地區擷取。
參數說明：procId表示任務ID。

樣本：

curl http://{LTSMaster}:12311/pro/proc/proc-91-ff383c616e5242888b398e51359c****/retry

返回結果如下：

{"success":"true","message":"ok"}

刪除任務

介面（GET）：http://{LTSMaster}:12311/pro/proc/{procId}/delete，LTSMaster需要修改為Lindorm執行個體的Master hostname，可以登入Lindorm執行個體的LTS，在叢集資訊頁面的基本資料地區擷取。
參數說明：procId表示任務ID。

樣本：

curl http://{LTSMaster}:12311/pro/proc/proc-91-ff383c616e5242888b398e51359c****/delete

返回結果如下：

{"success":"true","message":"ok"}