Lindorm データインポートタスクの API 管理 - Lindorm

このトピックでは、API 操作を使用してデータインポートタスクを送信する方法について説明します。

タスクの送信

API (POST): http://{BDSMaster}:12311/pro/proc/bulkload/create。 `{BDSMaster}` は、Lindorm インスタンスのマスターホスト名に置き換えます。 Lindorm コンソールにログインし、[クラスター情報] ページの [基本情報] セクションでホスト名を確認できます。

パラメーター：

パラメーター	説明
src	ソースデータソースの名前。
dst	宛先データソースの名前。
readerConfig	読み取りプラグインの構成。ファイルは JSON フォーマットである必要があります。構成例については、「汎用バッチインポートサービス」をご参照ください。
writerConfig	書き込みプラグインの構成。ファイルは JSON フォーマットである必要があります。構成例については、「汎用バッチインポートサービス」をご参照ください。
driverSpec	ドライバーの仕様。有効値：small、medium、large、xlarge。このパラメーターを large に設定します。
instances	エグゼキュータの数。
fileType	ソースデータソースが HDFS の場合は、ファイルタイプを指定します。有効値：CSV および Parquet。
sparkAdditionalParams	拡張パラメーター。このパラメーターはオプションです。

例：

curl -d "src=hdfs&dst=ld&readerConfig={\"filePath\":\"parquet/\",\"column\":[\"id\",\"intcol\",\"doublecol\",\"stringcol\",\"string1col\",\"decimalcol\"]}&writerConfig={\"columns\":[\"ROW||String\",\"f:intcol||Int\",\"f:doublecol||Double\",\"f:stringcol||String\",\"f:string1col||String\",\"f:decimalcol||Decimal\"],\"namespace\":\"default\",\"lindormTable\":\"bulkload_test\",\"compression\":\"zstd\"}&driverSpec=large&instances=5&fileType=Parquet" -H "Content-Type: application/x-www-form-urlencoded" -X POST http://{LTSMaster}:12311/pro/proc/bulkload/create

次の応答が返されます。`message` パラメーターの値はタスク ID です。

{"success":"true","message":"proc-91-ff383c616e5242888b398e51359c****"}

タスク情報の取得

API 操作 (GET): http://{LTSMaster}:12311/pro/proc/{procId}/info。 {LTSMaster} を Lindorm インスタンスの Master ホスト名に置き換えます。ホスト名は、LTS の [クラスター情報] ページの [基本情報] セクションから取得できます。
パラメーター：`procId` はタスク ID を指定します。

例：

curl http://{LTSMaster}:12311/pro/proc/proc-91-ff383c616e5242888b398e51359c****/info

次の応答が返されます：

{
    "data":{
        "checkJobs":Array,
        "procId":"proc-91-ff383c616e5242888b398e51359c****",  // タスク ID
        "incrJobs":Array,
        "procConfig":Object,
        "stage":"WAIT_FOR_SUCCESS",
        "fullJobs":Array,
        "mergeJobs":Array,
        "srcDS":"hdfs",    // ソースデータソース
        "sinkDS":"ld-uf6el41jkba96****",  // 宛先データソース
        "state":"RUNNING",   // タスクステータス
        "schemaJob":Object,   
        "procType":"SPARK_BULKLOAD"   // タスクタイプ
    },
    "success":"true"
}

タスクの停止

API 操作 (GET): http://{LTSMaster}:12311/pro/proc/{procId}/abort。 {LTSMaster} を Lindorm インスタンスのマスターホスト名に置き換えます。マスターホスト名は、LTS の [クラスター情報] ページの [基本情報] セクションから取得できます。
パラメーター：`procId` はタスク ID を指定します。

例：

curl http://{LTSMaster}:12311/pro/proc/proc-91-ff383c616e5242888b398e51359c****/abort

次の応答が返されます：

{"success":"true","message":"ok"}

タスクのリトライ

API 操作 (GET): http://{LTSMaster}:12311/pro/proc/{procId}/retry。{LTSMaster} を Lindorm インスタンスの Master ホスト名に置き換えます。ホスト名は、LTS の [クラスター情報] ページの [基本情報] セクションから取得できます。
パラメーター：`procId` はタスク ID を指定します。

例：

curl http://{LTSMaster}:12311/pro/proc/proc-91-ff383c616e5242888b398e51359c****/retry

次の応答が返されます：

{"success":"true","message":"ok"}

タスクの削除

API 操作 (GET): http://{LTSMaster}:12311/pro/proc/{procId}/delete。 {LTSMaster} を Lindorm インスタンスのマスターホスト名で置き換えます。ホスト名は、LTS の [クラスター情報] ページの [基本情報] セクションから取得できます。
パラメーター：`procId` はタスク ID を指定します。

例：

curl http://{LTSMaster}:12311/pro/proc/proc-91-ff383c616e5242888b398e51359c****/delete

次の応答が返されます：

{"success":"true","message":"ok"}