E-MapReduce:Routine Load

構文

CREATE ROUTINE LOAD [database.][job_name] ON [table_name]
    [COLUMNS TERMINATED BY "column_separator" ,]
    [COLUMNS (col1, col2, ...) ,]
    [WHERE where_condition ,]
    [PARTITION (part1, part2, ...)]
    [PROPERTIES ("key" = "value", ...)]
    FROM KAFKA
    [(data_source_properties1 = 'value1',
    data_source_properties2 = 'value2',
    ...)]

HELP ROUTINE LOAD; を実行して、完全な構文リファレンスを表示します。

パラメーター

必須パラメーター

データフィルタリングとマッピング

ジョブの動作 (PROPERTIES)

Kafka ソースプロパティ

列マッピング

COLUMNS 句を使用して、ソース列を送信先テーブル列にマッピングします。

マッピングされた列 — ソース列をスキップまたは並べ替えます。例えば、送信先テーブルに col1、col2、col3 の列があり、ソースに4つの列があり、その4番目の列が col3 にマッピングされる場合:

COLUMNS (col2, col1, temp, col3)
-- "temp" は、3番目のソース列をロードせずに吸収するプレースホルダーです

派生列 — ソースデータから列値を計算します。例えば、col4 を col1 と col2 の合計として設定するには:

COLUMNS (col2, col1, temp, col3, col4 = col1 + col2)

ジョブステータスの表示

データベース内のすべてのロードジョブ (停止およびキャンセルされたジョブを含む) をリスト表示します。

USE <database>;
SHOW ALL ROUTINE LOAD;

名前で特定の実行中のジョブを表示します。

SHOW ROUTINE LOAD FOR <database>.<job_name>;

その他のオプションについては、HELP SHOW ROUTINE LOAD; または HELP SHOW ROUTINE LOAD TASK; を実行してください。

出力フィールド

SHOW ROUTINE LOAD の出力には、次の主要フィールドが含まれます。

出力例

*************************** 1. row ***************************

                  Id: 14093
                Name: routine_load_wikipedia
          CreateTime: 2020-05-16 16:00:48
           PauseTime: N/A
             EndTime: N/A
              DbName: default_cluster:load_test
           TableName: routine_wiki_edit
               State: RUNNING
      DataSourceType: KAFKA
      CurrentTaskNum: 1
       JobProperties: {"partitions":"*","columnToColumnExpr":"event_time,channel,user,is_anonymous,is_minor,is_new,is_robot,is_unpatrolled,delta,added,deleted","maxBatchIntervalS":"10","whereExpr":"*","maxBatchSizeBytes":"104857600","columnSeparator":"','","maxErrorNum":"1000","currentTaskConcurrentNum":"1","maxBatchRows":"200000"}
DataSourceProperties: {"topic":"starrocks-load","currentKafkaPartitions":"0","brokerList":"localhost:9092"}
    CustomProperties: {}
           Statistic: {"receivedBytes":150821770,"errorRows":122,"committedTaskNum":12,"loadedRows":2399878,"loadRowsRate":199000,"abortedTaskNum":1,"totalRows":2400000,"unselectedRows":0,"receivedBytesRate":12523000,"taskExecuteTimeMs":12043}
            Progress: {"0":"13634667"}
ReasonOfStateChanged:
        ErrorLogUrls: http://172.26.**.**:9122/api/_load_error_log?file=__shard_53/error_log_insert_stmt_47e8a1d107ed4932-8f1ddf7b01ad2fee_47e8a1d107ed4932_8f1ddf7b01ad2fee, http://172.26.**.**:9122/api/_load_error_log?file=__shard_54/error_log_insert_stmt_e0c0c6b040c044fd-a162b16f6bad53e6_e0c0c6b040c044fd_a162b16f6bad53e6, http://172.26.**.**:9122/api/_load_error_log?file=__shard_55/error_log_insert_stmt_ce4c95f0c72440ef-a442bb300bd743c8_ce4c95f0c72440ef_a442bb300bd743c8
            OtherMsg:
1 row in set (0.00 sec)

ロードジョブの一時停止

PAUSE ROUTINE LOAD FOR <job_name>;

ジョブは PAUSED 状態になります。データ取り込みは停止しますが、ジョブは終了されません。Statistic と Progress の更新が停止します。準備ができたら、RESUME ROUTINE LOAD でジョブを再開してください。

例については、HELP PAUSE ROUTINE LOAD; を実行してください。

ロードジョブの再開

RESUME ROUTINE LOAD FOR <job_name>;

ジョブは、FE がタスクを再スケジュールしている間、一時的に NEED_SCHEDULE 状態になります。その後まもなく RUNNING に戻り、Statistic と Progress の更新が再開されます。

例については、HELP RESUME ROUTINE LOAD; を実行してください。

ロードジョブの停止

STOP ROUTINE LOAD FOR <job_name>;

ジョブは STOPPED 状態になります。取り込みは永続的に終了されます。停止されたジョブは再開できません。停止されたジョブは SHOW ROUTINE LOAD の出力には表示されません。

例については、HELP STOP ROUTINE LOAD; を実行してください。