DataWorks:StarRocks データソース

パラメーター

説明

必須

デフォルト

datasource

StarRocks データソースの名前。

はい

なし

selectedDatabase

StarRocks データベースの名前。

いいえ

StarRocks データソースを設定したときに指定したデータベース名。

column

同期対象として設定されたテーブル内の列名のコレクション。StarRocks からデータを読み取る際に SET_VAR ヒントを追加したい場合は、column の最初の列名の前にヒントを追加できます。例えば、同期する列が id で、SET_VAR(enable_spill = true) を追加したい場合、column を [ "/*+ SET_VAR(enable_spill = true)*/ id"] のように設定します。

はい

なし

where

実際のビジネスシナリオでは、当日のデータを同期するための一般的なフィルターは、where 句を gmt_create>${bizdate} のように指定することです。

• where 句を使用して、増分ビジネスデータを効率的に同期できます。

• where 句、または where のキーや値を指定しない場合、データ同期は完全なデータ同期として扱われます。

いいえ

なし

table

ソーステーブル。

はい

なし

splitPk

StarRocks Reader がデータを抽出する際に、splitPk パラメーターを指定して、splitPk に指定されたフィールドに基づいてデータをシャーディングできます。これにより、同時データ同期タスクが開始され、効率が向上します。テーブルのプライマリキーは通常均等に分散されているため、結果として得られるシャードでのデータホットスポットを防ぐのに役立つため、分割キーとしてテーブルのプライマリキーを使用することを推奨します。

いいえ

なし

パラメーター

説明

必須

デフォルト値

datasource

StarRocks データソースの名前。

はい

なし

selectedDatabase

StarRocks データベースの名前。

いいえ

StarRocks データソースを設定したときに指定したデータベース名。

loadProps

StarRocks StreamLoad ジョブのリクエストパラメーター。CSV 形式でデータをインポートするためのインポートパラメーターを設定できます。特別な設定が不要な場合は、このパラメーターを {} に設定します。以下のパラメーターが利用可能です：

• column_separator：CSV インポートの列区切り文字。デフォルト値は \t です。

• row_delimiter：CSV インポートの行区切り文字。デフォルト値：。

データに \t や \n が含まれている場合は、他の文字を区切り文字として指定する必要があります。特殊文字の使用例を以下に示します：

{"column_separator":"
","row_delimiter":""}

StreamLoad は JSON 形式でのデータインポートもサポートしています。format パラメーターを json に設定できます：

{
  "format": "json"
}

JSON 形式では以下のパラメーターを設定できます：

• strip_outer_array：最も外側の配列構造を削除するかどうかを指定します。有効な値：true および false。デフォルト値：false。

  実際のシナリオでは、インポートする JSON データが外側の配列構造 [] で囲まれている場合があります。この状況では、このパラメーターを true に設定することを推奨します。StarRocks は外側の角括弧 [] を削除し、括弧内の各要素を個別のデータ行としてインポートします。このパラメーターを false に設定すると、StarRocks は JSON データ全体を単一の配列として解析し、単一のデータ行としてインポートします。

  例えば、インポートする JSON データは次のとおりです：

  [{"category":1,"author":2},{"category":3,"author":4}]
  

  • このパラメーターを true に設定すると、StarRocks は {"category":1,"author":2} と {"category":3,"author":4} を 2 つの別々の行として解析し、ターゲットの StarRocks テーブルにインポートします。

  • このパラメーターを false に設定すると、StarRocks は JSON 配列全体を単一のデータ行として解析し、ターゲットの StarRocks テーブルにインポートします。

• ignore_json_size：HTTP リクエスト内の JSON 本文のサイズをチェックするかどうかを指定します。

  説明

  デフォルトでは、HTTP リクエスト内の JSON 本文のサイズは 100 MB を超えることはできません。JSON 本文のサイズが 100 MB を超えると、エラー The size of this batch exceed the max size [104857600] of json type data data [8617627793].Set ignore_json_size to skip check,although it may lead huge memory consuming. が報告されます。このエラーを防ぐために、ignore_json_size: true 設定を HTTP リクエストヘッダーに追加して、JSON 本文のサイズチェックをバイパスできます。

• compression：StreamLoad データ転送プロセス中に使用する圧縮アルゴリズムを指定します。サポートされているアルゴリズムは GZIP、BZIP2、LZ4_FRAME、および ZSTD です。

• strict_mode：厳格モードを有効にするかどうかを指定します。

  有効な値：

  • true：厳格モードを有効にします。StarRocks は不正なデータ行をフィルタリングし、正しいデータ行のみをインポートし、不正なデータの詳細を返します。

  • false：厳格モードを無効にします。StarRocks は変換に失敗したフィールドを NULL 値に変換し、NULL 値を含むエラー行を有効なデータ行とともにインポートします。

  デフォルト値：false。

はい

なし

column

データを書き込む先の列。

はい

なし

loadUrl

StarRocks FrontEnd の IP と HTTP ポート (デフォルトは 8030) を入力します。複数の FrontEnd ノードがある場合は、すべてを入力し、エントリをカンマ (,) で区切ることができます。

はい

なし

table

ターゲットテーブル。

はい

なし

preSql

同期タスクが開始される前に実行する SQL 文。例えば、TRUNCATE TABLE tablename を使用して、テーブル内の既存のデータをクリアできます。

いいえ

なし

postSql

同期タスクが終了した後に実行する SQL 文。

いいえ

なし

maxBatchRows

書き込みバッチあたりの最大行数。

いいえ

500000

maxBatchSize

書き込みバッチあたりの最大データサイズ (バイト単位)。

いいえ

5242880

strategyOnError

バッチ書き込み中の例外を処理するためのポリシー。

有効な値：

• exit：StarRocks へのデータ書き込み中に例外が発生した場合、同期タスクは失敗して終了します。

• batchDirtyData：StarRocks へのデータ書き込み中に例外が発生した場合、現在のデータバッチはダーティデータとして記録されます。

デフォルト値：exit。

いいえ

exit