DataWorks:StarRocks データソース

パラメーター

説明

必須

デフォルト値

datasource

StarRocks データソースの名前。

はい

なし

selectedDatabase

StarRocks データベースの名前。

いいえ

StarRocks データソースで設定されたデータベース名。

column

データを読み取る列の名前。StarRocks からデータを読み取る際に `SET_VAR` ヒントを追加したい場合は、最初の列名の前にヒントを追加できます。たとえば、`id` 列からデータを読み取り、SET_VAR(enable_spill = true) を追加したい場合、column パラメーターを [ "/*+ SET_VAR(enable_spill = true)*/ id"] に設定します。

はい

なし

where

フィルター条件。実際のビジネスシナリオでは、多くの場合、当日のデータを同期します。where 条件を gmt_create>${bizdate} に設定します。

• where 条件は増分同期に使用できます。

• where 句が提供されていない場合、または where 句のキーまたは値が提供されていない場合、データ同期は完全なデータ同期として扱われます。

いいえ

なし

table

同期するテーブルの名前。

はい

なし

splitPk

StarRocks Reader がデータを抽出する際に splitPk を指定すると、システムは splitPk で表されるフィールドを使用してデータシャーディングを行います。これにより、データ同期のタスクを並行して実行でき、効率が向上します。プライマリキーは通常、均等に分散されているため、splitPk にはテーブルのプライマリキーを使用することを推奨します。これにより、シャードでのデータホットスポットを防ぐことができます。

いいえ

なし

パラメーター

説明

必須

デフォルト値

datasource

StarRocks データソースの名前。

はい

なし

selectedDatabase

StarRocks データベースの名前。

いいえ

StarRocks データソースで設定されたデータベース名。

loadProps

StarRocks Stream Load のリクエストパラメーター。Stream Load を使用して CSV 形式でデータをインポートする場合、ここでインポートパラメーターを設定できます。特別な設定が不要な場合は、{} を使用します。設定可能なパラメーターは次のとおりです：

• column_separator：CSV インポートの列区切り文字。デフォルト値：\t。

• row_delimiter：CSV インポートの行区切り文字。デフォルト値：\n。

データに \t または \n が含まれている場合は、他の文字を区切り文字として使用する必要があります。次の例は、特殊文字の使用方法を示しています：

{"column_separator":"\\x01","row_delimiter":"\\x02"}

Stream Load は JSON 形式でのデータインポートもサポートしています。次のパラメーターを設定できます：

{
  "format": "json"
}

JSON 形式で設定できるパラメーターは次のとおりです：

• strip_outer_array：最も外側の配列構造をトリミングするかどうかを指定します。有効な値：true および false。デフォルト値：false。

  実際のビジネスシナリオでは、インポートする JSON データが、配列構造を表すために最も外側の層に角括弧 [] を持つことがあります。この場合、このパラメーターを true に設定することを推奨します。StarRocks は外側の角括弧 [] をトリミングし、括弧内の各内部配列を個別のデータ行としてインポートします。このパラメーターを false に設定すると、StarRocks は JSON データファイル全体を配列として解析し、単一のデータ行としてインポートします。

  たとえば、インポートする JSON データは次のとおりです：

  [{"category":1,"author":2},{"category":3,"author":4}]
  

  • このパラメーターを true に設定すると、StarRocks は {"category":1,"author":2} と {"category":3,"author":4} を 2 つのデータ行として解析し、送信先の StarRocks テーブルの対応するデータ行にインポートします。

  • このパラメーターを false に設定すると、StarRocks は JSON 配列全体を単一のデータ行として解析し、送信先の StarRocks テーブルにインポートします。

• ignore_json_size：HTTP リクエスト内の JSON 本文のサイズをチェックするかどうかを指定します。

  説明

  デフォルトでは、HTTP リクエスト内の JSON 本文のサイズは 100 MB を超えることはできません。JSON 本文のサイズが 100 MB を超えると、次のエラーが報告されます：The size of this batch exceed the max size [104857600] of json type data data [8617627793].Set ignore_json_size to skip check,although it may lead enormous memory consuming. このエラーを回避するには、HTTP リクエストヘッダーに ignore_json_size: true を追加して、JSON 本文のサイズのチェックをスキップできます。

• compression：Stream Load のデータ転送中に使用する圧縮アルゴリズムを指定します。サポートされるアルゴリズム：GZIP、BZIP2、LZ4_FRAME、および ZSTD。

• strict_mode：厳格モードを有効にするかどうかを指定します。

  有効な値：

  • true：厳格モードを有効にします。StarRocks は不正なデータ行をフィルタリングし、正しいデータ行のみをインポートして、不正なデータの詳細を返します。

  • false：厳格モードを無効にします。StarRocks は変換に失敗した不正なフィールドを NULL 値に変換し、これらの NULL 値を含む不正なデータ行を正しいデータ行と一緒にインポートします。

  デフォルト値：false。

はい

なし

column

設定されたテーブルで同期する列のセット。

はい

なし

loadUrl

StarRocks フロントエンドの IP アドレスと HTTP ポートを入力します。デフォルトは通常 8030 です。複数のフロントエンドノードがある場合は、カンマ (,) で区切ってすべて設定できます。

はい

なし

table

同期するテーブルの名前。

はい

なし

preSql

データ同期タスクが実行される前に実行される SQL 文。たとえば、`TRUNCATE TABLE tablename` は実行前にテーブルから古いデータをクリアします。

いいえ

なし

postSql

データ同期タスクが実行された後に実行される SQL 文。

いいえ

なし

maxBatchRows

各バッチで書き込む最大行数。

いいえ

500000

maxBatchSize

各バッチで書き込む最大バイト数。

いいえ

5242880

strategyOnError

StarRocks にデータをバッチで書き込む際の例外処理ポリシー。

有効な値：

• exit：StarRocks への書き込み中に例外が発生した場合、同期タスクは失敗して終了します。

• batchDirtyData：StarRocks への書き込み中に例外が発生した場合、現在のバッチデータはダーティデータとして記録されます。

デフォルト値：exit。

いいえ

exit