E-MapReduce:Doris への JSON データのインポート

サポートされるインポート方法

JSON データは、以下の 2 つの方法でのみインポートできます。

• Stream Load：ローカルの JSON ファイルをインポートします。

• Routine Load：Kafka から JSON 形式のメッセージをサブスクライブして消費します。

その他のインポート方法は JSON フォーマットをサポートしていません。

サポートされる JSON フォーマット

ユースケースに応じて JSON フォーマットを選択してください。

[
    { "id": 123, "city": "beijing" },
    { "id": 456, "city": "shanghai" },
    ...
]

{ "id": 123, "city": "beijing" }

{ "id": 123, "city": { "name": "beijing", "region": "haidian" } }

{ "id": 123, "city": "beijing" }
{ "id": 456, "city": "shanghai" }
...

JSON パラメーター

以下のパラメーターは JSON インポートの動作を制御します。

JSON パス

jsonpaths を使用して、JSON データから特定のフィールドを抽出します。jsonpaths を指定しない場合、Doris はカラム名とフィールド名を照合します。

配列形式の JSON の場合、Doris はまず配列を展開してから各要素を処理します。以下の例は単一オブジェクト形式を使用しています。

{ "id": 123, "city": "beijing" }

{ "id": 123, "name": "beijing" }

["$.id", "$.name"]

["$.id.sub_id", "$.name[0]", "$.city[0]"]

{ "id": 123, "city": { "name": "beijing", "region": "haidian" } }

{ "name": "beijing", "region": "haidian" }

"{'name':'beijing','region':'haidian'}"

{ "id": 123, "name": null }

{ "id": 123, "city": "beijing" }

JSON パスとカラム

jsonpaths と columns は異なる役割を持ち、順番に適用されます。

1. `jsonpaths` は JSON ソースからフィールドを抽出し、位置ベースのデータセットに並べ替えます。

2. `columns` はその位置ベースのデータセットをターゲットテーブルのカラムにマッピングし、必要に応じて変換を適用します。

この分離により、JSON から任意の順序でフィールドを抽出し、テーブルカラムに名前でマッピングできます。

サンプルデータ：

{"k1": 1, "k2": 2}

テーブルスキーマ：

k2 int, k1 int

インポート文 1 — jsonpaths のみ、columns なし：

curl -v --location-trusted -u root: \
  -H "format: json" \
  -H "jsonpaths: [\"$.k2\", \"$.k1\"]" \
  -T example.json \
  http://127.0.0.1:8030/api/db1/tbl1/_stream_load

jsonpaths は k2、次に k1 の順で抽出します。columns が指定されていないため、Doris は位置でテーブルスキーマ (k2 int, k1 int) にマッピングし、最初に抽出された値は k2 に、2 番目の値は k1 に割り当てられます。結果：

+------+------+
| k1   | k2   |
+------+------+
|    2 |    1 |
+------+------+

JSON の k2 値 (2) が k1 カラムに格納されています。これは、位置マッピングが名前の違いを考慮しないためです。columns を使用してこれを修正できます。

インポート文 2 — jsonpaths と columns の併用：

curl -v --location-trusted -u root: \
  -H "format: json" \
  -H "jsonpaths: [\"$.k2\", \"$.k1\"]" \
  -H "columns: k2, k1" \
  -T example.json \
  http://127.0.0.1:8030/api/db1/tbl1/_stream_load

jsonpaths は [$.k2, $.k1] → 位置 [0, 1] で抽出します。columns: k2, k1 は位置 0 をカラム k2 に、位置 1 をカラム k1 に名前で割り当てます。結果：

+------+------+
| k1   | k2   |
+------+------+
|    1 |    2 |
+------+------+

インポート文 3 — カラム変換：

curl -v --location-trusted -u root: \
  -H "format: json" \
  -H "jsonpaths: [\"$.k2\", \"$.k1\"]" \
  -H "columns: k2, tmp_k1, k1 = tmp_k1 * 100" \
  -T example.json \
  http://127.0.0.1:8030/api/db1/tbl1/_stream_load

columns 式は位置 1 を一時カラム tmp_k1 に割り当て、その後 k1 を tmp_k1 * 100 として導出します。結果：

+------+------+
| k1   | k2   |
+------+------+
|  100 |    2 |
+------+------+

JSON ルート

json_root を使用して、Doris が解析を開始するルートノードを指定します。これは、JSON ペイロードが実際のデータをネストされた構造内にラップしている場合に便利です。

配列形式の JSON の場合、Doris はまず配列を展開してから各要素を処理します。以下の例は単一オブジェクト形式を使用しています。

json_root を使用しない場合：カラムが id および city のテーブルがある場合：

{ "id": 123, "name": { "id": "321", "city": "shanghai" } }

Doris はトップレベルのオブジェクトを検索し、id → 123、city → null とマッチします。

json_root を使用する場合：-H "json_root: $.name" を設定します。Doris は name ノードを抽出します。

{ "id": "321", "city": "shanghai" }

これが新しい入力となります。Doris は id → 321、city → "shanghai" とマッチします。

NULL とデフォルト値

JSON 行にカラムが存在しない場合、Doris はデフォルト値ではなく null を書き込みます。デフォルト値を適用するには、jsonpaths および columns を使用して明示的な式を指定してください。

サンプルデータ：

[
    {"k1": 1, "k2": "a"},
    {"k1": 2},
    {"k1": 3, "k2": "c"}
]

テーブルスキーマ： k1 int null, k2 varchar(32) null default "x"

明示的なカラムマッピングをしない場合：

curl -v --location-trusted -u root: \
  -H "format: json" \
  -H "strip_outer_array: true" \
  -T example.json \
  http://127.0.0.1:8030/api/db1/tbl1/_stream_load

結果 — 存在しない k2 値はデフォルト値 "x" ではなく NULL になります。

+------+------+
| k1   | k2   |
+------+------+
|    1 |    a |
+------+------+
|    2 | NULL |
+------+------+
|    3 |    c |
+------+------+

Doris はコンテキストからどのテーブルカラムが欠落しているかを判断できないため、null を書き込みます。デフォルト値を適用するには、カラムを明示的に参照し、ifnull を使用してください。

curl -v --location-trusted -u root: \
  -H "format: json" \
  -H "strip_outer_array: true" \
  -H "jsonpaths: [\"$.k1\", \"$.k2\"]" \
  -H "columns: k1, tmp_k2, k2 = ifnull(tmp_k2, 'x')" \
  -T example.json \
  http://127.0.0.1:8030/api/db1/tbl1/_stream_load

jsonpaths は k2 を tmp_k2 に抽出します。tmp_k2 が null（フィールドが存在しない）の場合、ifnull が 'x' に置き換えます。結果：

+------+------+
| k1   | k2   |
+------+------+
|    1 |    a |
+------+------+
|    2 |    x |
+------+------+
|    3 |    c |
+------+------+

次のステップ

• Stream Load

• Routine Load

• バックエンドノードの設定項目