E-MapReduce：JSON格式匯入

目前只有以下匯入方式支援JSON格式的資料匯入：

• 將本地JSON格式的檔案通過Stream Load方式匯入。

• 通過Routine Load訂閱並消費Kafka中的JSON格式訊息。

當前僅支援以下兩種JSON格式：

• 以Array表示的多行資料

  以Array為根節點的JSON格式。Array中的每個元素表示要匯入的一行資料，通常是一個Object。樣本如下：

  [
      { "id": 123, "city" : "beijing"},
      { "id": 456, "city" : "shanghai"},
      ...
  ]

  這種方式通常用於Stream Load匯入方式，以便在一批匯入資料中表示多行資料。

  重要

  必須配合設定strip_outer_array=true使用。Doris在解析時會將數組展開，然後依次解析其中的每一個 Object作為一行資料。

• 以Object表示的單行資料

  以Object為根節點的JSON格式。整個Object即表示要匯入的一行資料。樣本如下：

  { "id": 123, "city" : "beijing"}

  { "id": 123, "city" : { "name" : "beijing", "region" : "haidian" }}

  這種方式通常用於Routine Load匯入方式，如表示Kafka中的一條訊息，即一行資料。

• 以固定分隔字元分隔的多行Object資料

  Object表示的一行資料，即表示要匯入的一行資料，樣本如下：

  { "id": 123, "city" : "beijing"}
  { "id": 456, "city" : "shanghai"}
  ...

  這種方式通常用於Stream Load匯入方式，以便在一批匯入資料中表示多行資料。

  重要

  必須配合設定read_json_by_line=true使用，特殊分隔字元還需要指定line_delimiter參數，預設\n。Doris在解析時會按照分隔字元分隔，然後解析其中的每一行Object作為一行資料。

• 不指定JSON Path

  如果沒有指定JSON Path，則Doris會預設使用表中的列名尋找Object中的元素。樣本如下：

  表中包含兩列id, city。Json資料如下：

  { "id": 123, "city" : "beijing"}

  則Doris會使用id, city進行匹配，得到最終資料123和beijing。

  若JSON資料如下：

  { "id": 123, "name" : "beijing"}

  則Doris使用id, city進行匹配，得到最終資料123和null。

• 指定JSON Path

  通過一個JSON資料的形式指定一組JSON Path。數組中的每個元素表示一個要抽取的列。樣本如下：

  ["$.id", "$.name"]

  ["$.id.sub_id", "$.name[0]", "$.city[0]"]

  Doris會使用指定的JSON Path進行資料匹配和抽取。

• 匹配非基本類型

  前面的樣本最終匹配到的數值都是基本類型，如整型、字串等。Doris當前暫不支援複合類型，如Array、Map等。所以當匹配到一個非基本類型時，Doris會將該類型轉換為JSON格式的字串，並以字串類型進行匯入，樣本如下：

  JSON資料為：

  { "id": 123, "city" : { "name" : "beijing", "region" : "haidian" }}

  JSON Path為["$.city"]。則匹配到的元素為：

  { "name" : "beijing", "region" : "haidian" }

  該元素會被轉換為字串進行後續匯入操作：

  "{'name':'beijing','region':'haidian'}"

• 匹配失敗

  當匹配失敗時，將會返回Null。樣本如下：

  JSON資料為：

  { "id": 123, "name" : "beijing"}

  JSON Path為["$.id", "$.info"]。則匹配到的元素為123和null。

  Doris當前不區分JSON資料中表示的Null值，和匹配失敗時產生的Null值。假設JSON資料為：

  { "id": 123, "name" : null }

  則使用以下兩種JSON Path會獲得相同的結果：123和null。

  • ["$.id", "$.name"]

  • ["$.id", "$.info"]

• 完全符合失敗

  為防止一些參數設定錯誤導致的誤操作。Doris在嘗試匹配一行資料時，如果所有列都匹配失敗，則會認為這個是一個錯誤行。假設JSON資料為：

  { "id": 123, "city" : "beijing" }

  如果JSON Path錯誤的寫為（或者不指定JSON Path時，表中的列不包含id和city）：

  ["$.ad", "$.infa"]

  則會導致完全符合失敗，則該行會標記為錯誤行，而不是產出null, null。

相當於通過JSON Path，將一個JSON格式的資料，按照JSON Path中指定的列順序進行了列的重排。之後，可以通過Columns，將這個重排後的來源資料和表的列進行映射。舉例如下：

• 資料內容

  {"k1" : 1, "k2": 2}

• 表結構

  k2 int, k1 int

• 匯入語句1（以Stream Load為例）

  curl -v --location-trusted -u root: -H "format: json" -H "jsonpaths: [\"$.k2\", \"$.k1\"]" -T example.json http://127.0.0.1:8030/api/db1/tbl1/_stream_load

  匯入語句1中，僅指定了JSON Path，沒有指定Columns。其中JSON Path的作用是將JSON資料按照JSON Path中欄位的順序進行抽取，之後會按照表結構的順序進行寫入。最終匯入的資料結果如下：

  +------+------+
  | k1   | k2   |
  +------+------+
  |    2 |    1 |
  +------+------+

  實際的k1列匯入了JSON資料中的k2列的值。因為JSON中欄位名稱並不等同於表結構中欄位的名稱，所以需要顯式的指定這兩者之間的映射關係。

• 匯入語句2

  curl -v --location-trusted -u root: -H "format: json" -H "jsonpaths: [\"$.k2\", \"$.k1\"]" -H "columns: k2, k1" -T example.json http://127.0.0.1:8030/api/db1/tbl1/_stream_load

  相比如匯入語句1，這裡增加了Columns欄位，用於描述列的映射關係，按k2,k1的順序。即按JSON Path中欄位的順序抽取後，指定第一列為表中k2列的值，而第二列為表中k1列的值。最終匯入的資料結果如下：

  +------+------+
  | k1   | k2   |
  +------+------+
  |    1 |    2 |
  +------+------+

  如其他匯入一樣，可以在Columns中進行列的轉換操作。樣本如下：

  curl -v --location-trusted -u root: -H "format: json" -H "jsonpaths: [\"$.k2\", \"$.k1\"]" -H "columns: k2, tmp_k1, k1 = tmp_k1 * 100" -T example.json http://127.0.0.1:8030/api/db1/tbl1/_stream_load

  上述樣本會將k1的值乘以100後匯入。最終匯入的資料結果如下：

  +------+------+
  | k1   | k2   |
  +------+------+
  |  100 |    2 |
  +------+------+