MaxCompute：Tipe Data JSON

Informasi Latar Belakang

Data semi-terstruktur merupakan gabungan antara data terstruktur dan tidak terstruktur. Data ini memiliki skema fleksibel tanpa batasan ketat, sering kali bersifat deskriptif diri sendiri. Data JSON adalah contoh khas dari data semi-terstruktur. Untuk memperkuat dukungan terhadap data semi-terstruktur dalam SQL MaxCompute, MaxCompute menyediakan fitur seperti evolusi skema, tipe JSON STRING, fungsi tipe kompleks bawaan, dan ekspresi Lambda. Namun, Anda harus memproses data semi-terstruktur secara standar sebelum mengimpornya ke tabel dengan skema tetap untuk data terstruktur. Jika skema bisnis Anda berubah, gunakan fitur evolusi skema untuk mengeksekusi pernyataan DDL guna memodifikasi skema tabel.

Mode sebelumnya memiliki batasan kuat pada skema, sehingga sulit untuk mengimpor data semi-terstruktur dengan cepat. Data yang tidak sesuai dengan spesifikasi skema akan dibuang selama impor. Untuk mengatasi masalah ini, tim pengembangan MaxCompute merancang tipe data JSON. Tipe data ini cocok untuk data semi-terstruktur tanpa batasan ketat pada skema dan memungkinkan pemanfaatan penuh mode penyimpanan berorientasi kolom, sehingga memenuhi kebutuhan fleksibilitas tinggi dan kinerja tinggi.

Prinsip Dasar

Tipe data JSON adalah tipe baru yang diperkenalkan di MaxCompute. Anda dapat menggunakannya seperti tipe data lainnya. Dukungan untuk tipe data JSON membebaskan Anda dari pengelolaan skema. Setelah memasukkan data JSON ke tabel MaxCompute, sistem secara otomatis mengekstrak dan mengoptimalkan skema publik. Untuk meningkatkan kinerja, disarankan menyimpan data JSON dalam mode penyimpanan berorientasi kolom. Berikut adalah contohnya:

CREATE TABLE json_table
(
    json_val  json
);

CREATE TABLE string_table
(
    string_val  STRING
);

INSERT INTO string_table VALUES
        ('{"a":1, "b":2}')
        ,('{"a":"key", "b":2}')
        ,('{"c":3}');

INSERT INTO json_table
SELECT  json_parse(string_val)
FROM    string_table;

Saat memasukkan data ke tabel MaxCompute, sistem secara otomatis mengekstrak skema publik <"a":binary, "b":bigint, "c":bigint>. Saat mengambil data, MaxCompute dapat memangkas kolom berdasarkan skema publik, mengurangi jumlah data yang dibaca dan meningkatkan efisiensi kueri. Berikut adalah contoh kueri:

SELECT  json_val["b"]
        ,json_val["c"]
FROM    json_table
;  
-- Saat Anda mengambil data dari tabel, MaxCompute melakukan operasi pemangkasan kolom dan hanya menyimpan variabel b dan c.
+-----+-----+
| _c0 | _c1 |
+-----+-----+
| 2   | NULL |
| 2   | NULL |
| NULL | 3   |
+-----+-----+

MaxCompute menyimpan data yang tidak termasuk dalam skema publik menggunakan tipe BINARY alih-alih tipe STRING asli, sehingga mengurangi ruang penyimpanan yang diperlukan. Dibandingkan dengan fungsi yang ditentukan pengguna (UDF), tipe data JSON meningkatkan efisiensi konversi antara tipe STRING dan tipe data JSON.

Batasan

• Alat pengembangan yang didukung meliputi klien MaxCompute (odpscmd), MaxCompute Studio, dan DataWorks. Ekosistem eksternal seperti Dataphin tidak didukung. Jika Anda ingin menggunakan tipe data JSON yang didukung oleh MaxCompute di ekosistem eksternal, pastikan ekosistem tersebut mendukung tipe data JSON. Tabel berikut menjelaskan item yang perlu diperhatikan saat menggunakan klien MaxCompute (odpscmd) atau MaxCompute Studio sebagai alat pengembangan untuk data bertipe JSON.

  Klien MaxCompute (odpscmd)

  MaxCompute Studio

  Anda harus meningkatkan klien MaxCompute ke V0.46.5 atau versi lebih baru. Jika tidak, Anda tidak dapat mengeksekusi pernyataan desc json_table atau mengunduh data bertipe JSON menggunakan Tunnel. Anda harus mengatur parameter use_instance_tunnel ke false. Parameter ini termasuk dalam file odps_config.ini di folder conf di jalur instalasi klien. Jika tidak, kesalahan akan dilaporkan saat Anda melakukan kueri.

  MaxCompute Studio memungkinkan Anda untuk mengkueri data JSON. MaxCompute Studio tidak memungkinkan Anda untuk mengunggah atau mengunduh data JSON.

• Jika Anda ingin menggunakan mesin lain, seperti Hologres, untuk membaca data dari tabel MaxCompute, data JSON di tabel tidak dapat dibaca.

• Kolom bertipe JSON tidak dapat ditambahkan ke tabel MaxCompute.

• Anda tidak diizinkan membandingkan data bertipe JSON dengan data bertipe lain, mengeksekusi pernyataan SQL yang berisi klausa ORDER BY atau GROUP BY pada data bertipe JSON, atau menggunakan kolom bertipe JSON sebagai kunci join.

• Untuk data bertipe JSON NUMBER, bagian integer disimpan menggunakan tipe BIGINT, dan bagian desimal disimpan menggunakan tipe DOUBLE. Jika bagian integer melebihi rentang yang didukung oleh tipe BIGINT, terjadi overflow integer. Saat bagian desimal dikonversi menjadi tipe DOUBLE, terjadi kehilangan presisi.

• String yang digunakan untuk menghasilkan data JSON tidak boleh berisi \u0000, yaitu karakter null dalam Unicode.

• Java UDF dan Python UDF tidak mendukung tipe data JSON.

• Tabel terkluster tidak dapat menyimpan data JSON.

• SDK untuk Java dalam versi sebelum V0.44.0 dan PyODPS dalam versi sebelum V0.11.4.1 tidak mendukung tipe data JSON.

• Tabel Delta tidak mendukung tipe data JSON.

• Tipe data JSON dapat digunakan secara bertingkat, mendukung hingga 20 tingkat bertingkat.

Konstanta Literal

Tipe data JSON didefinisikan berdasarkan standar JSON dan mencakup BOOLEAN, NUMBER, STRING, NULL, ARRAY, dan OBJECT. Untuk data bertipe JSON NUMBER, bagian yang berbeda disimpan secara terpisah menggunakan tipe BIGINT dan DOUBLE. Jika bagian data bertipe JSON NUMBER melebihi rentang yang ditentukan, terjadi kehilangan presisi. JSON 'null' berbeda dari SQL null.

JSON 'null'
JSON '123'
JSON '123.34'
JSON 'true'
JSON '{"id":123,"name":"MaxCompute"}'
JSON '[12, 34]'

Konstanta yang Anda gunakan harus sesuai dengan standar JSON. Sebagai contoh, JSON '{id:123,"name":"MaxCompute"}' adalah string JSON yang tidak valid karena id harus diapit dengan tanda kutip ganda (").

Menentukan Tipe Data JSON

Anda dapat membuat tabel yang berisi data bertipe JSON seperti halnya membuat tabel yang berisi data bertipe dasar. Tidak perlu menentukan skema.

CREATE TABLE mf_json_table (json_val JSON);

Menghasilkan Data JSON

Anda dapat menggunakan salah satu metode berikut untuk menghasilkan data JSON:

• Literal JSON

  insert into mf_json_table values (json '123');

• Fungsi JSON

  -- json_object dan json_array adalah fungsi bawaan MaxCompute.
  insert into mf_json_table select json_object("key",123, "value", "abc");
  
  select * from mf_json_table;
  
  -- Hasil berikut dikembalikan:
  +----------+
  | json_val |
  +----------+
  | 123      |
  | {"key":123,"value":"abc"} |
  +----------+
  
  
  insert into mf_json_table select json_array("key",234, "value", "abc");
  
  select * from mf_json_table;
  
  -- Hasil berikut dikembalikan:
  +----------+
  | json_val |
  +----------+
  | 123      |
  | ["key",234,"value","abc"] |
  | {"key":123,"value":"abc"} |
  +----------+

• Konversi Tipe

  Perhatikan perbedaan antara fungsi cast dan fungsi json_parse. Untuk informasi lebih lanjut, lihat Fungsi Tipe Kompleks.

  insert into mf_json_table select cast("abc" as json);
  select * from mf_json_table;
  -- Hasil berikut dikembalikan:
  +----------+
  | json_val |
  +----------+
  | 123      |
  | "abc"    |
  | ["key",234,"value","abc"] |
  | {"key":123,"value":"abc"} |
  +----------+

Mengakses Data JSON

Anda dapat menggunakan metode pengindeksan, fungsi json_extract, atau fungsi get_json_object untuk mengakses data JSON. Hasil yang dikembalikan bertipe JSON.

-- 123 dikembalikan.
SELECT v['id'] 
  FROM VALUES (JSON '{"id":123}') as t(v);
  
-- 12 dikembalikan.
SELECT v[0] 
  FROM VALUES (JSON '[12, 34]') as t(v);
  
-- 1 dikembalikan.
select v['x']['a']  from values (json '{"x": {"a": 1, "b": 2}}') as t(v);

-- NULL dikembalikan.
SELECT v[0] 
FROM VALUES (JSON '{"id":123}') as t(v);

-- NULL dikembalikan.
SELECT v['not_exists'] 
FROM VALUES (JSON '{"id":123}') as t(v);

-- Akses data JSON menggunakan fungsi get_json_object. MaxCompute dikembalikan.
SELECT GET_JSON_OBJECT(v, '$.x.name')
  FROM VALUES (JSON '{"x": {"id": 1001, "name": "MaxCompute"}}') as t(v);
  
-- Hasil berikut dikembalikan:
+-----+
| _c0 |
+-----+
| MaxCompute |
+-----+

-- Akses data JSON menggunakan fungsi json_extract. "MaxCompute" bertipe JSON dikembalikan.
SELECT JSON_EXTRACT(v, '$.x.name') 
  FROM VALUES (JSON '{"x": {"id": 1001, "name": "MaxCompute"}}') as t(v);
  
-- Hasil berikut dikembalikan:
+-----+
| _c0 |
+-----+
| "MaxCompute" |
+-----+