MaxCompute：Tabel eksternal Tablestore

Informasi latar belakang

Tablestore adalah layanan penyimpanan data NoSQL yang dibangun di atas sistem terdistribusi Alibaba Cloud Apsara. Tablestore menyediakan penyimpanan dan akses real-time ke sejumlah besar data terstruktur. Untuk informasi selengkapnya, lihat dokumentasi Tablestore.

Anda dapat menggunakan DataWorks bersama MaxCompute untuk membuat, mencari, mengkueri, mengonfigurasi, memproses, dan menganalisis tabel eksternal secara visual. Untuk informasi selengkapnya, lihat Tabel eksternal.

Catatan Penggunaan

• Anda harus memastikan konektivitas jaringan antara MaxCompute dan Tablestore. Saat mengakses data Tablestore dari MaxCompute di cloud publik, kami menyarankan Anda menggunakan titik akhir privat Tablestore. Titik akhir privat diakhiri dengan ots-internal.aliyuncs.com, misalnya, tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com.

• Tablestore dan MaxCompute menggunakan sistem tipe data yang berbeda. Tabel berikut mencantumkan pemetaan antara tipe data yang didukung oleh Tablestore dan MaxCompute.

  Tipe MaxCompute	Tipe Tablestore
  STRING	STRING
  BIGINT	INTEGER
  DOUBLE	DOUBLE
  BOOLEAN	BOOLEAN
  BINARY	BINARY

• Tabel eksternal Tablestore tidak mendukung atribut pengelompokan.

Prasyarat

• Anda telah diberikan izin untuk mengakses Tablestore. Untuk informasi lebih lanjut tentang otorisasi, lihat Otorisasi STS untuk Tablestore.

• Instans Tablestore, tabel, dan data telah dibuat. Untuk informasi selengkapnya, lihat Panduan Cepat untuk model tabel lebar.

Buat tabel eksternal

MaxCompute menyediakan fitur tabel eksternal. Anda dapat menggunakan tabel eksternal untuk mengimpor data dari Tablestore ke sistem meta MaxCompute guna diproses. Bagian berikut menjelaskan cara membuat tabel eksternal Tablestore.

DROP TABLE IF EXISTS ots_table_external;
CREATE EXTERNAL TABLE IF NOT EXISTS ots_table_external
(
  odps_orderkey bigint,
  odps_orderdate string,
  odps_custkey bigint,
  odps_orderstatus string,
  odps_totalprice double,
  odps_createdate timestamp
)
STORED BY 'com.aliyun.odps.TableStoreStorageHandler'
WITH SERDEPROPERTIES (
  'tablestore.columns.mapping'=':o_orderkey,:o_orderdate,o_custkey,o_orderstatus,o_totalprice',
  'tablestore.table.name'='ots_tpch_orders',
  'odps.properties.rolearn'='acs:ram::xxxxx:role/aliyunodpsdefaultrole',
  'tablestore.read.mode'='permissive',
  'tablestore.corrupt.column'='ColumnName',
  'tablestore.timestamp.ticks.unit'='seconds',
  'tablestore.column.odps_createdate.timestamp.ticks.unit'='millis',
  'tablestore.table.put.row'='true'
)
LOCATION 'tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com';

SET odps.sql.unstructured.tablestore.put.row=true;

DESC extended <table_name>;

Lakukan kueri data pada tabel eksternal

SELECT odps_orderkey, odps_orderdate, SUM(odps_totalprice) AS sum_total
FROM ots_table_external
WHERE odps_orderkey > 5000 AND odps_orderkey < 7000 AND odps_orderdate >= '1996-05-03' AND odps_orderdate < '1997-05-01'
GROUP BY odps_orderkey, odps_orderdate
HAVING sum_total> 400000.0;

Jika Anda mengakses data Tablestore menggunakan pernyataan SQL MaxCompute, semua operasi—seperti pemilihan nama kolom—dilakukan di MaxCompute. Pada contoh di atas, nama kolomnya adalah odps_orderkey dan odps_totalprice, bukan nama kolom kunci primer o_orderkey dan kolom atribut o_totalprice pada tabel Tablestore. Hal ini karena pemetaannya telah ditentukan dalam pernyataan DDL yang digunakan untuk membuat tabel eksternal. Anda juga dapat mempertahankan nama kolom kunci primer dan kolom atribut pada tabel Tablestore sesuai kebutuhan.

CREATE TABLE internal_orders AS
SELECT odps_orderkey, odps_orderdate, odps_custkey, odps_totalprice
FROM ots_table_external
WHERE odps_orderkey > 5000 ;

internal_orders adalah tabel MaxCompute yang mendukung semua fitur tabel internal MaxCompute. Tabel internal_orders menggunakan penyimpanan kolom terkompresi secara efisien dan berisi data makro internal lengkap serta informasi statistik. Tabel internal_orders disimpan di MaxCompute, sehingga Anda dapat mengaksesnya lebih cepat daripada tabel Tablestore. Metode ini cocok untuk data yang perlu dihitung berkali-kali.

Ekspor data dari MaxCompute ke Tablestore

INSERT OVERWRITE TABLE ots_table_external
SELECT odps_orderkey, odps_orderdate, odps_custkey, CONCAT(odps_custkey, 'SHIPPED'), CEIL(odps_totalprice)
FROM internal_orders;

INSERT OVERWRITE TABLE ots_table_external
SELECT odps_orderkey, odps_orderdate, odps_custkey, CONCAT(odps_custkey, 'SHIPPED'), CEIL(odps_totalprice)
FROM (SELECT * FROM internal_orders DISTRIBUTE BY rand()) t;

Tablestore adalah layanan penyimpanan data NoSQL yang menyimpan data dalam format pasangan kunci-nilai. Output data dari MaxCompute hanya memengaruhi baris yang mencakup kunci primer tabel Tablestore. Dalam contoh ini, hanya baris yang mencakup odps_orderkey dan odps_orderdate yang terpengaruh. Hanya kolom atribut yang ditentukan saat membuat tabel ots_table_external yang diperbarui. Kolom yang tidak termasuk dalam tabel eksternal tidak dimodifikasi.

Contoh penanganan data rusak

1. Buat tabel Tablestore bernama mf_ots_test dan siapkan data. Untuk informasi selengkapnya, lihat Panduan Cepat untuk model tabel lebar.

   Kode sampel berikut menunjukkan data default tabel Tablestore.

   +----+-----------+---------------------------+
   | id | name      | desc                      |
   +----+-----------+---------------------------+
   | 1  | Zhang San | Zhang San's description   |
   +----+-----------+---------------------------+

2. Buat tabel eksternal MaxCompute.

   CREATE EXTERNAL TABLE IF NOT EXISTS mf_ots_external_permi
   (
    id string,
   	name bigint,
   	desc string,
   	corrupt_col string
   )
   STORED BY 'com.aliyun.odps.TableStoreStorageHandler'
   WITH SERDEPROPERTIES (
     'tablestore.columns.mapping'=':id,name,desc',
     'tablestore.table.name'='mf_ots_test',
     'tablestore.read.mode'='permissive',
     'tablestore.corrupt.column'='corrupt_col',
     'odps.properties.rolearn'='acs:ram::139699392458****:role/aliyunodpsdefaultrole'
   )
   LOCATION 'tablestore://santie-doc.cn-shanghai.ots-internal.aliyuncs.com';

3. Jalankan kode berikut untuk menanyakan data dalam tabel eksternal MaxCompute:

   -- Query data
   SELECT * FROM mf_ots_external_permi;

   Hasil berikut dikembalikan. Bidang kesalahan ditulis ke kolom corrupt_col dalam format JSON.

   +------------+------------+--------------------------+------------------------+
   | id         | name       | desc                     | corrupt_col            |
   +------------+------------+--------------------------+------------------------+
   | 1          | NULL       | Description of Zhang San | {"name": "\"Zhang San\""} |
   +------------+------------+--------------------------+------------------------+

   Catatan

   Jika tablestore.read.mode tidak dikonfigurasi atau diatur ke permissive tetapi tablestore.corrupt.column tidak dikonfigurasi untuk menentukan kolom tempat data rusak ditulis, pesan kesalahan "Columns not match with columns mapping and corrupt column" akan dikembalikan saat Anda melakukan kueri pada tabel eksternal.

FAQ