Buat tabel non-partisi dan terpartisi - MaxCompute

Tabel merupakan unit dasar penyimpanan data di MaxCompute. Tutorial ini memandu Anda merancang dan membuat dua jenis tabel—tabel non-partisi dan tabel partisi—menggunakan data perbankan contoh, lalu memverifikasi hasilnya.

Apa yang akan Anda pelajari:

Cara menganalisis file data dan menentukan struktur tabel yang tepat
Cara membuat tabel non-partisi dan tabel partisi menggunakan client MaxCompute
Cara menambahkan partisi ke tabel partisi
Cara memverifikasi bahwa tabel dibuat dengan skema yang benar

Steps overview: Langkah 1: Rancang tabel → Langkah 2: Buat tabel → Langkah 3: Verifikasi tabel

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

Client MaxCompute yang telah diinstal dan berjalan. Lihat Instal dan jalankan client MaxCompute.
File data CSV atau TXT untuk diimpor. Tutorial ini menggunakan file contoh berikut:
- Tabel non-partisi: banking.txt
- Tabel partisi (tiga file): banking_nocreditcard.csv, banking_uncreditcard.csv, dan banking_yescreditcard.csv
Izin CREATE TABLE pada Proyek MaxCompute Anda. Izin ini diperlukan untuk Pengguna RAM. Pemilik Akun Alibaba Cloud memiliki izin ini secara default.
- Untuk memeriksa izin Anda, lihat Kueri izin menggunakan MaxCompute SQL.
- Untuk memberikan izin kepada Pengguna RAM, lihat Izin MaxCompute.

Catatan penggunaan

Tipe data kolom dalam tabel Anda harus sesuai dengan tipe data dalam file sumber Anda. Ketidaksesuaian tipe data akan mencegah data diimpor.

Langkah 1: Rancang tabel

Sebelum menulis SQL apa pun, periksa data sumber Anda untuk menentukan jumlah kolom, nama bidang, dan tipe data setiap kolom.

File contoh dalam tutorial ini berisi data debitur hipotek. Bidang dipisahkan koma. Pratinjau berikut menampilkan beberapa baris dari tiap file:

-- Data tabel non-partisi (21 kolom)
44,blue-collar,married,basic.4y,unknown,yes,no,cellular,aug,thu,210,1,999,0,nonexistent,1.4,93.444,-36.1,4.963,5228.1,0
53,technician,married,unknown,no,no,no,cellular,nov,fri,138,1,999,0,nonexistent,-0.1,93.2,-42,4.021,5195.8,0
28,management,single,university.degree,no,yes,no,cellular,jun,thu,339,3,6,2,success,-1.7,94.055,-39.8,0.729,4991.6,1

-- Data tabel partisi (20 kolom per file; kolom credit digunakan sebagai kunci partisi)
53,technician,married,unknown,no,no,cellular,nov,fri,138,1,999,0,nonexistent,-0.1,93.2,-42,4.021,5195.8,0
28,management,single,university.degree,yes,no,cellular,jun,thu,339,3,6,2,success,-1.7,94.055,-39.8,0.729,4991.6,1
39,services,married,high.school,no,no,cellular,apr,fri,185,2,999,0,nonexistent,-1.8,93.075,-47.1,1.405,5099.1,0

Hitung jumlah kolom, identifikasi tipe data setiap bidang, dan pilih nama kolom yang bermakna. Tabel berikut merangkum analisis untuk file contoh tersebut.

<table> <thead> <tr> <td>Item</td> <td>Deskripsi</td> </tr> </thead> <colgroup></colgroup> <colgroup></colgroup> <tbody> <tr> <td>Jumlah kolom</td> <td>Hitung jumlah kolom dalam tiap file contoh dan tentukan jumlah kolom dalam tabel yang ingin Anda buat: <ul> <li>File contoh yang digunakan untuk membuat tabel non-partisi berisi 21 kolom. Anda dapat membuat tabel non-partisi yang berisi 21 kolom berdasarkan file contoh tersebut. <div> <div> </div> <div> Catatan Jika jumlah kolom dalam tabel melebihi jumlah kolom dalam file contoh, kolom tambahan dalam tabel akan diisi dengan NULL. Jika jumlah kolom dalam tabel kurang dari jumlah kolom dalam file contoh, data berlebih dalam file contoh akan dibuang. </div> </div></li> <li>Tiap file contoh yang digunakan untuk membuat tabel partisi berisi 20 kolom. Anda dapat membuat tabel partisi yang berisi 21 kolom dengan satu kolom sebagai kunci partisi berdasarkan file contoh tersebut. Anda harus mendefinisikan partisi saat membuat tabel. </li> </ul></td> </tr> <tr> <td>Bidang tabel</td> <td>Identifikasi bidang dalam tiap file contoh dan tentukan bidang dalam tabel yang ingin Anda buat: <ul> <li>Bidang tabel non-partisi: <ul> <li>age: usia</li> <li>job: jenis pekerjaan</li> <li>marital: status pernikahan</li> <li>education: tingkat pendidikan</li> <li>credit: memiliki kartu kredit</li> <li>housing: debitur hipotek</li> <li>loan: memiliki pinjaman</li> <li>contact: informasi kontak</li> <li>month: bulan</li> <li>day_of_week: hari dalam seminggu</li> <li>duration: durasi</li> <li>campaign: jumlah kontak untuk kampanye saat ini</li> <li>pdays: waktu yang berlalu setelah kontak terakhir</li> <li>previous: jumlah kontak sebelumnya</li> <li>poutcome: hasil aktivitas pemasaran sebelumnya</li> <li>emp_var_rate: laju variasi ketenagakerjaan</li> <li>cons_price_idx: indeks harga konsumen</li> <li>cons_conf_idx: indeks kepercayaan konsumen</li> <li>euribor 3m: Euribor 3 bulan (Euro Interbank Offered Rate)</li> <li>nr_employed: jumlah karyawan</li> <li>fixed_deposit: memiliki deposito</li> </ul></li> <li>Bidang tabel partisi: <ul> <li>age: usia</li> <li>job: jenis pekerjaan</li> <li>marital: status pernikahan</li> <li>education: tingkat pendidikan</li> <li>housing: debitur hipotek</li> <li>loan: memiliki pinjaman</li> <li>contact: informasi kontak</li> <li>month: bulan</li> <li>day_of_week: hari dalam seminggu</li> <li>duration: durasi</li> <li>campaign: jumlah kontak untuk kampanye saat ini</li> <li>pdays: waktu yang berlalu setelah kontak terakhir</li> <li>previous: jumlah kontak sebelumnya</li> <li>poutcome: hasil aktivitas pemasaran sebelumnya</li> <li>emp_var_rate: laju variasi ketenagakerjaan</li> <li>cons_price_idx: indeks harga konsumen</li> <li>cons_conf_idx: indeks kepercayaan konsumen</li> <li>euribor 3m: Euribor 3 bulan</li> <li>nr_employed: jumlah karyawan</li> <li>fixed_deposit: memiliki deposito</li> <li>credit: memiliki kartu kredit (kunci partisi) </li> </ul></li> </ul></td> </tr> <tr> <td>Tipe data</td> <td>Identifikasi tipe data setiap kolom dalam file contoh: <ul> <li>age: BIGINT</li> <li>job: STRING</li> <li>marital: STRING</li> <li>education: STRING</li> <li>credit: STRING</li> <li>housing: STRING</li> <li>loan: STRING</li> <li>contact: STRING</li> <li>month: STRING</li> <li>day_of_week: STRING</li> <li>duration: STRING</li> <li>campaign: BIGINT</li> <li>pdays: DOUBLE</li> <li>previous: DOUBLE</li> <li>poutcome: STRING</li> <li>emp_var_rate: DOUBLE</li> <li>cons_price_idx: DOUBLE</li> <li>cons_conf_idx: DOUBLE</li> <li>euribor3m: DOUBLE</li> <li>nr_employed: DOUBLE</li> <li>fixed_deposit: BIGINT</li> </ul></td> </tr> </tbody> </table>

Langkah 2: Buat tabel

Tutorial ini membuat total empat tabel:

bank_data: tabel non-partisi untuk mengimpor seluruh dataset
bank_data_pt: tabel partisi, dengan credit sebagai kunci partisi
result_table1: tabel non-partisi untuk menyimpan hasil kueri
result_table2: tabel non-partisi untuk menyimpan hasil kueri

Untuk detail sintaks CREATE TABLE, lihat Buat tabel. Untuk detail manajemen tabel dan partisi, lihat Operasi tabel dan Operasi partisi.

Optional: Alihkan ke Proyek MaxCompute target Anda. Lewati langkah ini jika proyek sudah dipilih saat Anda menjalankan client.
```
use doc_test_dev;
```
Prompt diperbarui untuk mengonfirmasi pergantian:
```
doc_test_dev.default>
```

Buat keempat tabel tersebut. Urutan kolom dan tipe data dalam tiap pernyataan CREATE TABLE sesuai langsung dengan bidang yang diidentifikasi di Langkah 1.

Buat tabel non-partisi bank_data:

create table if not exists bank_data
(
 age             BIGINT comment 'usia',
 job             STRING comment 'jenis pekerjaan',
 marital         STRING comment 'status pernikahan',
 education       STRING comment 'tingkat pendidikan',
 credit          STRING comment 'memiliki kartu kredit',
 housing         STRING comment 'debitur hipotek',
 loan            STRING comment 'memiliki pinjaman',
 contact         STRING comment 'informasi kontak',
 month           STRING comment 'bulan',
 day_of_week     STRING comment 'hari dalam seminggu',
 duration        STRING comment 'durasi',
 campaign        BIGINT comment 'jumlah kontak untuk kampanye saat ini',
 pdays           DOUBLE comment 'waktu yang berlalu setelah kontak terakhir',
 previous        DOUBLE comment 'jumlah kontak sebelumnya',
 poutcome        STRING comment 'hasil aktivitas pemasaran sebelumnya',
 emp_var_rate    DOUBLE comment 'laju variasi ketenagakerjaan',
 cons_price_idx  DOUBLE comment 'indeks harga konsumen',
 cons_conf_idx   DOUBLE comment 'indeks kepercayaan konsumen',
 euribor3m       DOUBLE comment 'Euribor 3 bulan',
 nr_employed     DOUBLE comment 'jumlah karyawan',
 fixed_deposit   BIGINT comment 'memiliki deposito'
);

Buat tabel partisi bank_data_pt dan tambahkan partisi. Kolom credit digunakan sebagai kunci partisi alih-alih kolom data biasa, sehingga tabel memiliki 20 kolom data ditambah satu kunci partisi.

create table if not exists bank_data_pt
(
 age             BIGINT comment 'usia',
 job             STRING comment 'jenis pekerjaan',
 marital         STRING comment 'status pernikahan',
 education       STRING comment 'tingkat pendidikan',
 housing         STRING comment 'debitur hipotek',
 loan            STRING comment 'memiliki pinjaman',
 contact         STRING comment 'informasi kontak',
 month           STRING comment 'bulan',
 day_of_week     STRING comment 'hari dalam seminggu',
 duration        STRING comment 'durasi',
 campaign        BIGINT comment 'jumlah kontak untuk kampanye saat ini',
 pdays           DOUBLE comment 'waktu yang berlalu setelah kontak terakhir',
 previous        DOUBLE comment 'jumlah kontak sebelumnya',
 poutcome        STRING comment 'hasil aktivitas pemasaran sebelumnya',
 emp_var_rate    DOUBLE comment 'laju variasi ketenagakerjaan',
 cons_price_idx  DOUBLE comment 'indeks harga konsumen',
 cons_conf_idx   DOUBLE comment 'indeks kepercayaan konsumen',
 euribor3m       DOUBLE comment 'Euribor 3 bulan',
 nr_employed     DOUBLE comment 'jumlah karyawan',
 fixed_deposit   BIGINT comment 'memiliki deposito'
)partitioned by (credit STRING comment 'memiliki kartu kredit');

alter table bank_data_pt add if not exists partition (credit='yes') partition (credit='no') partition (credit='unknown');

Buat tabel non-partisi result_table1:

create table if not exists result_table1
(
 education   STRING comment 'tingkat pendidikan',
 num         BIGINT comment 'jumlah orang'
);

Buat tabel non-partisi result_table2:

create table if not exists result_table2
(
 education   STRING comment 'tingkat pendidikan',
 num         BIGINT comment 'jumlah orang',
 credit      STRING comment 'memiliki kartu kredit'
);

Langkah 3: Verifikasi tabel

Periksa apakah semua tabel telah dibuat dan skemanya benar.

Daftar semua tabel dalam proyek:

show tables;

Keempat tabel muncul dalam output:

ALIYUN$****:bank_data
ALIYUN$****:bank_data_pt
ALIYUN$****:result_table1
ALIYUN$****:result_table2

Periksa skema dan partisi tiap tabel:

Bidang Size: 0 adalah hal yang diharapkan—tabel belum berisi data. Ukuran akan bertambah setelah Anda mengimpor data.

-- Lihat skema bank_data.
desc bank_data;
-- Lihat skema bank_data_pt.
desc bank_data_pt;
-- Lihat partisi bank_data_pt.
show partitions bank_data_pt;
-- Lihat skema result_table1.
desc result_table1;
-- Lihat skema result_table2.
desc result_table2;

Output desc bank_data_pt; terlihat mirip seperti berikut:

+------------------------------------------------------------------------------------+
| Owner: ALIYUN$****          | Project: doc_test_dev                                |
| TableComment:                                                                      |
+------------------------------------------------------------------------------------+
| CreateTime:               2021-05-17 14:02:21                                      |
| LastDDLTime:              2021-05-17 14:02:21                                      |
| LastModifiedTime:         2021-05-17 14:02:21                                      |
+------------------------------------------------------------------------------------+
| InternalTable: YES      | Size: 0                                                  |
+------------------------------------------------------------------------------------+
| Native Columns:                                                                    |
+------------------------------------------------------------------------------------+
| Field           | Type       | Label | Comment                                     |
+------------------------------------------------------------------------------------+
| age             | bigint     |       | usia                                        |
| job             | string     |       | jenis pekerjaan                                    |
| marital         | string     |       | status pernikahan                                        |
| education       | string     |       | tingkat pendidikan                                    |
| housing         | string     |       | debitur hipotek                                  |
| loan            | string     |       | memiliki pinjaman                                  |
| contact         | string     |       | informasi kontak                                    |
| month           | string     |       | bulan                                        |
| day_of_week     | string     |       | hari dalam seminggu                                      |
| duration        | string     |       | durasi                                    |
| campaign        | bigint     |       | jumlah kontak untuk kampanye saat ini                          |
| pdays           | double     |       | waktu yang berlalu setelah kontak terakhir                      |
| previous        | double     |       | jumlah kontak sebelumnya                        |
| poutcome        | string     |       | hasil aktivitas pemasaran sebelumnya                          |
| emp_var_rate    | double     |       | laju variasi ketenagakerjaan                                |
| cons_price_idx  | double     |       | indeks harga konsumen                              |
| cons_conf_idx   | double     |       | indeks kepercayaan konsumen                              |
| euribor3m       | double     |       | Euribor 3 bulan                                |
| nr_employed     | double     |       | jumlah karyawan                                    |
| fixed_deposit   | bigint     |       | memiliki deposito                              |
+------------------------------------------------------------------------------------+
| Partition Columns:                                                                 |
+------------------------------------------------------------------------------------+
| credit          | string     | memiliki kartu kredit                                        |
+------------------------------------------------------------------------------------+

Output show partitions bank_data_pt; mengonfirmasi bahwa ketiga partisi telah dibuat:

credit=no
credit=unknown
credit=yes

Langkah berikutnya

Dengan keempat tabel telah dibuat dan skemanya diverifikasi, impor data dari file contoh. Lihat Impor data ke tabel.