MaxCompute:Ikhtisar Information Schema

Cara kerja

Information Schema menyediakan dua kategori view:

• Metadata views — berisi informasi tentang tabel, kolom, partisi, user-defined function (UDF), resource, pengguna, role, privilege, dan label dalam proyek Anda. Data tersedia dalam near-real-time dengan penundaan sekitar 3 jam.

• Usage views — mencakup riwayat pekerjaan (TASKS_HISTORY) dan riwayat saluran data (TUNNELS_HISTORY), masing-masing menyimpan data selama 14 hari. View snapshot pekerjaan real-time (TASKS) juga tersedia dalam versi pratinjau.

Untuk mengkueri suatu view, tambahkan awalan Information_Schema sebelum nama view tersebut:

SELECT * FROM Information_Schema.tables;
SELECT * FROM Information_Schema.tasks_history WHERE ds='yyyymmdd' LIMIT 100;

View khusus MaxCompute (seperti TASKS, TASKS_HISTORY, dan TUNNELS_HISTORY) dapat berubah sewaktu-waktu tanpa pemberitahuan. Untuk mencegah kegagalan kueri saat kolom baru ditambahkan, selalu pilih kolom tertentu alih-alih menggunakan SELECT *.

Batasan

• Hanya cakupan proyek. Information Schema hanya menyediakan metadata untuk proyek saat ini. Untuk menganalisis metadata lintas beberapa proyek, kumpulkan dan integrasikan data dari masing-masing proyek secara terpisah.

• Penundaan near-real-time. View metadata memiliki penundaan sekitar 3 jam. Untuk kasus penggunaan yang sensitif terhadap latensi, gunakan SDK atau CLI untuk mengkueri metadata objek secara langsung.

• Retensi riwayat 14 hari. TASKS_HISTORY dan TUNNELS_HISTORY menyimpan data selama 14 hari. Untuk menyimpan riwayat lebih dari 14 hari, ekspor data tersebut ke tabel MaxCompute secara berkala.

• Proyek baru (1 Maret 2024 dan seterusnya). Information Schema tingkat proyek tidak disediakan secara otomatis. Gunakan Information Schema tingkat tenant sebagai gantinya.

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• Proyek MaxCompute yang sudah ada dan dibuat sebelum 1 Maret 2024

• Akses sebagai pemilik proyek, atau Pengguna RAM yang ditetapkan sebagai role Super_Administrator

Instal paket izin

Jalankan perintah berikut di MaxCompute client atau pada halaman SQL Query di DataWorks console:

install package Information_Schema.systables;

Setelah instalasi selesai, Information Schema siap dikueri. Penyimpanan metadata tidak dikenai biaya.

Untuk menampilkan semua view yang termasuk dalam paket:

odps@myproject1> describe package Information_Schema.systables;

Berikan akses kepada pengguna lain

Secara default, hanya pemilik proyek yang dapat mengkueri view Information Schema. Pengguna dan role lain hanya dapat melihat data yang secara eksplisit diberikan aksesnya. Untuk memberikan akses, jalankan perintah berikut di MaxCompute client:

grant <actions> on package Information_Schema.systables to user <user_name>;
grant <actions> on package Information_Schema.systables to role <role_name>;

Contoh:

grant read on package Information_Schema.systables to user RAM$Bob@aliyun.com:user01;

Untuk informasi lebih lanjut tentang akses resource lintas proyek, lihat Akses resource lintas proyek berbasis paket.

Penagihan

Catatan penggunaan

• Pilih kolom tertentu. View khusus MaxCompute dapat berubah. Hindari SELECT * — pilih hanya kolom yang Anda butuhkan untuk mencegah gangguan saat kolom baru ditambahkan.

• Tentukan nama bidang saat mengekspor. Hindari INSERT INTO ... SELECT * FROM information_schema.***. Jika kolom baru ditambahkan ke view, pemilihan wildcard dapat gagal. Selalu cantumkan nama bidang secara eksplisit.

• Kueri TASKS_HISTORY dan TUNNELS_HISTORY setelah pukul 06.00. Kueri data hari sebelumnya setelah pukul 06.00 setiap hari untuk menghindari pemindaian partisi hari yang sedang berjalan (yang belum lengkap), sehingga mengurangi data masukan dan menekan biaya kueri.

Contoh kueri

Contoh berikut menunjukkan pola umum untuk mengkueri Information Schema.

Daftar semua tabel dalam proyek saat ini:

SELECT table_name, table_type, is_partitioned, create_time
FROM Information_Schema.tables;

Hitung jumlah tabel berdasarkan jenisnya:

SELECT table_type, COUNT(table_name) AS table_count
FROM Information_Schema.tables
GROUP BY table_type
ORDER BY table_count DESC;

Kueri riwayat pekerjaan untuk tanggal tertentu:

SELECT task_name, task_type, status, start_time, end_time, input_bytes
FROM Information_Schema.tasks_history
WHERE ds = '20240101'
LIMIT 100;

Metadata views

Tabel berikut mencantumkan semua view beserta atribut utamanya. Gunakan tabel ini untuk memilih view yang tepat sesuai kebutuhan Anda.

Langkah selanjutnya

• Information Schema tingkat tenant — gunakan ini untuk proyek yang dibuat pada atau setelah 1 Maret 2024, atau untuk mengkueri metadata lintas beberapa proyek.

• Menetapkan role kepada pengguna — kelola role Super_Administrator yang diperlukan untuk menginstal paket izin.

• Akses resource lintas proyek berbasis paket — kelola akses Information Schema untuk pengguna dan role lainnya.