Anda dapat membuat dan mengelola tabel MaxCompute menggunakan pernyataan SQL MaxCompute atau fitur visualisasi di DataWorks. Metode visualisasi lebih praktis dibandingkan penggunaan pernyataan SQL. Topik ini menjelaskan cara membuat dan mengelola tabel MaxCompute menggunakan metode visualisasi.
Catatan
Prinsip operasi tabel
Saat membuat dan mengoperasikan tabel MaxCompute, Anda harus mematuhi persyaratan dasar operasi tabel MaxCompute. Misalnya, Anda tidak dapat menghapus field dari tabel setelah tabel tersebut dibuat. Untuk informasi selengkapnya, lihat Batasan operasi tabel MaxCompute.
Perubahan properti fisik tabel
Anda dapat mengubah properti fisik tabel MaxCompute dengan menjalankan perintah SQL MaxCompute. Untuk informasi selengkapnya, lihat Operasi tabel. DataWorks menerapkan kontrol akses saat Anda mengoperasikan tabel MaxCompute. Jika pengguna Resource Access Management (RAM) menjalankan perintah untuk mengoperasikan tabel, kesalahan mungkin dilaporkan dalam beberapa skenario. Untuk informasi selengkapnya, lihat Detail kontrol izin data MaxCompute.
Latensi pembaruan metadata
Operasi metadata mungkin mengalami latensi tertentu. Setelah Anda membuat, memperbarui, atau menghapus tabel menggunakan metode visualisasi, tabel tersebut mungkin tidak langsung muncul dalam pencarian atau masih terlihat meskipun telah dihapus. Dalam kasus seperti ini, Anda dapat membuka Data Map dan refresh metadata tabel untuk menyinkronkan hasil operasi secara manual.
Persiapan
Resource komputasi MaxCompute telah disambungkan ke ruang kerja Anda.
Buka DataStudio
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.
Buat tabel MaxCompute
Cara membuat tabel
Anda dapat membuat tabel di direktori Table Management DataWorks atau membuat tabel untuk proses bisnis tertentu.
Buat tabel dari Table Management
Di panel navigasi kiri DataStudio, pilih Table Management dan klik ikon
untuk membuat tabel. Jika modul Table Management tidak ditampilkan di panel navigasi kiri, Anda dapat menambahkannya. Untuk informasi selengkapnya, lihat Sesuaikan antarmuka.Buat tabel dari proses bisnis tertentu
DataWorks menggunakan proses bisnis untuk mengorganisasi dan mengelola kode. Anda dapat membuat tabel yang terkait dengan proses bisnis. Jika Anda belum membuat proses bisnis, Anda harus membuatnya terlebih dahulu. Untuk informasi selengkapnya, lihat Proses bisnis. Jika proses bisnis sudah ada, klik kanan proses bisnis tersebut dan pilih .
PentingJika Anda tidak menemukan tombol tersebut, periksa apakah resource komputasi MaxCompute telah disambungkan ke ruang kerja.
Konfigurasikan informasi dasar tabel
Setelah membuat tabel, halaman pengeditan tabel akan muncul. Di halaman ini, DataWorks memungkinkan Anda mengonfigurasi informasi tabel dalam mode DDL atau mode visualisasi.
Konfigurasikan tabel dalam mode DDL
Klik ikon
di halaman pengeditan tabel dan gunakan pernyataan pembuatan tabel MaxCompute standar untuk menghasilkan skema tabel MaxCompute. Setelah Anda menggunakan DDL untuk menghasilkan skema tabel, DataWorks secara otomatis mengisi konfigurasi di halaman pengeditan tabel. Gunakan metode ini jika Anda terbiasa menulis kode untuk tugas.PentingNama tabel ditentukan sebelum Anda membuka halaman pengeditan tabel. Anda tidak dapat mengubah nama tabel dalam perintah pembuatan DDL. Jika dilakukan, kesalahan akan dilaporkan.
Mode DDL hanya mendukung pendefinisian properti fisik tabel menggunakan perintah. Anda dapat mengedit properti bisnis tabel di halaman pengeditan tabel setelah tabel dibuat dalam mode DDL dan konfigurasi diisi di antarmuka.
Konfigurasikan tabel menggunakan antarmuka visualisasi
Ikuti petunjuk di halaman pengeditan tabel untuk mengonfigurasi properti tabel. Gunakan metode ini jika Anda ingin melakukan operasi visual yang praktis. Contoh berikut menunjukkan cara mengonfigurasi informasi tabel menggunakan antarmuka visualisasi.
Konfigurasikan properti General.
Tabel berikut menjelaskan item konfigurasi utama.Item konfigurasi
Deskripsi
Chinese Name
Nama tampilan tabel.
Subject
Subject di DataWorks setara dengan folder. Tentukan folder level-1 dan level-2 untuk tabel. Anda dapat mengklasifikasikan tabel berdasarkan tujuan bisnis dan melampirkan tabel jenis yang sama ke folder yang sama.
CatatanSubject level-1 dan level-2 ditampilkan sebagai folder untuk pengelolaan tabel di DataWorks guna membantu Anda mengelola tabel dengan lebih baik. Anda dapat dengan cepat menemukan tabel saat ini berdasarkan subject di halaman Table Management. Jika tidak tersedia subject, Anda dapat membuatnya. Untuk informasi selengkapnya, lihat Definisikan subject tabel.
Rancang Physical Model.
Tabel berikut menjelaskan item konfigurasi.Item konfigurasi
Deskripsi
Layer
Lapisan gudang data fisik tempat tabel tersebut berada. Layer digunakan untuk mendefinisikan dan mengelola lapisan gudang data. Lapisan gudang data biasanya dibagi menjadi operational data store (ODS), dimension (DIM), data warehouse detail (DWD), data warehouse summary (DWS), dan application data service (ADS). Anda dapat melampirkan tabel ke layer yang sesuai berdasarkan tujuan bisnisnya.
CatatanAnda juga dapat menyesuaikan layer. Untuk informasi selengkapnya, lihat Manajemen layer.
Physical Category
Menentukan kategori fisik tabel. Ini memberikan klasifikasi tabel yang lebih rinci dari perspektif penggunaan bisnis. Kategori biasanya mencakup lapisan bisnis dasar, lapisan bisnis lanjutan, dan lainnya.
CatatanAnda juga dapat menyesuaikan kategori fisik. Untuk informasi selengkapnya, lihat Manajemen kategori.
Lifecycle
Menentukan siklus hidup tabel.
Untuk informasi selengkapnya tentang siklus hidup tabel MaxCompute, lihat Siklus hidup.
Untuk informasi selengkapnya tentang tindakan siklus hidup pada tabel MaxCompute, lihat Tindakan siklus hidup.
Partition Type
Menentukan apakah tabel merupakan tabel partisi atau tabel non-partisi. Untuk informasi selengkapnya tentang tabel MaxCompute partisi dan non-partisi, lihat Partisi.
Table Type
Menentukan apakah tabel merupakan tabel internal atau tabel eksternal. Saat Anda mengkueri data di tabel internal, data asli diimpor, sehingga menghasilkan kueri yang lebih cepat. Saat Anda mengkueri data di tabel eksternal, Anda dapat mengkueri data tanpa mengimpornya, sehingga menghemat memori. Untuk informasi selengkapnya tentang tabel MaxCompute internal dan eksternal, lihat Tabel.
Rancang Table Schema.
Tabel berikut menjelaskan item konfigurasi utama.Konfigurasi
Deskripsi
Field Type
Menentukan tipe data suatu field. Anda hanya dapat memilih tipe data yang didukung oleh MaxCompute dari daftar drop-down. Untuk informasi selengkapnya tentang tipe data MaxCompute, lihat Edisi tipe data.
Field Security Level
Menentukan tingkat keamanan suatu field. Item konfigurasi ini hanya terlihat ketika kontrol akses berbasis label diaktifkan untuk proyek MaxCompute. Untuk informasi selengkapnya tentang tingkat keamanan field MaxCompute, lihat Kontrol akses berbasis label.
Primary Key
Menentukan primary key bisnis tabel. Tabel MaxCompute tidak mendukung primary key, sehingga primary key di sini hanya digunakan untuk manajemen dari dimensi bisnis.
Komit dan publikasikan tabel MaxCompute
Setelah Anda menentukan skema tabel, Anda harus mengomitmennya ke lingkungan pengembangan dan produksi.
Proses komit dan publikasi tabel MaxCompute bervariasi berdasarkan mode ruang kerja:
Mode dasar: Anda hanya perlu mengomitmennya ke lingkungan produksi.
Mode standar: Hanya pengguna dengan role Workspace Administrator atau O&M yang dapat mempublikasikan tabel ke lingkungan produksi. Untuk mempublikasikan tabel ke lingkungan produksi, Anda harus memberikan izin yang diperlukan kepada pengguna. Untuk informasi selengkapnya tentang otorisasi, lihat Tambahkan anggota ruang kerja dan kelola role serta izin mereka.
Operasi | Deskripsi |
Load From Development Environment | Memuat informasi tabel pengembangan dari lingkungan pengembangan dan menampilkannya di halaman saat ini. Penting Anda hanya dapat melakukan operasi ini setelah tabel dikomit ke lingkungan pengembangan. Setelah operasi ini dilakukan, informasi tabel yang dibuat di lingkungan pengembangan akan menimpa informasi tabel di halaman saat ini. |
Commit To Development Environment | Mengomitmennya ke lingkungan pengembangan DataWorks. Ini membuat tabel saat ini di proyek MaxCompute yang sesuai dengan resource komputasi MaxCompute yang ditambahkan di lingkungan pengembangan. Setelah komit berhasil, Anda dapat melakukan operasi berikut:
|
Load From Production Environment | Memuat informasi tabel produksi dari lingkungan produksi dan menampilkannya di halaman saat ini. Penting Anda hanya dapat melakukan operasi ini setelah tabel dikomit ke lingkungan produksi. Setelah operasi ini dilakukan, informasi tabel yang dibuat di lingkungan produksi akan menimpa informasi tabel di halaman saat ini. |
Commit To Production Environment | Mengomitmennya ke lingkungan produksi DataWorks. Ini membuat tabel saat ini di proyek MaxCompute yang sesuai dengan resource komputasi MaxCompute yang ditambahkan di lingkungan produksi. Setelah komit berhasil, Anda dapat melakukan operasi berikut:
|
Tulis data ke dan ekspor data dari tabel MaxCompute
Anda dapat mengimpor dan mengekspor data MaxCompute seperti yang dijelaskan dalam bagian berikut.
Tulis data ke tabel MaxCompute
Anda dapat menggunakan tugas integrasi data dan tugas node MaxCompute untuk menulis data ke tabel MaxCompute. DataWorks juga menyediakan fitur Upload data untuk mengimpor data lokal ke tabel MaxCompute.
Ekspor data dari tabel MaxCompute
Setelah Anda mengkueri data di DataStudio, Anda dapat mengklik Download di halaman hasil kueri untuk mengunduh data tabel ke komputer lokal Anda. Secara default, Anda dapat mengunduh maksimal 10.000 catatan data sekaligus. Administrator penyewa dan administrator keamanan penyewa dapat membuka halaman Kontrol kueri dan analisis data di Security Center untuk mengonfigurasi jumlah maksimum catatan data yang dapat diunduh sekaligus.
Jika jumlah catatan data yang ingin Anda ekspor melebihi 10.000, Anda dapat menjalankan perintah Tunnel di klien MaxCompute untuk mengekspor data.
Kueri data di tabel MaxCompute
Anda dapat menggunakan node ODPS SQL atau fitur kueri ad hoc untuk mengkueri data di tabel MaxCompute dengan mengeksekusi pernyataan SQL.
Izin preset
Ruang kerja mode dasar tidak mendukung kontrol akses detail halus atau isolasi data antara lingkungan pengembangan dan produksi. Topik ini menggunakan contoh ruang kerja mode standar.
Setelah pengguna RAM ditambahkan ke ruang kerja sebagai anggota, izin akses data preset adalah sebagai berikut:
Jenis izin | Deskripsi |
Izin pada proyek MaxCompute di lingkungan pengembangan | DataWorks menggunakan pemetaan antara role preset tingkat ruang kerja dan role engine MaxCompute di lingkungan pengembangan. Pemetaan ini memberikan izin role engine pengembangan yang dipetakan kepada pengguna RAM yang ditugaskan role ruang kerja. Secara default, pengguna RAM memiliki izin pada proyek engine yang sesuai di lingkungan pengembangan tetapi tidak memiliki izin pada proyek engine yang sesuai di lingkungan produksi. |
Izin pada proyek MaxCompute di lingkungan produksi | Pengguna RAM yang digunakan sebagai identitas akses penjadwalan memiliki izin tingkat tinggi pada proyek MaxCompute di lingkungan produksi. Pengguna RAM lain tidak memiliki izin pada proyek MaxCompute di lingkungan produksi. Untuk melakukan operasi pada tabel produksi, Anda harus membuka Security Center untuk meminta izin yang diperlukan. DataWorks menyediakan alur persetujuan default dan memungkinkan administrator menyesuaikan alur persetujuan. |
Untuk informasi selengkapnya tentang kontrol akses data MaxCompute, lihat Detail kontrol izin data MaxCompute.
Perilaku akses data
MaxCompute mendukung kueri tabel lintas proyek. Oleh karena itu, Anda dapat mengkueri data produksi di ruang kerja DataWorks lintas proyek dengan menentukan nama proyek di antarmuka DataStudio. Tabel berikut menjelaskan metode akses tabel lintas proyek dan akun yang digunakan untuk eksekusi di antarmuka berbeda.
Di Data Development, Anda dapat melihat informasi binding untuk resource komputasi MaxCompute yang ditambahkan ke lingkungan berbeda dan akun eksekusi yang digunakan untuk konfigurasi lingkungan. Untuk informasi selengkapnya, lihat Resource Management.
Untuk ruang kerja DataWorks dalam mode standar, identitas pribadi pelaksana tugas digunakan untuk menjalankan tugas MaxCompute di lingkungan pengembangan secara default. Akun Alibaba Cloud digunakan sebagai identitas akses penjadwalan untuk menjalankan tugas MaxCompute di lingkungan produksi. Untuk informasi selengkapnya, lihat Tambahkan resource komputasi MaxCompute.
Kode contoh | Eksekusi kode di lingkungan pengembangan (Data Development dan Operation Center untuk lingkungan pengembangan) | Eksekusi kode di lingkungan produksi (Operation Center untuk lingkungan produksi) |
Akses tabel pengembangan di proyek pengembangan: | Akun Alibaba Cloud pribadi pelaksana tugas digunakan untuk mengakses tabel pengembangan.
| Identitas akses penjadwalan digunakan untuk mengakses tabel pengembangan. |
Akses tabel produksi di proyek produksi: | Akun Alibaba Cloud pribadi pelaksana tugas digunakan untuk mengakses tabel produksi. Catatan Karena kontrol keamanan pada data produksi, akun Alibaba Cloud pribadi tidak memiliki izin untuk mengakses tabel produksi secara default. Anda harus membuka Security Center untuk meminta izin tersebut. DataWorks menyediakan alur persetujuan default dan mendukung alur persetujuan kustom yang ditentukan oleh administrator. | Identitas akses penjadwalan digunakan untuk mengakses tabel produksi. |
Jalankan pernyataan di lingkungan target, seperti lingkungan pengembangan, untuk mengakses tabel di lingkungan yang sesuai. Dalam contoh ini, tabel tersebut adalah tabel pengembangan: | Saat pernyataan dijalankan di lingkungan pengembangan, akun Alibaba Cloud pribadi pelaksana tugas digunakan untuk mengakses tabel target di engine pengembangan. | Saat pernyataan dijalankan di lingkungan produksi, identitas akses penjadwalan digunakan untuk mengakses tabel target di engine produksi. |
Lihat aset data MaxCompute
Anda dapat melihat aset data MaxCompute seperti yang dijelaskan dalam bagian berikut.
Lihat tabel produksi di bawah penyewa
Di panel Tenant Tables halaman DataStudio di Konsol DataWorks, Anda dapat melihat semua tabel yang berada di lingkungan produksi akun Alibaba Cloud Anda di wilayah saat ini.
Lihat metadata
Anda dapat membuka Data Map untuk melihat detail dan metadata tabel MaxCompute.
Lihat lineage tabel
Di halaman detail tabel di Data Map, Anda dapat melihat lineage hulu dan hilir tabel tersebut.
Untuk menemukan tugas di ruang kerja yang menggunakan tabel tersebut, Anda dapat menggunakan fitur pencarian kode.
Kelola tabel MaxCompute secara batch
Anda dapat mengelola tabel MaxCompute secara batch seperti yang dijelaskan dalam bagian berikut.
Hapus tabel MaxCompute secara batch
Anda dapat membuka halaman My Data di Data Map untuk menghapus beberapa tabel yang Anda miliki.
Karena kontrol keamanan untuk data di lingkungan produksi, Anda tidak dapat langsung menjalankan perintah untuk menghapus tabel di lingkungan produksi. Jika Anda ingin menghapus tabel yang dimiliki pengguna lain, Anda harus membuka Security Center untuk meminta izin yang diperlukan.
Ubah pemilik tabel secara batch
Anda dapat membuka halaman My Data di Data Map untuk mengubah pemilik beberapa tabel yang Anda miliki sekaligus.
Modifikasi siklus hidup tabel secara batch
Anda dapat membuka halaman My Data di Data Map untuk memodifikasi siklus hidup tabel Anda secara batch.
Siklus hidup tabel tunggal dapat dimodifikasi di Table Management. Untuk informasi selengkapnya, lihat Buat tabel MaxCompute.