Anda dapat membuat dan mengelola tabel MaxCompute menggunakan pernyataan SQL MaxCompute atau alat visual yang disediakan di DataWorks. Topik ini berfokus pada metode visual, yang lebih nyaman dibandingkan penggunaan SQL.
Catatan penggunaan
-
Prinsip operasi tabel
Semua operasi pada tabel MaxCompute harus mematuhi persyaratan dasar MaxCompute. Misalnya, Anda tidak dapat menghapus field setelah tabel dibuat. Untuk informasi selengkapnya, lihat Batasan penggunaan operasi tabel MaxCompute.
-
Perubahan properti fisik tabel
Anda hanya dapat mengubah properti fisik tabel MaxCompute dengan menjalankan perintah SQL MaxCompute. Untuk informasi selengkapnya, lihat Operasi tabel. Karena kontrol izin di DataWorks, Pengguna RAM mungkin mengalami error saat melakukan operasi pada tabel dalam beberapa skenario. Untuk informasi selengkapnya, lihat Detail kontrol izin data MaxCompute.
-
Latensi pembaruan metadata
Operasi metadata mungkin mengalami penundaan. Jika tabel yang Anda buat, perbarui, atau hapus tidak muncul seperti yang diharapkan (misalnya, tabel yang telah dihapus masih terlihat), buka Data Map dan refresh metadata tabel untuk menyinkronkan hasil secara manual.
Prasyarat
Resource komputasi MaxCompute telah di-bind ke ruang kerja Anda.
Buka DataStudio
Login ke Konsol DataWorks. Di wilayah target, klik di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
Buat tabel MaxCompute
Titik masuk
Anda dapat membuat tabel di direktori Table Management di DataWorks atau membuat tabel untuk proses bisnis tertentu.
-
Buat dari Table Management
Di panel navigasi kiri DataStudio, pilih Table Management dan klik ikon
untuk membuat tabel. Jika Table Management tidak ditampilkan di panel navigasi kiri, lihat Sesuaikan UI untuk menambahkannya. -
Buat dari proses bisnis
DataWorks menggunakan proses bisnis untuk mengorganisasi dan mengelola kode, dan Anda dapat membuat tabel yang relevan dengannya. Jika Anda belum memiliki proses bisnis, buat terlebih dahulu. Untuk informasi selengkapnya, lihat Proses bisnis. Jika proses bisnis sudah ada, Anda dapat klik kanan proses bisnis tersebut dan pilih .
PentingJika Anda tidak menemukan tombol tersebut, pastikan resource komputasi MaxCompute telah di-bind ke ruang kerja.
Konfigurasikan informasi dasar tabel
Setelah membuat tabel, halaman pengeditan tabel akan muncul. Di halaman ini, DataWorks mendukung dua metode untuk mengonfigurasi informasi tabel: mode DDL dan mode GUI.
-
Gunakan mode DDL untuk mengonfigurasi tabel
Di halaman pengeditan tabel, klik ikon
dan gunakan pernyataan standar pembuatan tabel MaxCompute untuk menghasilkan skema tabel. Setelah Anda menggunakan Data Definition Language (DDL) untuk menghasilkan skema, DataWorks secara otomatis mengisi konfigurasi di halaman tersebut. Anda dapat menggunakan metode ini jika terbiasa menulis kode untuk tugas.Penting-
Nama tabel telah ditentukan sebelum Anda membuka halaman pengeditan tabel. Anda tidak dapat mengubah nama tabel dalam pernyataan DDL. Jika dilakukan, error akan muncul.
-
Mode DDL hanya memungkinkan Anda mendefinisikan properti fisik tabel menggunakan perintah. Setelah pernyataan DDL dijalankan dan mengisi halaman, Anda dapat mengedit properti bisnis tabel di halaman pengeditan tabel.
-
-
Gunakan GUI untuk mengonfigurasi tabel
Konfigurasikan properti tabel sesuai petunjuk di halaman pengeditan tabel. Anda dapat menggunakan metode ini jika ingin melakukan operasi visual yang nyaman. Contoh berikut menjelaskan cara mengonfigurasi informasi tabel dalam mode GUI.
-
Konfigurasikan General. Tabel berikut menjelaskan parameter utama.
Parameter
Deskripsi
Display Name
Nama tampilan tabel.
Theme
Di DataWorks, theme berfungsi seperti folder, yang menentukan lokasi level-1 dan level-2 tabel. Anda dapat mengklasifikasikan tabel berdasarkan tujuan bisnis dan menambahkan tabel jenis yang sama ke folder yang sama.
CatatanTheme level-1 dan level-2 ditampilkan sebagai folder di halaman manajemen tabel di DataWorks untuk memudahkan pengelolaan tabel. Anda dapat dengan cepat menemukan tabel saat ini berdasarkan theme di halaman Table Management. Jika tidak tersedia theme, Anda dapat membuatnya. Untuk informasi selengkapnya, lihat Definisikan theme tabel.
-
Physical Model. Tabel berikut menjelaskan parameter-parameter tersebut.
Parameter
Deskripsi
Layer
Menentukan layer gudang data tempat tabel tersebut berada. Layer membantu mendefinisikan dan mengelola struktur gudang data. Layer dapat dibagi menjadi Operational Data Store (ODS) layer, Dimension (DIM) layer, Data Warehouse Detail (DWD) layer, Data Warehouse Summary (DWS) layer, dan Application Data Service (ADS) layer. Anda dapat menambahkan tabel ke layer yang sesuai berdasarkan tujuan bisnisnya.
CatatanAnda juga dapat menyesuaikan layer. Untuk informasi selengkapnya, lihat Kelola layer.
Physical category
Kategori fisik tabel. Parameter ini digunakan untuk mengklasifikasikan tabel secara lebih rinci dari perspektif bisnis. Kategori tersebut meliputi Basic Business Layer, Advanced Business Layer, dan Others.
CatatanAnda juga dapat menyesuaikan kategori fisik. Untuk informasi selengkapnya, lihat Kelola kategori.
Lifecycle
Siklus hidup tabel.
-
Untuk informasi selengkapnya tentang siklus hidup tabel MaxCompute, lihat lifecycle.
-
Untuk informasi selengkapnya tentang operasi siklus hidup tabel MaxCompute, lihat lifecycle operations.
Partition Type
Menentukan apakah tabel merupakan tabel partisi atau tabel non-partisi. Untuk informasi selengkapnya tentang tabel partisi dan tabel non-partisi di MaxCompute, lihat partition.
Table Type
Menentukan apakah tabel merupakan tabel internal atau tabel eksternal. Tabel internal berisi data yang dikelola oleh MaxCompute, yang biasanya menghasilkan kueri lebih cepat. Tabel eksternal mereferensikan data di lokasi lain, memungkinkan Anda mengkueri data tanpa mengimpornya, sehingga menghemat storage space. Untuk informasi selengkapnya tentang tabel internal dan eksternal di MaxCompute, lihat Table.
-
-
Schema. Bagian Design the table schema berisi area untuk definisi field dan konfigurasi partisi. Area definisi field menyediakan tombol Add Field, Move Up, dan Move Down. Kolom di area ini mencakup Field Name, Display Name, Length/Settings, Description, dan Actions (Save dan Cancel). Di area konfigurasi partisi, Anda dapat mengklik Add Partition untuk menambahkan kunci partisi dan mengatur Date Partition Format-nya, seperti
yyyymmdd, dan Date Partition Granularity. Tabel berikut menjelaskan parameter utama.Parameter
Deskripsi
Field Type
Tipe data field. Anda hanya dapat memilih tipe data yang didukung oleh MaxCompute dari daftar drop-down. Untuk informasi selengkapnya tentang tipe data MaxCompute, lihat Data type editions.
Field Security Level
Tingkat keamanan field. Parameter ini tersedia hanya ketika label-based access control diaktifkan untuk proyek MaxCompute. Untuk informasi selengkapnya tentang tingkat keamanan field di MaxCompute, lihat Label-based access control.
Primary Key
Menentukan primary key tingkat bisnis. Perlu diperhatikan bahwa tabel MaxCompute tidak menegakkan primary key; parameter ini hanya untuk tujuan manajemen tingkat bisnis dan pemodelan data.
-
Commit dan publikasikan tabel
Setelah mendefinisikan skema tabel, Anda harus melakukan commit tabel ke lingkungan pengembangan, lalu mempublikasikannya ke lingkungan produksi.
Proses commit dan publikasi tabel MaxCompute bervariasi berdasarkan mode ruang kerja.
-
Di ruang kerja yang berjalan dalam mode dasar, Anda hanya perlu melakukan commit tabel ke lingkungan produksi.
-
Di ruang kerja yang berjalan dalam mode standar, hanya pengguna yang ditetapkan sebagai role Workspace Administrator atau O&M Personnel yang dapat mempublikasikan tabel ke lingkungan produksi. Untuk memberikan izin kepada pengguna agar dapat mempublikasikan tabel ke lingkungan produksi, Anda harus memberikan izin yang diperlukan. Untuk informasi selengkapnya tentang cara memberikan izin, lihat Tambahkan anggota ruang kerja dan kelola role serta izin mereka.
|
Aksi |
Deskripsi |
|
Load from Development Environment |
Memuat informasi tabel pengembangan ke halaman saat ini. Penting
Anda hanya dapat melakukan operasi ini setelah tabel di-commit ke lingkungan pengembangan. Setelah operasi ini dilakukan, informasi tabel yang dibuat di lingkungan pengembangan akan menimpa informasi tabel di halaman saat ini. |
|
Commit to Development Environment |
Menyimpan tabel ke lingkungan pengembangan DataWorks. Operasi ini membuat tabel di proyek MaxCompute yang terkait dengan resource komputasi lingkungan pengembangan. Setelah tabel di-commit, Anda dapat melakukan operasi berikut:
|
|
Load from Production Environment |
Memuat informasi tabel produksi dari lingkungan produksi ke halaman saat ini. Penting
Anda hanya dapat melakukan operasi ini setelah tabel di-commit ke lingkungan produksi. Setelah operasi ini dilakukan, informasi tabel yang dibuat di lingkungan produksi akan menimpa informasi tabel di halaman saat ini. |
|
Commit to Production Environment |
Menyimpan tabel ke lingkungan produksi DataWorks. Operasi ini membuat tabel di proyek MaxCompute yang sesuai dengan resource komputasi MaxCompute yang ditambahkan ke lingkungan produksi. Setelah tabel di-commit, Anda dapat melakukan operasi berikut:
|
Tulis ke dan ekspor dari tabel
Anda dapat menulis data ke dan mengekspor data dari tabel MaxCompute seperti yang dijelaskan dalam bagian berikut.
Tulis data
Anda dapat menulis data ke tabel MaxCompute menggunakan tugas integrasi data atau tugas node MaxCompute. Selain itu, DataWorks memungkinkan Anda menggunakan fitur Upload Data untuk mengimpor data lokal ke tabel MaxCompute.
Ekspor data
Setelah mengkueri data di DataStudio, Anda dapat mengklik Download di halaman hasil kueri untuk mengekspor data ke komputer lokal Anda. Secara default, Anda dapat mengunduh maksimal 10.000 catatan sekaligus. Administrator penyewa dan administrator keamanan penyewa dapat membuka halaman Kontrol Kueri dan Analisis Data di Security Center untuk mengatur jumlah maksimum catatan yang dapat diunduh sekaligus.
Untuk mengekspor lebih dari 10.000 catatan, gunakan client MaxCompute dan jalankan perintah Tunnel.
Kueri data di tabel MaxCompute
Anda dapat menggunakan node ODPS SQL atau fitur ad hoc query untuk menjalankan pernyataan SQL dan mengkueri data di tabel MaxCompute.
Izin default
Ruang kerja dalam mode dasar tidak memiliki kontrol izin detail halus dan isolasi lingkungan. Contoh berikut mengasumsikan ruang kerja dalam mode standar.
Setelah Pengguna RAM ditambahkan ke ruang kerja sebagai anggota, Pengguna RAM tersebut diberikan izin akses data preset berikut:
|
Jenis izin |
Deskripsi |
|
Izin pada proyek pengembangan MaxCompute |
DataWorks memetakan role preset tingkat ruang kerja ke role engine MaxCompute di lingkungan pengembangan. Secara default, Pengguna RAM dengan role ini memiliki izin pada proyek pengembangan yang sesuai tetapi tidak memiliki izin pada proyek produksi. |
|
Izin pada proyek produksi MaxCompute |
Pengguna RAM dengan identitas akses penjadwalan memiliki izin tingkat tinggi pada proyek MaxCompute di lingkungan produksi. Pengguna RAM lain tidak memiliki izin produksi secara default. Untuk melakukan operasi pada tabel produksi, buka Security Center untuk mengajukan izin. DataWorks menyediakan proses persetujuan default dan memungkinkan administrator menyesuaikan proses persetujuan. |
Untuk informasi selengkapnya tentang kontrol akses data MaxCompute, lihat Detail kontrol izin data MaxCompute.
Perilaku akses data
MaxCompute mendukung kueri tabel lintas-proyek. Oleh karena itu, Anda dapat menentukan nama proyek di halaman DataStudio untuk mengkueri data produksi lintas-proyek dalam ruang kerja DataWorks. Tabel berikut menjelaskan metode untuk mengakses tabel lintas-proyek dan akun yang digunakan untuk eksekusi di halaman berbeda.
-
Anda dapat melihat informasi binding resource komputasi di Data Development untuk mengetahui resource komputasi MaxCompute yang ditambahkan ke lingkungan berbeda dan akun eksekusi yang dikonfigurasi untuk lingkungan tersebut. Untuk informasi selengkapnya, lihat Kelola resource komputasi.
-
Secara default, di ruang kerja mode standar, tugas di lingkungan pengembangan dijalankan menggunakan identitas pribadi pelaksana tugas. Di lingkungan produksi, tugas dijalankan menggunakan identitas akses penjadwalan, yaitu Akun Alibaba Cloud yang ditentukan. Untuk informasi selengkapnya, lihat Bind a MaxCompute computing resource.
|
Contoh kode |
Lingkungan pengembangan |
Lingkungan produksi |
|
Akses tabel pengembangan di proyek pengembangan:
|
Pelaksana tugas mengakses tabel pengembangan menggunakan Akun Alibaba Cloud pribadi mereka.
|
Identitas akses penjadwalan digunakan untuk mengakses tabel pengembangan. |
|
Akses tabel produksi di proyek produksi:
|
Pelaksana tugas mengakses tabel produksi menggunakan Akun Alibaba Cloud pribadi mereka. Catatan
Karena kontrol keamanan data produksi, Akun Alibaba Cloud pribadi tidak memiliki izin untuk mengakses tabel produksi secara default. Anda harus membuka Security Center untuk mengajukan izin. DataWorks menyediakan proses persetujuan default dan memungkinkan administrator menyesuaikan proses persetujuan. |
Identitas akses penjadwalan digunakan untuk mengakses tabel produksi. |
|
Jalankan pernyataan di lingkungan, seperti lingkungan pengembangan, untuk mengakses tabel di lingkungan yang sesuai, seperti tabel pengembangan:
|
Saat pernyataan dijalankan di lingkungan pengembangan, Akun Alibaba Cloud pribadi pelaksana tugas digunakan untuk mengakses tabel tujuan di engine pengembangan. |
Saat pernyataan dijalankan di lingkungan produksi, identitas akses penjadwalan digunakan untuk mengakses tabel tujuan di engine produksi. |
Lihat aset data MaxCompute
Anda dapat melihat aset data MaxCompute seperti yang dijelaskan dalam bagian berikut.
Lihat tabel produksi dalam penyewa
Di modul Tenant Tables di Data Development, Anda dapat melihat semua tabel produksi di wilayah saat ini yang dimiliki oleh Akun Alibaba Cloud Anda.
Lihat metadata
Anda dapat membuka DataMap untuk melihat detail dan metadata tabel MaxCompute.
Lihat lineage tabel
Di halaman detail tabel di DataMap, Anda dapat melihat lineage hulu dan hilir tabel tersebut.
Untuk menemukan tugas yang beroperasi pada tabel dalam ruang kerja, Anda dapat menggunakan fitur pencarian kode.
Kelola tabel secara batch
Anda dapat mengelola tabel MaxCompute secara batch seperti yang dijelaskan dalam bagian berikut.
Hapus tabel secara batch
Anda dapat membuka My Data di DataMap untuk menghapus tabel yang Anda miliki secara batch.
Karena kontrol keamanan data produksi, Anda tidak dapat menjalankan perintah untuk langsung menghapus tabel produksi. Untuk menghapus tabel yang bukan milik Anda, buka Security Center untuk mengajukan izin tabel.
Ubah pemilik tabel secara batch
Anda dapat membuka My Data di DataMap untuk mengubah pemilik tabel yang Anda miliki secara batch.
Modifikasi siklus hidup tabel secara batch
Anda dapat membuka My Data di DataMap untuk memodifikasi siklus hidup tabel yang Anda miliki secara batch.
Anda dapat memodifikasi siklus hidup satu tabel di Table Management. Untuk informasi selengkapnya, lihat Buat tabel MaxCompute.