Anda dapat membuat dan mengelola tabel MaxCompute dengan mengeksekusi pernyataan SQL di klien MaxCompute atau melalui operasi di konsol DataWorks. Membuat dan mengelola tabel MaxCompute lebih nyaman dilakukan di konsol DataWorks. Topik ini menjelaskan cara membuat dan mengelola tabel MaxCompute di konsol DataWorks.
Prasyarat
Sumber daya komputasi MaxCompute telah dikaitkan dengan DataStudio.
Informasi latar belakang
Prinsip Operasi Tabel MaxCompute
Saat membuat tabel MaxCompute atau melakukan operasi pada tabel MaxCompute di DataWorks, Anda harus mematuhi persyaratan dasar untuk operasi tersebut. Sebagai contoh, kolom dalam tabel MaxCompute tidak dapat dihapus setelah tabel dibuat. Untuk informasi lebih lanjut, lihat Batasan Operasi Tabel MaxCompute.
Mengubah Properti Fisik Tabel MaxCompute
Properti fisik tabel MaxCompute dapat diubah dengan mengeksekusi pernyataan SQL MaxCompute. Untuk informasi lebih lanjut, lihat Operasi Tabel. Manajemen izin diterapkan saat mengakses tabel MaxCompute dari DataWorks. Jika Anda mengakses tabel MaxCompute sebagai pengguna RAM, kesalahan mungkin terjadi dalam beberapa skenario. Untuk informasi lebih lanjut, lihat Kelola Izin pada Data dalam Instance Mesin Komputasi MaxCompute.
Latensi Pembaruan Metadata
Latensi mungkin terjadi saat melakukan operasi pada metadata. Setelah membuat atau memperbarui tabel di DataWorks, tabel-tabel tersebut mungkin tidak langsung muncul di UI. Setelah menghapus tabel dari DataWorks, tabel-tabel tersebut mungkin masih terlihat di UI. Dalam kasus-kasus ini, gunakan alat sinkronisasi manual di Data Map untuk menyinkronkan hasil operasi secara manual. Untuk informasi lebih lanjut, lihat Alat Sinkronisasi Manual.
Pergi ke halaman DataStudio
Masuk ke konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.
Buat tabel MaxCompute
Anda dapat membuat tabel MaxCompute di panel Tabel Ruang Kerja halaman DataStudio di konsol DataWorks atau di alur kerja tertentu di DataStudio. DataWorks memungkinkan Anda membuat tabel secara terpisah di lingkungan pengembangan dan produksi dengan mengeksekusi pernyataan DDL atau menggunakan antarmuka tanpa kode.
Titik masuk pembuatan tabel
Buat Tabel MaxCompute di Panel Tabel Ruang Kerja
Di panel navigasi sisi kiri halaman DataStudio, klik Tabel Ruang Kerja. Di panel Tabel Ruang Kerja, klik ikon
untuk membuat tabel MaxCompute. Untuk informasi lebih lanjut tentang cara mengelola tabel, lihat Kelola Tabel. Jika modul Tabel Ruang Kerja tidak ditampilkan di panel navigasi sisi kiri, Anda dapat menambahkannya. Untuk informasi lebih lanjut tentang cara menambahkan modul ke halaman DataStudio, lihat Sesuaikan Modul DataStudio yang Ditampilkan.Buat Tabel MaxCompute di Alur Kerja Tertentu di DataStudio
DataWorks mengorganisir dan mengelola kode berdasarkan alur kerja. Anda dapat membuat tabel yang terkait dengan bisnis di alur kerja tertentu. Jika tidak ada alur kerja yang tersedia, Anda dapat membuatnya. Untuk informasi tentang cara membuat alur kerja, lihat Buat Alur Kerja. Jika alur kerja tersedia, klik kanan nama alur kerja yang diinginkan dan pilih . Di kotak dialog yang muncul, konfigurasikan informasi yang diperlukan dan klik Buat.
Konfigurasikan informasi dasar tentang tabel MaxCompute
Setelah melakukan operasi sebelumnya, Anda dapat mengonfigurasi informasi tentang tabel di tab konfigurasi tabel. Di tab tersebut, Anda dapat mengonfigurasi informasi tentang tabel dengan mengeksekusi pernyataan DDL atau menggunakan antarmuka tanpa kode di DataWorks.
Konfigurasikan Tabel dengan Mengeksekusi Pernyataan DDL
Anda dapat mengklik ikon
di tab konfigurasi tabel dan mengeksekusi pernyataan pembuatan tabel standar MaxCompute untuk menghasilkan skema tabel. Untuk informasi tentang pernyataan pembuatan tabel standar MaxCompute, lihat Operasi Tabel. Setelah skema tabel dihasilkan, DataWorks secara otomatis mengisi konfigurasi untuk tabel di tab konfigurasi tabel. Metode ini cocok jika Anda terbiasa menulis kode untuk mengembangkan tabel.CatatanNama tabel dikonfigurasi sebelum Anda mengakses tab konfigurasi tabel. Nama tabel tidak dapat diubah dalam pernyataan DDL. Jika Anda mengubah nama tabel dalam pernyataan DDL, kesalahan akan dilaporkan.
Anda hanya dapat mendefinisikan properti fisik tabel dengan mengeksekusi pernyataan DDL. Setelah tabel dibuat dan konfigurasi tabel secara otomatis diisi di tab konfigurasi tabel, Anda dapat kembali ke tab konfigurasi tabel untuk mengonfigurasi properti terkait bisnis dari tabel.
Konfigurasikan Tabel dengan Menggunakan Antarmuka Tanpa Kode di DataWorks
Anda dapat mengonfigurasi properti terkait tabel di tab konfigurasi tabel berdasarkan panduan konfigurasi. Gunakan metode ini jika Anda ingin menggunakan antarmuka tanpa kode. Berikut adalah cara mengonfigurasi properti terkait tabel dengan menggunakan antarmuka tanpa kode.
Konfigurasikan Parameter di Bagian Umum.
Tabel berikut menjelaskan parameter.Parameter
Deskripsi
Nama Tampilan
Nama tampilan tabel.
Tema
Folder yang digunakan untuk menyimpan dan mengelola tabel. Anda dapat menentukan folder tingkat-1 dan tingkat-2 untuk menyimpan tabel. Parameter Tema Tingkat-1 dan Tema Tingkat-2 dapat digunakan untuk mengkategorikan tabel berdasarkan kategori bisnis. Anda dapat menyimpan tabel dari kategori bisnis yang sama di folder yang sama.
CatatanTema tingkat-1 dan tingkat-2 di panel Tabel Ruang Kerja halaman DataStudio membantu Anda mengelola tabel di folder dengan lebih baik. Anda dapat dengan cepat menemukan tabel saat ini di panel Tabel Ruang Kerja berdasarkan tema. Jika tidak ada tema yang tersedia, Anda dapat membuatnya. Untuk informasi tentang cara membuat tema, lihat bagian Buat atau kelola folder untuk tabel dari topik "Kelola pengaturan untuk tabel".
Konfigurasikan Parameter di Bagian Model Fisik.
Tabel berikut menjelaskan parameter.Parameter
Deskripsi
Tingkat
Lapisan data fisik tempat tabel dimiliki. Secara default, gudang data di DataWorks dibagi menjadi lapisan data berikut: penyimpanan data operasional (ODS), dimensi (DIM), detail gudang data (DWD), ringkasan gudang data (DWS), dan layanan data aplikasi (ADS). Anda dapat menyimpan tabel di lapisan data tertentu berdasarkan kategori bisnis.
CatatanAnda juga dapat membuat lapisan data berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Kelola pengaturan untuk tabel.
Kategori
Kategori bisnis tempat tabel dimiliki. Kategori membantu Anda mengklasifikasikan tabel secara lebih rinci berdasarkan kebutuhan bisnis Anda. Sebagai contoh, Anda dapat menggunakan kategori bisnis dasar, kategori bisnis lanjutan, atau kategori untuk tujuan lain untuk mengklasifikasikan tabel Anda dalam sebagian besar kasus.
CatatanAnda juga dapat membuat kategori kustom berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Kelola pengaturan untuk tabel.
TTL
Periode time-to-live (TTL) tabel.
Untuk informasi lebih lanjut tentang periode TTL tabel MaxCompute, lihat Siklus hidup.
Untuk informasi lebih lanjut tentang operasi terkait TTL pada tabel MaxCompute, lihat Operasi manajemen siklus hidup.
Jenis Partisi
Menentukan apakah tabel merupakan tabel partisi atau non-partisi. Untuk informasi lebih lanjut tentang tabel partisi dan non-partisi MaxCompute, lihat Partisi.
Jenis Tabel
Menentukan apakah tabel merupakan tabel internal atau eksternal. Jika Anda menanyakan data dalam tabel internal, kecepatan query cepat karena data nyata diimpor ke tabel internal. Jika Anda menanyakan data dalam tabel menggunakan tabel eksternal, Anda dapat menanyakan data tanpa perlu mengimpor data ke tabel eksternal. Memori yang lebih sedikit digunakan saat Anda menanyakan data menggunakan tabel eksternal. Untuk informasi lebih lanjut tentang tabel internal dan eksternal MaxCompute, lihat Tabel.
Konfigurasikan Parameter di Bagian Skema.
Tabel berikut menjelaskan parameter.Parameter
Deskripsi
Tipe Data
Tipe data dari sebuah bidang. Anda hanya dapat memilih tipe data yang didukung oleh MaxCompute dari daftar drop-down Tipe Data. Untuk informasi lebih lanjut tentang tipe data yang didukung oleh MaxCompute, lihat Edisi tipe data.
Tingkat Keamanan Bidang
Tingkat keamanan sebuah bidang. Parameter ini diperlukan hanya jika Anda mengaktifkan kontrol akses berbasis label dalam proyek MaxCompute. Untuk informasi lebih lanjut tentang tingkat keamanan bidang dalam tabel MaxCompute, lihat Kontrol akses berbasis label.
Bidang Kunci Utama
Kunci utama tabel. Tabel MaxCompute tidak mendukung kunci utama. Dalam hal ini, kunci utama yang Anda tentukan dalam parameter ini digunakan untuk mengelola tabel hanya dari sudut pandang bisnis.
Komit dan terapkan tabel MaxCompute
Setelah menentukan skema tabel, Anda harus mengkomit tabel ke lingkungan pengembangan dan produksi.
Perhatikan hal berikut saat mengkomit dan menerapkan tabel MaxCompute di ruang kerja mode dasar atau mode standar:
Untuk ruang kerja mode dasar: Anda hanya perlu mengkomit tabel MaxCompute ke lingkungan produksi.
Untuk ruang kerja mode standar: Hanya pengguna dengan peran Workspace Administrator atau O&M yang dapat menerapkan tabel MaxCompute ke lingkungan produksi. Jika Anda ingin menerapkan tabel MaxCompute ke lingkungan produksi, Anda harus memiliki izin yang diperlukan. Untuk informasi tentang otorisasi, lihat Tambahkan Pengguna RAM ke Ruang Kerja sebagai Anggota dan Tetapkan Peran kepada Anggota.
Untuk informasi lebih lanjut tentang mode ruang kerja, lihat Perbedaan antara Ruang Kerja Mode Dasar dan Ruang Kerja Mode Standar.
Operasi | Deskripsi |
Load from Development Environment | Muat informasi tabel dari lingkungan pengembangan dan sajikan informasi tabel di halaman saat ini. Catatan Anda hanya dapat melakukan operasi ini setelah tabel dikomit ke lingkungan pengembangan. Setelah Anda melakukan operasi ini, informasi tabel di lingkungan pengembangan akan menimpa informasi tabel di halaman saat ini. |
Commit to Development Environment | Komit tabel ke lingkungan pengembangan ruang kerja. Ini menunjukkan bahwa Anda harus membuat tabel saat ini di proyek MaxCompute yang ditambahkan ke DataWorks sebagai sumber data MaxCompute di lingkungan pengembangan. Setelah tabel dikomit, Anda dapat melakukan operasi berikut:
|
Load from Production Environment | Muat informasi tabel dari lingkungan produksi dan sajikan informasi tabel di halaman saat ini. Catatan Anda hanya dapat melakukan operasi ini setelah tabel dikomit ke lingkungan produksi. Setelah Anda melakukan operasi ini, informasi tabel di lingkungan produksi akan menimpa informasi tabel di halaman saat ini. |
Commit to Production Environment | Komit tabel ke lingkungan produksi ruang kerja. Ini menunjukkan bahwa Anda harus membuat tabel saat ini di proyek MaxCompute yang ditambahkan ke DataWorks sebagai sumber data MaxCompute di lingkungan produksi. Setelah tabel dikomit, Anda dapat melakukan operasi berikut:
|
Tulis data ke dan ekspor data dari tabel MaxCompute
Bagian ini menjelaskan cara menulis data ke dan mengekspor data dari tabel MaxCompute.
Tulis data ke tabel MaxCompute
Anda dapat menggunakan tugas sinkronisasi data dan tugas pada node MaxCompute untuk menulis data ke tabel MaxCompute. DataWorks juga memungkinkan Anda menggunakan fitur unggah data untuk mengimpor data dari mesin lokal Anda ke tabel MaxCompute.
Ekspor data dari tabel MaxCompute
Setelah menanyakan data dalam tabel MaxCompute di DataStudio, Anda dapat menggunakan fitur download di halaman hasil query untuk mengunduh data ke mesin lokal Anda. Secara default, Anda dapat mengunduh maksimal 10.000 rekaman data sekaligus. DataWorks memungkinkan administrator penyewa dan administrator keamanan penyewa untuk mengonfigurasi jumlah maksimum rekaman data yang dapat diunduh sekaligus di halaman Kontrol Kueri dan Analisis Data di Security Center.
Jika jumlah rekaman data yang ingin diekspor melebihi 10.000, Anda dapat menjalankan Perintah Tunnel di klien MaxCompute untuk mengekspor data.
Kueri data dalam tabel MaxCompute
Anda dapat menggunakan node ODPS SQL atau fitur kueri ad hoc untuk menanyakan data dalam tabel MaxCompute dengan mengeksekusi pernyataan SQL.
Izin akses data preset
Jika Anda menggunakan ruang kerja mode dasar, manajemen izin terperinci dan isolasi data antara lingkungan pengembangan dan produksi tidak didukung. Dalam contoh ini, ruang kerja mode standar digunakan.
Tabel berikut menjelaskan izin akses data preset untuk pengguna RAM yang ditambahkan ke ruang kerja sebagai anggota.
Jenis Izin | Deskripsi |
Izin pada Proyek MaxCompute di Lingkungan Pengembangan | Setelah memberikan peran tingkat ruang kerja bawaan kepada pengguna RAM di ruang kerja Anda dan mengaitkan proyek MaxCompute dengan ruang kerja di lingkungan pengembangan, pengguna RAM secara otomatis diberikan izin peran yang dipetakan dari proyek MaxCompute. Secara default, pengguna RAM memiliki izin proyek MaxCompute di lingkungan pengembangan. Namun, pengguna RAM tidak memiliki izin proyek MaxCompute yang dikaitkan dengan ruang kerja di lingkungan produksi. |
Izin pada Proyek MaxCompute di Lingkungan Produksi | Pengguna RAM yang digunakan sebagai identitas akses penjadwalan memiliki izin tinggi pada proyek MaxCompute di lingkungan produksi. Pengguna RAM lainnya tidak memiliki izin pada proyek MaxCompute di lingkungan produksi. Untuk melakukan operasi pada tabel MaxCompute di lingkungan produksi, Anda harus pergi ke Security Center untuk meminta izin yang diperlukan. DataWorks menyediakan prosedur pemrosesan permintaan default. DataWorks juga memungkinkan pengguna yang diberi izin administratif untuk menyesuaikan prosedur pemrosesan permintaan. |
Untuk informasi lebih lanjut tentang manajemen izin untuk MaxCompute, lihat Kelola Izin pada Data dalam Instance Mesin Komputasi MaxCompute.
Perilaku akses data
MaxCompute memungkinkan Anda menanyakan tabel lintas proyek. Anda dapat menanyakan data dalam proyek MaxCompute yang dikaitkan dengan ruang kerja di lingkungan produksi dengan menentukan nama proyek di halaman DataStudio. Tabel berikut menjelaskan metode untuk menanyakan tabel lintas proyek dan akun yang dapat digunakan untuk mengakses tabel di lingkungan yang berbeda.
Di halaman Sumber Daya Komputasi di DataStudio, Anda dapat melihat proyek MaxCompute yang ditambahkan ke DataWorks sebagai sumber data MaxCompute di lingkungan pengembangan dan produksi serta akun yang digunakan untuk mengonfigurasi lingkungan untuk proyek MaxCompute tersebut. Untuk informasi lebih lanjut, lihat Persiapan Sebelum Pengembangan Data: Asosiasikan Sumber Data atau Kluster dengan DataStudio.
Untuk ruang kerja mode standar, identitas pribadi pelaksana tugas digunakan secara default untuk menjalankan tugasMaxCompute di lingkungan pengembangan, dan akun Alibaba Cloud digunakan sebagai identitas akses penjadwalan untuk menjalankan tugas MaxCompute di lingkungan produksi. Untuk informasi lebih lanjut, lihat Ikat Sumber Daya Komputasi MaxCompute.
Kode Sampel | Akun Eksekusi di Lingkungan Pengembangan (DataStudio dan Pusat Operasi di Lingkungan Pengembangan) | Akun Eksekusi di Lingkungan Produksi (Pusat Operasi di Lingkungan Produksi) |
Akses tabel dalam proyek MaxCompute di lingkungan pengembangan: | Akun Alibaba Cloud pribadi pelaksana tugas digunakan untuk mengakses tabel dalam proyek MaxCompute di lingkungan pengembangan.
| Identitas akses penjadwalan digunakan untuk mengakses tabel dalam proyek MaxCompute di lingkungan pengembangan. |
Akses tabel dalam proyek MaxCompute di lingkungan produksi: | Akun Alibaba Cloud pribadi pelaksana tugas digunakan untuk mengakses tabel dalam proyek MaxCompute di lingkungan produksi. Catatan Karena kontrol keamanan pada data di lingkungan produksi, akun Alibaba Cloud pribadi tidak dapat digunakan untuk mengakses tabel dalam proyek MaxCompute di lingkungan produksi. Untuk menggunakan akun Alibaba Cloud pribadi untuk mengakses tabel dalam proyek MaxCompute di lingkungan produksi, pergi ke Security Center untuk meminta izin yang diperlukan. DataWorks menyediakan prosedur pemrosesan permintaan default. DataWorks juga memungkinkan pengguna yang diberi izin manajemen untuk menyesuaikan prosedur pemrosesan permintaan. | Identitas akses penjadwalan digunakan untuk mengakses tabel dalam proyek MaxCompute di lingkungan produksi. |
Jalankan pernyataan berikut di proyek MaxCompute di lingkungan yang diinginkan seperti lingkungan pengembangan untuk mengakses tabel dalam proyek MaxCompute: | Jika pernyataan dijalankan di proyek MaxCompute di lingkungan pengembangan, Anda dapat menggunakan akun Alibaba Cloud pribadi pelaksana node untuk mengakses tabel dalam proyek MaxCompute di lingkungan pengembangan. | Jika pernyataan dijalankan di proyek MaxCompute di lingkungan produksi, Anda dapat menggunakan identitas akses penjadwalan untuk mengakses tabel dalam proyek MaxCompute di lingkungan produksi. |
Lihat aset data MaxCompute
Bagian ini menjelaskan cara melihat aset data MaxCompute.
Lihat tabel di lingkungan produksi dalam penyewa
Di panel Tabel Penyewa halaman DataStudio di konsol DataWorks, Anda dapat melihat semua tabel di lingkungan produksi akun Alibaba Cloud Anda di wilayah saat ini.
Lihat metadata
Anda dapat pergi ke Peta Data untuk melihat detail dan metadata tabel MaxCompute.
Lihat garis keturunan tabel
Anda dapat melihat garis keturunan leluhur dan keturunan untuk tabel di halaman detail tabel di Peta Data.
Untuk menemukan tugas-tugas tempat tabel digunakan, Anda dapat menggunakan fitur pencarian kode untuk mencari tugas-tugas tersebut.
Kelola beberapa tabel MaxCompute sekaligus
Bagian ini menjelaskan cara mengelola beberapa tabel MaxCompute sekaligus.
Hapus beberapa tabel MaxCompute sekaligus
Anda dapat pergi ke halaman Data Saya di Peta Data dan menghapus beberapa tabel MaxCompute yang Anda miliki sekaligus.
Karena kontrol keamanan untuk data di lingkungan produksi, Anda tidak dapat langsung menjalankan perintah untuk menghapus tabel di lingkungan produksi. Jika Anda ingin menghapus tabel yang dimiliki oleh pengguna lain, Anda harus pergi ke Security Center untuk meminta izin yang diperlukan.
Ubah pemilik beberapa tabel sekaligus
Anda dapat pergi ke halaman Data Saya di Peta Data dan mentransfer kepemilikan beberapa tabel ke pengguna lain sekaligus.
Ubah periode TTL beberapa tabel sekaligus
Anda dapat pergi ke halaman Data Saya di Peta Data dan mengubah periode TTL beberapa tabel MaxCompute yang Anda miliki sekaligus.
Anda dapat pergi ke panel Tabel Ruang Kerja untuk memodifikasi periode TTL tabel tunggal. Untuk informasi lebih lanjut, lihat Buat Tabel MaxCompute.
Kelola tabel dalam alur kerja tertentu
Anda dapat menambahkan tabel yang dibuat di panel Tabel Ruang Kerja ke alur kerja tertentu di DataStudio dengan mengimpor tabel. Anda dapat mengelola tabel berdasarkan alur kerja dan melihat tabel yang terkait dengan bisnis dalam alur kerja. Gambar berikut menunjukkan langkah-langkah untuk menambahkan tabel mesin komputasi MaxCompute ke alur kerja tertentu.
Direferensikan: menunjukkan bahwa tabel tertentu diquery menggunakan pernyataan SELECT dalam alur kerja tertentu.
Ditulis: menunjukkan bahwa data ditulis ke tabel tertentu menggunakan pernyataan INSERT OVERWRITE dalam alur kerja tertentu.