Anda dapat membuat dan mengelola tabel MaxCompute di DataWorks menggunakan pernyataan SQL MaxCompute atau antarmuka visual. Antarmuka visual lebih praktis. Topik ini menjelaskan cara menggunakan antarmuka visual untuk membuat dan mengelola tabel.
Catatan
-
Prinsip operasi tabel
Patuhi persyaratan operasional dasar MaxCompute saat mengelola tabelnya. Misalnya, Anda tidak dapat menghapus field dari tabel setelah tabel tersebut dibuat. Untuk informasi selengkapnya, lihat Batasan penggunaan pada operasi tabel.
-
Perubahan properti fisik tabel
Anda dapat mengubah properti fisik tabel MaxCompute dengan menjalankan perintah SQL MaxCompute. Untuk informasi selengkapnya, lihat Operasi tabel. Karena kontrol izin DataWorks, Pengguna RAM mungkin mengalami error saat menjalankan perintah operasi tabel. Untuk informasi selengkapnya, lihat Detail kontrol izin data MaxCompute.
-
Latensi pembaruan metadata
Operasi metadata bisa tertunda. Jika Anda tidak menemukan tabel setelah membuat atau memperbaruinya, atau jika tabel masih terlihat setelah Anda menghapusnya, Anda dapat refresh metadata tabel di Data Map untuk menyinkronkan perubahan secara manual.
Prasyarat
Anda telah mengikat compute engine MaxCompute.
Masuk ke DataStudio
Login ke Konsol DataWorks. Di wilayah target, klik di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
Buat tabel MaxCompute
Cara membuat tabel
Anda dapat membuat tabel di halaman Table Management atau dalam alur kerja tertentu.
-
Buat dari Table Management
Di panel navigasi sebelah kiri DataStudio, pilih Table Management dan klik ikon
untuk membuat tabel. Jika modul Table Management tidak ditampilkan di panel navigasi, lihat Sesuaikan tampilan modul di DataStudio untuk menambahkannya. -
Buat dalam alur kerja
DataWorks menggunakan alur kerja untuk mengatur dan mengelola kode. Anda dapat membuat tabel yang terkait dengan bisnis Anda dalam suatu alur kerja. Jika Anda belum memiliki alur kerja, buat terlebih dahulu. Jika Anda sudah memiliki alur kerja, klik kanan alur kerja tersebut dan pilih .
PentingJika Anda tidak menemukan tombol tersebut, periksa apakah compute engine MaxCompute telah diikat ke ruang kerja.
Konfigurasikan informasi dasar tabel
Setelah Anda membuat tabel, tab editor tabel akan terbuka. Di tab ini, Anda dapat mengonfigurasi informasi tabel menggunakan mode DDL atau antarmuka visual.
-
Konfigurasikan tabel dalam mode DDL
Klik ikon
di tab editor tabel dan gunakan pernyataan pembuatan tabel MaxCompute standar untuk menghasilkan skema tabel MaxCompute. Setelah Anda menggunakan pernyataan DDL untuk menghasilkan skema, DataWorks secara otomatis mengisi field konfigurasi di tab editor. Metode ini ideal bagi pengguna yang lebih suka menulis kode.Penting-
Nama tabel telah ditentukan sebelum Anda membuka tab editor. Anda tidak dapat mengubah nama tabel dalam pernyataan DDL; jika dilakukan, akan terjadi error.
-
Mode DDL hanya mendukung pendefinisian properti fisik tabel. Anda dapat mengedit properti bisnis di tab editor tabel setelah pernyataan mengisi UI.
-
-
Konfigurasikan tabel menggunakan antarmuka visual
Anda dapat mengikuti panduan di tab editor tabel untuk mengonfigurasi properti tabel. Metode ini praktis jika Anda lebih suka antarmuka visual. Contoh berikut menunjukkan cara mengonfigurasi tabel menggunakan antarmuka visual.
-
Konfigurasikan properti General. Parameter utama dijelaskan di bawah ini.
Parameter
Deskripsi
Display name
Nama tampilan tabel.
Theme
Di DataWorks, tema berfungsi seperti folder, memungkinkan Anda mengkategorikan tabel berdasarkan tujuan bisnis. Anda dapat menentukan tema level-1 dan level-2 untuk mengatur tabel.
CatatanTema ini membantu Anda mengatur dan menemukan tabel di halaman Table Management. Jika tidak tersedia tema yang sesuai, Anda dapat membuatnya. Untuk informasi selengkapnya, lihat Definisikan tema tabel.
-
Rancang Physical Model. Parameter dijelaskan di bawah ini.
Parameter
Deskripsi
Level
Lapisan gudang data untuk tabel tersebut. Level menentukan lapisan gudang data, yang biasanya dibagi menjadi Operational Data Store (ODS), Dimension (DIM), Data Warehouse Detail (DWD), Data Warehouse Summary (DWS), dan Application Data Service (ADS). Anda dapat menetapkan tabel ke level yang sesuai berdasarkan tujuan bisnisnya.
CatatanAnda juga dapat menyesuaikan level. Untuk informasi selengkapnya, lihat Manajemen level.
Category
Menentukan kategori fisik tabel, yang memberikan klasifikasi lebih rinci dari perspektif bisnis. Kategori umum meliputi Basic Business, Advanced Business, dan Other.
CatatanAnda juga dapat menyesuaikan kategori fisik. Untuk informasi selengkapnya, lihat Manajemen kategori.
Lifecycle
Siklus hidup tabel.
-
Untuk informasi selengkapnya tentang siklus hidup tabel MaxCompute, lihat Lifecycle.
-
Untuk informasi tentang operasi siklus hidup pada tabel MaxCompute, lihat Operasi lifecycle.
Partition type
Menentukan apakah tabel merupakan tabel partisi atau tabel non-partisi. Untuk informasi selengkapnya tentang tabel partisi dan tabel non-partisi di MaxCompute, lihat Partition.
Table type
Menentukan apakah tabel merupakan tabel internal atau tabel eksternal. Tabel internal mengelola datanya sendiri di dalam MaxCompute, yang sering kali menghasilkan kueri lebih cepat. Tabel eksternal mereferensikan data yang disimpan di luar MaxCompute, yang dapat menghemat storage space. Untuk informasi selengkapnya tentang tabel internal dan eksternal di MaxCompute, lihat Table.
-
-
Rancang Schema. Halaman desain skema dibagi menjadi dua bagian: definisi field dan definisi partisi. Bagian definisi field menyediakan tombol Add Field, Move Up, dan Move Down di bagian atas. Anda dapat menambahkan field dengan mengklik tautan + Add Field. Bagian definisi partisi mencakup parameter tambahan untuk Date Partition Format (misalnya, yyyymmdd) dan Date Partition Granularity. Parameter utama dijelaskan di bawah ini.
Parameter
Deskripsi
Data type
Tipe data field tersebut. Anda hanya dapat memilih tipe data yang didukung oleh MaxCompute dari daftar drop-down. Untuk informasi selengkapnya tentang tipe data MaxCompute, lihat Edisi tipe data.
Field security level
Tingkat keamanan field tersebut. Parameter ini hanya terlihat jika kontrol akses berbasis label diaktifkan untuk proyek MaxCompute. Untuk informasi selengkapnya tentang tingkat keamanan field di MaxCompute, lihat Kontrol akses berbasis label.
Primary key
Primary key bisnis untuk tabel tersebut. MaxCompute tidak menerapkan primary key; pengaturan ini hanya untuk tujuan manajemen bisnis.
-
Komit dan deploy tabel MaxCompute
Setelah menetapkan skema tabel, Anda harus menerapkannya di lingkungan pengembangan dan produksi.
Proses komit dan deploy tabel MaxCompute bervariasi berdasarkan mode ruang kerja:
-
mode dasar: Anda hanya perlu mengirimkan tabel ke lingkungan produksi.
-
mode standar: Hanya pengguna dengan role Workspace Administrator atau O&M yang dapat mendeploy tabel ke lingkungan produksi. Untuk informasi selengkapnya tentang cara memberikan izin, lihat Tambah anggota ruang kerja dan kelola role serta izin mereka.
|
Aksi |
Deskripsi |
|
Load from development environment |
Memuat definisi tabel dari lingkungan pengembangan dan mengisi editor saat ini. Penting
Operasi ini tersedia hanya setelah tabel dikomit ke lingkungan pengembangan. Aksi ini akan menimpa konfigurasi Anda saat ini dengan definisi yang telah dikomit. |
|
Commit to development environment |
Commit konfigurasi tabel saat ini ke lingkungan pengembangan DataWorks, yang akan membuat tabel di proyek MaxCompute terkait. Setelah commit berhasil, Anda dapat:
|
|
Load from production environment |
Memuat definisi tabel dari lingkungan produksi dan mengisi editor saat ini. Penting
Operasi ini tersedia hanya setelah tabel dikomit ke lingkungan produksi. Aksi ini akan menimpa konfigurasi Anda saat ini dengan definisi yang telah dikomit. |
|
Commit to production environment |
Kirimkan konfigurasi tabel saat ini ke lingkungan produksi DataWorks untuk membuat tabel di Proyek MaxCompute terkait. Setelah pengiriman berhasil, Anda dapat:
|
Menulis ke dan mengekspor dari tabel MaxCompute
Bagian ini menjelaskan cara mengimpor dan mengekspor data untuk tabel MaxCompute Anda.
Menulis data ke tabel MaxCompute
Anda dapat menggunakan tugas sinkronisasi data atau node MaxCompute untuk menulis data ke tabel MaxCompute. DataWorks juga mendukung mengunggah data lokal ke tabel MaxCompute.
Mengekspor data dari tabel MaxCompute
Setelah melakukan kueri data di DataStudio, Anda dapat mengekspor data tersebut ke file lokal dengan mengklik tombol Download di panel hasil. Secara default, Anda dapat mengunduh maksimal 10.000 catatan sekaligus. Administrator penyewa dapat mengubah batas ini di halaman Kontrol Kueri dan Analisis Data di Security Center.
Untuk mengekspor lebih dari 10.000 catatan, Anda dapat menggunakan client MaxCompute dan menjalankan perintah Tunnel.
Kueri data di tabel MaxCompute
Anda dapat menggunakan node ODPS SQL atau fitur ad hoc query untuk melakukan kueri data di tabel MaxCompute dengan menjalankan pernyataan SQL.
Izin default
Ruang kerja dalam mode dasar tidak mendukung kontrol izin detail halus atau isolasi antara lingkungan pengembangan dan produksi. Contoh berikut mengasumsikan ruang kerja dalam mode standar.
Saat Pengguna RAM ditambahkan sebagai anggota ke ruang kerja, izin akses data berikut diberikan secara default.
|
Jenis izin |
Deskripsi |
|
Izin proyek pengembangan MaxCompute |
DataWorks memetakan role tingkat ruang kerja ke role engine MaxCompute. Pengguna RAM dengan role ruang kerja secara otomatis menerima izin yang sesuai di engine pengembangan. Secara default, mereka memiliki izin pada proyek di lingkungan pengembangan tetapi tidak di lingkungan produksi. |
|
Izin proyek produksi MaxCompute |
Secara default, hanya identitas akses penjadwalan yang memiliki izin pada proyek produksi. Pengguna RAM lain harus meminta izin di Security Center untuk mengoperasikan tabel produksi. DataWorks menyediakan alur persetujuan default dan juga memungkinkan administrator untuk menyesuaikannya. |
Untuk informasi selengkapnya tentang kontrol akses data MaxCompute, lihat Detail kontrol izin data MaxCompute.
Perilaku akses data
Di DataStudio, Anda dapat melakukan kueri data di proyek lain dengan menambahkan awalan nama proyek pada nama tabel. Tabel berikut menjelaskan metode akses lintas-proyek dan akun yang digunakan di lingkungan berbeda.
-
Untuk melihat compute engine MaxCompute dan akun eksekusi yang dikonfigurasi untuk setiap lingkungan, lihat ikatan sumber daya komputasi di DataStudio. Untuk informasi selengkapnya, lihat Kelola compute engine.
-
Di ruang kerja DataWorks dalam mode standar, lingkungan pengembangan menggunakan identitas pribadi pelaksana tugas secara default, sedangkan lingkungan penjadwalan produksi menggunakan akun cloud tertentu yang dikenal sebagai identitas akses penjadwalan. Untuk informasi selengkapnya, lihat Ikatkan mesin komputasi MaxCompute.
|
Kode contoh |
Eksekusi di lingkungan pengembangan |
Eksekusi di lingkungan produksi |
|
Akses tabel pengembangan di proyek pengembangan:
|
Kueri dijalankan menggunakan Akun Alibaba Cloud pribadi pelaksana tugas.
|
Kueri dijalankan menggunakan identitas akses penjadwalan. |
|
Akses tabel produksi di proyek produksi:
|
Kueri dijalankan menggunakan Akun Alibaba Cloud pribadi pelaksana tugas. Catatan
Karena kontrol keamanan pada data produksi, Akun Alibaba Cloud pribadi tidak memiliki akses default ke tabel produksi. Anda harus meminta izin di Security Center. DataWorks menyediakan alur persetujuan default dan juga memungkinkan administrator untuk menyesuaikannya. |
Kueri dijalankan menggunakan identitas akses penjadwalan. |
|
Jalankan pernyataan di lingkungan target (misalnya, pengembangan) untuk mengakses tabel di lingkungan yang sama:
|
Saat dijalankan di lingkungan pengembangan, kueri menggunakan Akun Alibaba Cloud pribadi pelaksana tugas untuk mengakses tabel target di engine pengembangan. |
Saat dijalankan di lingkungan produksi, kueri menggunakan identitas akses penjadwalan untuk mengakses tabel target di engine produksi. |
Lihat aset data MaxCompute
Anda dapat melihat aset data MaxCompute dengan cara berikut.
Lihat tabel produksi dalam penyewa
Modul Tenant Tables di DataStudio mencantumkan semua tabel produksi di wilayah saat ini yang dimiliki oleh Akun Alibaba Cloud Anda.
Lihat metadata
Masuk ke Data Map untuk melihat detail dan metadata tabel MaxCompute.
Lihat lineage tabel
Di halaman detail tabel di Data Map, Anda dapat melihat lineage hulu dan hilir tabel tersebut.
Untuk menemukan tugas di ruang kerja yang mengoperasikan tabel ini, Anda dapat menggunakan fitur pencarian kode.
Kelola tabel MaxCompute secara batch
Anda dapat mengelola beberapa tabel MaxCompute sekaligus dengan cara berikut.
Hapus tabel MaxCompute secara batch
Masuk ke My Data di Data Map untuk menghapus beberapa tabel yang Anda miliki.
Karena kontrol keamanan pada data produksi, Anda tidak dapat langsung menghapus tabel produksi menggunakan perintah. Untuk menghapus tabel yang bukan milik Anda, Anda harus meminta izin tabel di Security Center.
Transfer kepemilikan tabel secara batch
Masuk ke My Data di Data Map untuk mentransfer kepemilikan beberapa tabel yang Anda miliki.
Ubah siklus hidup tabel secara batch
Masuk ke My Data di Data Map untuk mengubah siklus hidup beberapa tabel yang Anda miliki.
Siklus hidup tabel tunggal dapat diubah di Table Management. Untuk informasi selengkapnya, lihat Buat tabel MaxCompute.