Cara menggunakan MaxCompute di DataWorks - DataWorks - Alibaba Cloud Documentation Center

Gunakan DataWorks dengan MaxCompute untuk membangun gudang data offline dan sistem analitik—konfigurasikan alur kerja tugas secara visual, jadwalkan pekerjaan berkala, dan kelola metadata dalam satu tempat.

Prasyarat

DataWorks telah diaktifkan. Untuk informasi selengkapnya, lihat Aktifkan DataWorks.
MaxCompute telah diaktifkan. Untuk informasi selengkapnya, lihat Aktifkan MaxCompute.
Ruang kerja DataWorks telah dibuat. Untuk informasi selengkapnya, lihat Buat ruang kerja.

Catatan penggunaan

Tabel berikut menjelaskan topik-topik pengembangan utama.

Kategori	Deskripsi
Penagihan	Pengembangan tugas MaxCompute di DataWorks dikenai biaya untuk DataWorks dan layanan terkait.
Persiapan lingkungan	Sebelum mengembangkan tugas MaxCompute di DataWorks, beli edisi DataWorks dan kelompok sumber daya yang sesuai dengan kebutuhan bisnis Anda serta asosiasikan sumber data MaxCompute.
Pengelolaan izin	DataWorks menyediakan pengelolaan izin tingkat produk dan tingkat modul, serta mendukung permintaan dan persetujuan izin visual untuk sumber data MaxCompute.
Memulai: Integrasi Data	Integrasi Data membaca data dari dan menulis data ke MaxCompute, mendukung sinkronisasi batch, sinkronisasi real-time, serta sinkronisasi penuh dan inkremental.
Memulai: Pengembangan dan O&M data	DataWorks menyediakan layanan Pemodelan Data untuk menyusun dan mengelola data kompleks dalam jumlah besar yang tidak terstruktur. DataWorks juga menyediakan fitur DataStudio untuk mengembangkan tugas penjadwalan. DataStudio bekerja sama dengan Operation Center untuk memantau dan memelihara tugas-tugas tersebut.
Memulai: Tata kelola data	DataWorks menyediakan manajemen metadata dan tata kelola data untuk MaxCompute.
Memulai: Analisis dan layanan data	DataAnalysis menyediakan analisis data dan berbagi layanan untuk MaxCompute.
Memulai: Platform Terbuka	DataWorks menyediakan kemampuan terbuka yang memungkinkan Anda mengintegrasikan berbagai sistem aplikasi dengan cepat. Hal ini memfasilitasi kontrol proses pengembangan, tata kelola data, dan O&M, serta membantu Anda merespons perubahan status bisnis dari sistem terintegrasi secara cepat.

Penagihan

DataStudio dan Operation Center memungkinkan Anda menjadwalkan tugas sinkronisasi dan pemrosesan data MaxCompute secara berkala. Fitur-fitur ini dikenai biaya sebagai berikut.

1. Biaya DataWorks

Biaya ini muncul pada tagihan DataWorks Anda. Untuk informasi lebih lanjut tentang penagihan DataWorks, lihat Item yang dapat ditagihkan DataWorks.

Biaya	Deskripsi
Biaya edisi DataWorks	Sebelum Anda dapat mengembangkan tugas, Anda harus mengaktifkan DataWorks. Edisi Standar, Edisi Profesional, dan Edisi Perusahaan memerlukan langganan berbayar.
Biaya sumber daya penjadwalan	Tugas memerlukan sumber daya penjadwalan agar dapat dijalankan sesuai jadwal. Anda dapat menggunakan kelompok sumber daya serverless (disarankan) atau kelompok sumber daya eksklusif versi lama. Catatan Kelompok sumber daya serverless dapat digunakan baik untuk penjadwalan tugas maupun sinkronisasi data.
Biaya sumber daya sinkronisasi	Tugas sinkronisasi data memerlukan sumber daya sinkronisasi khusus selain sumber daya penjadwalan. Anda dapat menggunakan kelompok sumber daya serverless (disarankan) atau kelompok sumber daya eksklusif versi lama untuk integrasi data.

Catatan

Tidak ada biaya penjadwalan untuk tugas yang dijalankan menggunakan fitur Run atau Run with Parameters pada halaman DataStudio.
Tidak ada biaya penjadwalan untuk tugas yang gagal dijalankan atau dijalankan sebagai dry run.

Untuk informasi tentang cara DataWorks mendistribusikan tugas penjadwalan guna membantu Anda memahami rincian penagihan dengan lebih baik, lihat Cara DataWorks mendistribusikan tugas penjadwalan.

2. Biaya yang tidak terkait DataWorks

Biaya ini tidak muncul pada tagihan DataWorks Anda. Anda mungkin dikenai biaya berikut saat mengembangkan dan menjalankan tugas:

Penting

Biaya dari layanan lain mengikuti aturan penagihan masing-masing. Untuk detailnya, lihat dokumentasi penagihan setiap layanan. Untuk penagihan MaxCompute, lihat Item yang dapat ditagihkan MaxCompute.

Biaya	Deskripsi
Biaya database	Membaca dari atau menulis ke database hulu dan hilir selama sinkronisasi data dapat menimbulkan biaya database.
Biaya komputasi dan penyimpanan	Menjalankan tugas pada mesin komputasi dapat menimbulkan biaya komputasi dan penyimpanan. Misalnya, tugas SQL MaxCompute yang membuat tabel dan menulis data akan dikenai biaya komputasi dan penyimpanan MaxCompute.
Biaya layanan jaringan	Koneksi jaringan antara DataWorks dan layanan terkait dapat menimbulkan biaya. Misalnya, penggunaan Express Connect, Internet Shared Bandwidth, atau Elastic IP Address (EIP) akan dikenai biaya dari layanan yang bersangkutan.

Persiapan lingkungan

1. Persiapan sumber daya

DataWorks menawarkan edisi Standar, Profesional, dan Perusahaan, serta kelompok sumber daya serverless khusus penyewa. Pilih edisi dan kelompok sumber daya yang sesuai dengan kebutuhan Anda.

Kategori	Deskripsi	Dokumentasi terkait
Pemilihan edisi	DataWorks Edisi Dasar mencakup migrasi data dasar, pengembangan, penjadwalan, dan tata kelola data sederhana untuk MaxCompute. Untuk fitur tata kelola data dan keamanan tingkat lanjut, pilih Edisi Standar, Edisi Profesional, atau Edisi Perusahaan.	Bandingkan edisi DataWorks dan lakukan peningkatan
Pemilihan kelompok sumber daya	Kelompok sumber daya serverless (Disarankan): Satu kelompok sumber daya mencakup semua fitur — Integrasi Data, penjadwalan tugas, dan Studio Layanan Data. Anda dapat merencanakan dan mengalokasikan sumber daya sesuai kebutuhan. Kelompok sumber daya versi lama (kelompok sumber daya eksklusif versi lama dan kelompok sumber daya bersama): Memenuhi kebutuhan penjadwalan dasar. Kelompok sumber daya ini akan dihentikan di masa mendatang.	Ikhtisar kelompok sumber daya DataWorks

2. Persiapan lingkungan pengembangan

Buat proyek MaxCompute sebagai sumber data untuk ruang kerja DataWorks, asosiasikan dengan DataStudio, dan tambahkan anggota ruang kerja untuk pengembangan kolaboratif jika diperlukan.

Kategori	Deskripsi	Dokumentasi terkait
Lingkungan sinkronisasi data	Sebelum menjalankan tugas sinkronisasi MaxCompute, tambahkan proyek MaxCompute sebagai sumber data ke ruang kerja. Setelah itu, Anda dapat menjalankan tugas sinkronisasi terhadapnya.	Asosiasikan mesin komputasi MaxCompute dengan ruang kerja
Lingkungan pengembangan dan analisis data	Sebelum menjalankan tugas penjadwalan MaxCompute, tambahkan proyek MaxCompute sebagai sumber data ke ruang kerja dan asosiasikan dengan DataStudio. Setelah diasosiasikan, Anda dapat mengembangkan, menganalisis, dan menjadwalkan tugas secara berkala.	Asosiasikan mesin komputasi MaxCompute dengan ruang kerja Persiapan: Asosiasikan mesin komputasi atau kluster
Lingkungan pengembangan kolaboratif	Untuk memungkinkan Pengguna RAM berkolaborasi dalam pengembangan di ruang kerja, tambahkan mereka sebagai anggota ruang kerja dan tetapkan peran terkait pengembangan.	Tambahkan anggota ke ruang kerja

Pengelolaan izin

DataWorks mendukung pengelolaan izin tingkat produk dan tingkat modul, dengan permintaan dan persetujuan izin visual untuk sumber data MaxCompute. Bagian berikut menjelaskan pengelolaan izin secara rinci.

1. Akses data dan pengelolaan izin

Anda dapat mengkueri data tabel MaxCompute dengan menggunakan node SQL MaxCompute atau node kueri ad hoc. Ruang kerja dalam mode dasar tidak mendukung pengelolaan izin detail halus atau isolasi antara lingkungan pengembangan dan produksi. Contoh berikut menggunakan ruang kerja dalam mode standar.

Izin default

Setelah Pengguna RAM ditambahkan ke ruang kerja, izin akses data default mereka adalah:

Jenis izin

Deskripsi

Izin proyek pengembangan MaxCompute

DataWorks memetakan peran tingkat ruang kerja yang telah ditentukan ke peran sumber data MaxCompute di lingkungan pengembangan. Pengguna RAM dengan peran ruang kerja mewarisi izin peran sumber data yang dipetakan. Secara default, Pengguna RAM memiliki izin pada proyek pengembangan tetapi tidak pada proyek produksi.

Izin proyek produksi MaxCompute

Hanya Pengguna RAM yang diberikan identitas akses penjadwalan yang memiliki izin luas pada proyek MaxCompute di lingkungan produksi. Pengguna RAM lain tidak memiliki izin pada proyek produksi. Untuk mengoperasikan tabel produksi, buka Security Center untuk meminta izin.

DataWorks menyediakan proses persetujuan default, dan juga memungkinkan administrator menyesuaikan alur kerja persetujuan.

Untuk informasi lebih lanjut tentang kontrol akses data MaxCompute, lihat Pengelolaan izin data MaxCompute.

Perilaku akses data

MaxCompute mendukung kueri tabel lintas-proyek. Di DataStudio, Anda dapat mengkueri data produksi lintas-proyek dengan menentukan nama proyek. Tabel berikut menjelaskan akses tabel lintas-proyek dan akun yang digunakan.

Catatan

Anda dapat melihat sumber data yang dibuat untuk lingkungan berbeda dan akun eksekusi yang dikonfigurasi untuknya di informasi sumber data ruang kerja. Untuk informasi selengkapnya, lihat Asosiasikan mesin komputasi MaxCompute dengan ruang kerja.
Di ruang kerja DataWorks dalam mode standar, tugas di lingkungan pengembangan dijalankan menggunakan identitas pribadi pelaksana tugas secara default. Tugas di lingkungan produksi dijalankan menggunakan Akun Alibaba Cloud tertentu, yaitu identitas akses penjadwalan. Untuk informasi selengkapnya, lihat Asosiasikan mesin komputasi MaxCompute dengan ruang kerja.

Contoh kode	Eksekusi di pengembangan	Eksekusi di produksi
Akses tabel pengembangan di proyek pengembangan: `select col1 from projectname_dev.tablename;`	Akun Alibaba Cloud pribadi pelaksana tugas mengakses tabel pengembangan. Jika Pengguna RAM menjalankan tugas, akun pribadi Pengguna RAM tersebut digunakan. Jika akun Alibaba Cloud utama menjalankan tugas, akun tersebut digunakan.	Identitas akses penjadwalan mengakses tabel pengembangan.
Akses tabel produksi di proyek produksi: `select col1 from projectname.tablename;`	Akun Alibaba Cloud pribadi pelaksana tugas mengakses tabel produksi. Catatan Secara default, akun pribadi tidak memiliki izin untuk mengakses tabel produksi karena kontrol keamanan. Anda harus membuka Security Center untuk meminta izin. DataWorks menyediakan proses persetujuan default dan juga mendukung alur kerja persetujuan kustom.	Identitas akses penjadwalan mengakses tabel produksi.
Akses tabel di lingkungan saat ini (misalnya, tabel pengembangan di lingkungan pengembangan): `select col1 from tablename;`	Saat dijalankan di lingkungan pengembangan, tugas menggunakan akun Alibaba Cloud pribadi pelaksana tugas untuk mengakses tabel target di sumber data pengembangan.	Saat dijalankan di lingkungan produksi, tugas menggunakan identitas akses penjadwalan untuk mengakses tabel target di sumber data produksi.

2. Pengelolaan izin modul fitur

Sebelum memulai pengembangan data, tetapkan peran ruang kerja kepada pengguna untuk memberikan izin operasi yang sesuai. Model izin berikut tersedia:

Model otorisasi berbasis kebijakan RAM mengelola izin pada modul fitur DataWorks (misalnya, menolak akses ke Peta Data) dan operasi konsol (misalnya, mengizinkan pengguna menghapus ruang kerja).
Model RBAC mengelola izin pada modul tingkat ruang kerja (misalnya, mengizinkan pengguna mengakses DataStudio untuk pengembangan) dan modul global (misalnya, menolak akses ke modul Penjaga Keamanan Data).

开发流程

Memulai

DataWorks menawarkan beberapa modul fitur. Kembangkan tugas penjadwalan di DataStudio, lalu pantau dan kelola di Operation Center. DataWorks juga menyediakan kontrol proses pengembangan untuk menstandarkan operasi dan memastikan keamanan.

1. Integrasi Data

Integrasi Data membaca data dari dan menulis data ke MaxCompute. Anda dapat menyinkronkan data antara MaxCompute dan sumber data lain dalam mode batch, real-time, penuh, atau inkremental. Untuk informasi selengkapnya, lihat Integrasi Data.

2. Pengembangan dan O&M data

Modul	Deskripsi	Dokumentasi terkait
Pemodelan Data	Menggunakan metodologi platform tengah data Alibaba, membantu Anda menentukan rencana gudang data, standar data, model dimensi, dan metrik data. Hal ini membantu perusahaan memahami dan menggunakan data secara cepat dan konsisten.	Pemodelan Data
DataStudio	DataWorks mengenkapsulasi kemampuan mesin komputasi MaxCompute, memungkinkan Anda menjalankan tugas sinkronisasi dan pengembangan data. Sinkronisasi data: Anda dapat menyinkronkan data dari sumber data lain ke sumber data MaxCompute atau dari sumber data MaxCompute ke sumber data lain. DataStudio hanya mendukung beberapa skenario sinkronisasi batch dan real-time. Untuk aplikasi sinkronisasi data lebih lanjut, buka halaman Integrasi Data. Pengembangan data: Kembangkan berbagai jenis tugas dan jadwalkan secara berkala di DataWorks tanpa menggunakan alat command-line yang kompleks.	Definisi kode node: SQL MaxCompute Buat dan gunakan tabel MaxCompute Kembangkan tugas SQL MaxCompute Referensikan komponen SQL Kembangkan tugas Spark MaxCompute Kembangkan tugas PyODPS 2 Kembangkan tugas PyODPS 3 Kembangkan tugas Skrip MaxCompute Kembangkan tugas MR MaxCompute Buat dan gunakan resource MaxCompute Buat dan gunakan user-defined function
	Gabungkan node tujuan umum dan node mesin komputasi untuk menangani logika kompleks. Node utama meliputi: Node virtual untuk mengontrol proses bisnis. Node HTTP trigger, OSS Object Check, dan FTP Check untuk memicu penjadwalan dari sistem eksternal. Node Assignment dan parameter digunakan untuk meneruskan parameter antara node upstream dan downstream. Node do-while untuk mengulang kode, node for-each untuk melakukan iterasi dan mengevaluasi hasil assignment node hulu, serta node branch. Node lainnya, seperti node Shell tujuan umum dan node database MySQL.	Node virtual Node HTTP trigger Node OSS Object Check Node FTP Check Node Assignment Node parameter Logika node do-while Logika node for-each Node branch
	Setelah mengembangkan tugas node, Anda dapat melakukan operasi berikut sesuai kebutuhan: Konfigurasi penjadwalan Jika tugas node perlu dijalankan secara berkala, Anda dapat menentukan properti penjadwalannya, seperti dependensi penjadwalan dan parameter. Debugging Node Untuk memastikan tugas produksi berjalan efisien dan mencegah pemborosan sumber daya komputasi, debug tugas sebelum menerapkannya. Penerapan node Tugas harus diterapkan ke lingkungan produksi agar dapat dijadwalkan secara berkala. Setelah penerapan, Anda dapat membuka Operation and Maintenance Center > Auto Triggered Node untuk melihat dan mengelola tugas terjadwal. Manajemen node Anda dapat menerapkan atau membatalkan penerapan tugas node, serta memodifikasi properti penjadwalan secara batch. Kontrol proses pengembangan DataWorks menyediakan kontrol proses pengembangan untuk pengembangan dan penerapan tugas, seperti tinjauan kode, pengujian asap wajib, dan logika pemeriksaan kustom, untuk memastikan kebenaran dan keamanan operasi terkait tugas.	Ikhtisar konfigurasi penjadwalan tugas Debugging tugas Terapkan tugas Operasi batch Kontrol proses pengembangan
Operation Center	Operation Center adalah platform O&M dan pemantauan satu atap untuk tugas data besar. Platform ini menyediakan pemantauan status tugas real-time, diagnosis cerdas, dan pengulangan eksekusi untuk tugas abnormal. Fitur garis dasar cerdasnya membantu memastikan output tugas tepat waktu dengan mengatasi waktu penyelesaian yang tidak dapat diprediksi dan menyederhanakan pemantauan tugas skala besar.	O&M dasar untuk node auto-triggered
Data Quality	Data Quality memastikan ketersediaan data sepanjang siklus hidup pengembangan data. Dengan memvalidasi aturan kualitas data secara efisien dan terintegrasi erat dengan proses penjadwalan tugas, fitur ini membantu Anda mendeteksi masalah kualitas sedini mungkin dan mencegah penyebaran masalah kualitas data. Hal ini menyediakan sumber data yang efisien, andal, dan tepercaya bagi bisnis Anda.	Ikhtisar Data Quality

3. Tata kelola data

Setelah Anda mengasosiasikan sumber data MaxCompute, DataWorks secara otomatis mengumpulkan metadata-nya. Gunakan Peta Data untuk melihat metadata, atau gunakan Pusat Tata Kelola Data untuk melihat dan menyelesaikan isu yang terdeteksi.

Modul	Deskripsi	Dokumentasi terkait
Peta Data	Menggunakan fondasi metadata terpadu, membantu Anda mengelola, menginventarisasi, menemukan, dan memahami objek data.	Ikhtisar Peta Data
Security Center Penjaga Keamanan Data Approval Center	Security Center adalah platform tata kelola keamanan data satu atap yang mengintegrasikan klasifikasi aset data, identifikasi data sensitif, otorisasi data, penyembunyian data sensitif, audit akses, serta identifikasi dan respons risiko.	Ikhtisar Security Center Memulai Approval Center
Pusat Tata Kelola Data	Pusat Tata Kelola Data membantu Anda melakukan tata kelola data secara proaktif dan sistematis. Fitur ini menggunakan templat aturan domain data, secara otomatis mengidentifikasi aset yang perlu dioptimalkan, serta menyediakan strategi tata kelola pra-kejadian dan pasca-kejadian.	Ikhtisar Tata Kelola Aset Data

4. Analisis dan layanan data

DataWorks menyediakan kemampuan pemrosesan, analisis, dan layanan data, dengan API yang dikelola secara terpusat untuk berbagi data secara efisien.

Modul	Deskripsi	Dokumentasi terkait
DataAnalysis	Jalankan kueri SQL online, peroleh wawasan bisnis, serta edit dan bagikan data. Anda juga dapat menyimpan hasil kueri sebagai kartu grafik untuk membangun laporan data visual.	DataAnalysis
Studio Layanan Data	Studio Layanan Data menyediakan kemampuan layanan dan berbagi data yang komprehensif, membantu perusahaan mengelola layanan API secara terpusat untuk penggunaan internal dan eksternal.	Studio Layanan Data

5. Platform Terbuka

Platform Terbuka DataWorks membantu Anda mengintegrasikan sistem aplikasi dengan DataWorks untuk kontrol proses pengembangan, tata kelola data, O&M, dan respons real-time terhadap perubahan status bisnis.

Kategori	Deskripsi	Dokumentasi terkait
OpenAPI	OpenAPI menyediakan API untuk interaksi antara layanan on-premises dan DataWorks, meningkatkan efisiensi pemrosesan data besar sekaligus mengurangi operasi manual, beban O&M, risiko data, dan biaya.	OpenAPI
OpenEvent	OpenEvent menyediakan layanan langganan pesan. Dengan berlangganan event DataWorks, aplikasi Anda menerima perubahan status real-time untuk respons tepat waktu dan pengambilan keputusan personalisasi.	Ikhtisar OpenEvent
Ekstensi	Ekstensi memungkinkan Anda mendaftarkan program layanan untuk mengintersepsi dan merespons pesan OpenEvent yang dilanggan, sehingga memungkinkan notifikasi dan kontrol proses untuk event tertentu.	Ikhtisar ekstensi

Lampiran: Hubungan antara DataWorks dan MaxCompute

Catatan

Ruang kerja dalam mode dasar hanya memiliki satu lingkungan produksi dan berkorespondensi dengan satu proyek MaxCompute. Contoh berikut menggunakan ruang kerja dalam mode standar.

DataWorks menyediakan penjadwalan tugas, manajemen metadata, tata kelola data, dan kontrol keamanan data untuk MaxCompute, sedangkan komputasi dan penyimpanan terjadi di dalam MaxCompute. Dalam mode standar, DataWorks mengasosiasikan proyek MaxCompute terpisah dengan lingkungan pengembangan dan produksi untuk mengisolasi penyimpanan dan sumber daya.

Untuk informasi tentang membuat sumber data MaxCompute di ruang kerja DataWorks, mengasosiasikannya dengan DataStudio, dan melihat proyek MaxCompute yang digunakan di setiap lingkungan, lihat Asosiasikan mesin komputasi MaxCompute dengan ruang kerja.
Untuk informasi tentang cara DataWorks mendistribusikan tugas penjadwalan, lihat Cara DataWorks mendistribusikan tugas penjadwalan.

引擎绑定