Ikhtisar Data Studio versi baru - DataWorks - Alibaba Cloud Documentation Center

Data Studio adalah platform pengembangan danau data terpadu (data lakehouse) cerdas yang dibangun oleh Alibaba Cloud berdasarkan 15 tahun pengalaman dalam bidang data besar. Platform ini terintegrasi dengan berbagai layanan komputasi Alibaba Cloud dan menyediakan ekstrak, transformasi, dan muat (ETL) cerdas, manajemen Katalog data, serta orkestrasi Alur kerja lintas mesin. Dengan instans lingkungan pengembangan pribadi yang mendukung pengembangan Python, analitik Notebook, dan integrasi Git, Data Studio juga dilengkapi ekosistem plugin yang kaya untuk menyatukan pemrosesan real-time dan offline, arsitektur lakehouse, serta data besar dengan AI—memungkinkan manajemen “Data+AI” penuh sepanjang siklus hidup.

Apa itu Data Studio?

Data Studio adalah platform pengembangan danau data terpadu cerdas yang mengadopsi metodologi data besar Alibaba Cloud selama 15 tahun. Platform ini terintegrasi secara mendalam dengan puluhan layanan komputasi data besar dan AI Alibaba Cloud—termasuk MaxCompute, E-MapReduce, Hologres, Flink, dan PAI—untuk memberikan pengembangan ETL cerdas bagi gudang data, data lake, dan arsitektur lakehouse OpenLake. Platform ini mendukung:

Katalog data: Sistem manajemen metadata yang dirancang untuk lingkungan lakehouse.
Alur kerja: Model pengembangan yang mengatur orkestrasi node pemrosesan data real-time dan offline serta node AI lintas puluhan jenis mesin.
Lingkungan pengembangan pribadi: Mendukung pengembangan dan debugging node Python, analitik Notebook interaktif, serta manajemen kode berbasis Git yang terintegrasi dengan penyimpanan NAS/OSS.
Notebook: Alat interaktif cerdas untuk pengembangan dan analisis data. Jalankan atau debug kode SQL atau Python terhadap berbagai mesin data dan visualisasikan hasilnya secara instan.

Aktifkan Data Studio versi baru

Aktifkan Data Studio versi baru sebagai berikut:

Saat membuat ruang kerja, pilih Use Data Studio (New Version). Untuk detailnya, lihat Create a workspace.
Di DataStudio lama, klik tombol DataStudio di bagian atas halaman, lalu klik Upgrade to New Version dan ikuti petunjuk untuk memigrasikan data Anda ke Data Studio versi baru.
Data Studio versi baru tersedia di wilayah berikut: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Thailand (Bangkok), Jerman (Frankfurt), Inggris (London), AS (Silicon Valley), AS (Virginia).

Penting

Jika Anda mengalami masalah saat menggunakan Data Studio versi baru, bergabunglah dengan Grup dukungan DingTalk khusus untuk peningkatan ke Data Studio versi baru.
Data di Data Studio versi baru dan DataStudio lama sepenuhnya terpisah dan tidak dapat dibagikan.
Peningkatan dari DataStudio lama ke versi baru bersifat tidak dapat dikembalikan. Setelah peningkatan berhasil, Anda tidak dapat kembali ke versi lama. Sebelum beralih, buat ruang kerja uji dengan Data Studio versi baru diaktifkan untuk memverifikasi apakah sesuai dengan kebutuhan bisnis Anda.
Mulai 19 Februari 2025, ketika akun root membuat ruang kerja DataWorks untuk pertama kalinya di wilayah yang didukung, Data Studio versi baru akan diaktifkan secara default. DataStudio lama tidak akan tersedia lagi.

Akses Data Studio

Buka halaman Workspaces di Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang diinginkan dan pilih Shortcuts > Data Studio di kolom Actions.

Catatan

Entri ini hanya terlihat di ruang kerja tempat Use Data Studio (New Version) diaktifkan. Untuk informasi selengkapnya, lihat Aktifkan Data Studio baru.
Data Studio hanya berfungsi pada browser Chrome versi 69 atau lebih baru di perangkat desktop.

Fitur utama Data Studio

Pengembangan Data menawarkan fitur-fitur utama berikut. Untuk informasi lebih lanjut, lihat Lampiran: Konsep Terkait Pengembangan Data.

Tipe	Deskripsi
Manajemen alur	DataWorks menyediakan model pengembangan berbasis Workflow. Alur kerja menyediakan antarmuka visual berbasis DAG dari perspektif bisnis, menyederhanakan manajemen pipeline tugas yang kompleks. Untuk informasi lebih lanjut, lihat Orkestrasi alur kerja berulang, Alur kerja yang dipicu event, dan Alur kerja yang dipicu manual. Catatan Di Data Studio, setiap ruang kerja memiliki batasan berikut terhadap node dan objek alur kerja internal: Node internal: Setiap alur kerja mendukung hingga `400` node. Objek (alur kerja, node, file, tabel, resource, dan fungsi): Pengguna dengan DataWorks Edisi Perusahaan dapat membuat hingga `200.000` objek. Pengguna dengan DataWorks Edisi Profesional, Standar, atau Dasar dapat membuat hingga `100.000` objek. Jika ruang kerja Anda mencapai batas ini, Anda tidak dapat membuat alur kerja atau objek baru.
Pengembangan tugas	Kemampuan lebih lengkap: Menyediakan beragam node mesin dengan fungsionalitas mesin yang sepenuhnya terenkapsulasi. Menyediakan node tujuan umum untuk logika kompleks saat dikombinasikan dengan node mesin—misalnya, pemicu sistem eksternal, pemeriksaan objek file, cabang kondisional, eksekusi loop, dan penerusan hasil. Mendukung tugas pemrosesan aliran Flink menggunakan Realtime Compute for Apache Flink, serta memungkinkan pengembangan kolaboratif antara Flink dan mesin seperti MaxCompute dan Hologres. Operasi lebih sederhana: Dilengkapi pembuat alur kerja visual—seret dan lepas komponen untuk mengatur orkestrasi tugas multi-mesin dengan cepat. Termasuk editor SQL cerdas dengan petunjuk kode, tampilan struktur operator visual, dan verifikasi izin. Untuk tipe node yang didukung, lihat Pengembangan node.
Penjadwalan tugas	Metode pemicu: Mendukung pemicu sistem eksternal, pemicu event, dan penjadwalan yang dipicu hulu melalui penguraian garis keturunan yang ditangkap secara otomatis. Tipe dependensi: Mendukung dependensi siklus sama dan lintas siklus, serta dependensi timbal balik lintas siklus penjadwalan dan tipe tugas berbeda. Kontrol eksekusi: Memungkinkan Anda mengonfigurasi apakah tugas dapat dijalankan ulang, mengontrol waktu penjadwalan hilir berdasarkan tugas hulu, menetapkan tanggal efektif untuk tugas terjadwal, dan menentukan perilaku penjadwalan—misalnya, dry-run (lewati eksekusi tanpa memblokir tugas hilir) atau freeze (lewati eksekusi dan blokir tugas hilir). Jaminan idempotensi: Menyediakan mekanisme jalankan ulang dengan kondisi dan jumlah percobaan ulang yang dapat dikustomisasi. Untuk detail penjadwalan lebih lanjut, lihat Konfigurasi penjadwalan node.
Kontrol kualitas	Menyediakan publikasi tugas terstandarisasi dan berbagai mekanisme kontrol kualitas, termasuk: Tinjauan kode: Mengharuskan tinjauan kode manual sebelum publikasi dan dapat memblokir jadwal produksi yang bermasalah. Pemeriksaan validasi: Mengintegrasikan pemeriksaan item tata kelola dari tata kelola data dan logika validasi kustom dari ekstensi untuk mengotomatiskan dan menyesuaikan kontrol pengiriman dan publikasi. Kualitas Data: Menghubungkan pemantauan kualitas ke node penjadwalan, memicu validasi aturan setelah tugas selesai untuk membantu mendeteksi masalah data secara langsung.
Lainnya	Kemampuan terbuka: Menyediakan OpenAPI yang luas melalui Open Platform, dengan titik ekstensi bawaan untuk berlangganan event pengembangan DataWorks. Kontrol akses: Mengelola izin fitur UI dan izin akses data. Untuk detailnya, lihat Kontrol izin modul tingkat ruang kerja.

Antarmuka Data Studio

Lihat Panduan fitur Data Studio untuk mempelajari tata letak antarmuka dan cara menggunakan setiap modul.

Alur kerja pengembangan tugas

DataWorks mendukung pembuatan tugas sinkronisasi real-time, tugas terjadwal offline (termasuk pekerjaan sinkronisasi dan transformasi offline), serta tugas yang dipicu manual. Untuk kemampuan sinkronisasi data, lihat modul Data Integration.

Ruang kerja DataWorks beroperasi dalam mode standar atau mode dasar. Alur kerja pengembangan tugas sedikit berbeda antar mode, seperti ditunjukkan di bawah ini.

Alur Kerja Pengembangan Ruang Kerja Mode Standar

Alur kerja mode dasar

Alur kerja dasar: Dalam mode standar, pengembangan tugas terjadwal mencakup tahapan seperti pengembangan, debugging, konfigurasi penjadwalan, publikasi, dan O&M. Untuk proses pengembangan umum, lihat Ikhtisar Data Studio versi baru.
Kontrol alur kerja: Selama pengembangan, gabungkan tinjauan kode bawaan, pemeriksaan tata kelola data yang telah ditentukan, dan logika validasi kustom dari ekstensi Open Platform untuk memastikan tugas memenuhi standar.

Pendekatan pengembangan data

Data Studio memungkinkan Anda menyesuaikan proses pengembangan. Bangun pipa data dengan cepat menggunakan Alur kerja, atau buat node tugas secara manual dan konfigurasikan dependensinya.

Untuk detailnya, lihat Alur kerja.

Tipe node yang didukung di Data Studio

Data Studio mendukung puluhan tipe node—termasuk integrasi data, MaxCompute, Hologres, EMR, Flink, Python, Notebook, dan ADB—dan banyak di antaranya mendukung penjadwalan berulang. Pilih tipe node yang tepat berdasarkan kebutuhan bisnis Anda. Untuk daftar lengkapnya, lihat Tipe node yang didukung.

Lampiran: Konsep utama dalam pengembangan data

Pengembangan tugas

Konsep	Deskripsi
Alur kerja	Pendekatan pengembangan baru yang menampilkan antarmuka visual berbasis DAG dari perspektif bisnis, menyederhanakan pipeline tugas kompleks. Alur kerja mendukung orkestrasi puluhan tipe node—termasuk integrasi data, MaxCompute, Hologres, EMR, Flink, Python, Notebook, dan ADB—serta menawarkan penjadwalan tingkat alur kerja. Alur kerja mendukung baik alur kerja berulang maupun yang dipicu event.
Alur kerja yang dipicu manual	Kumpulan tugas, tabel, resource, dan fungsi untuk kebutuhan bisnis tertentu. Berbeda dengan alur kerja berulang, tugas dalam alur kerja yang dipicu manual harus dimulai secara manual, bukan berdasarkan jadwal.
Node tugas	Node tugas adalah unit eksekusi dasar di DataWorks. Data Studio menyediakan berbagai tipe node: node integrasi data untuk sinkronisasi data, node komputasi mesin untuk pembersihan data (seperti ODPS SQL, Hologres SQL, EMR Hive), dan node tujuan umum untuk logika kompleks (seperti node beban nol untuk mengelola beberapa node atau node do-while untuk looping). Kombinasi node ini memenuhi beragam kebutuhan pemrosesan data.

Penjadwalan tugas

Konsep	Deskripsi
Dependensi	Dependensi menentukan urutan eksekusi antar tugas. Jika node B hanya berjalan setelah node A selesai, A adalah dependensi hulu B (atau B bergantung pada A). Dalam DAG, dependensi muncul sebagai panah antar node.
Nama output	Nama titik output suatu tugas. Dalam satu penyewa (Akun Alibaba Cloud), entitas virtual ini menghubungkan tugas hulu dan hilir saat menentukan dependensi. Saat menetapkan dependensi antar tugas, gunakan nama output—bukan nama atau ID node. Setelah dikonfigurasi, nama output ini menjadi nama input untuk node hilir.
Nama tabel output	Kami menyarankan menetapkan nama tabel output agar sesuai dengan tabel output aktual dari tugas saat ini. Menentukan nama ini dengan benar membantu tugas hilir memastikan bahwa mereka menggunakan data hulu yang diharapkan. Hindari mengubah secara manual nama tabel output yang dihasilkan otomatis—nama tersebut hanya berfungsi sebagai pengenal dan tidak memengaruhi tabel aktual yang dihasilkan oleh skrip SQL Anda, yang ditentukan oleh logika SQL itu sendiri. Catatan Output Name suatu node harus unik secara global, tetapi Output table name-nya tidak memiliki batasan ini.
Kelompok sumber daya penjadwalan	Kelompok sumber daya yang digunakan untuk penjadwalan tugas.
Parameter penjadwalan	Parameter penjadwalan adalah variabel dalam kode Anda yang menerima nilai dinamis saat waktu proses. Untuk mengakses informasi kontekstual—seperti tanggal atau waktu—selama eksekusi berulang, definisikan variabel menggunakan sintaks parameter penjadwalan DataWorks.
Tanda Waktu Data	Waktu data adalah tanggal yang terkait dengan aktivitas bisnis. Waktu data menunjukkan kapan data bisnis yang sesuai dihasilkan. Konsep ini sangat penting dalam skenario komputasi offline. Misalnya, dalam industri ritel, omzet penjualan untuk 20241010 sering dihitung pada dini hari tanggal 20241011. Hasilnya adalah omzet penjualan aktual untuk 20241010. Dalam kasus ini, 20241010 adalah waktu data.
Waktu terjadwal	Waktu eksak tingkat menit yang Anda tetapkan agar tugas berulang dijalankan. Penting Mencapai waktu terjadwal tidak menjamin eksekusi segera. DataWorks memeriksa apakah tugas hulu berhasil, waktu terjadwal telah lewat, dan sumber daya penjadwalan yang cukup tersedia. Hanya ketika semua kondisi terpenuhi, tugas tersebut dipicu.