Untuk mengikuti perkembangan teknologi cloud-native, memenuhi tuntutan pemrosesan data yang kompleks, serta meningkatkan skalabilitas, kemudahan pemeliharaan, dan pengalaman pengguna, Pengembangan Data DataWorks (Data Studio) sedang menjalani peningkatan arsitektur besar-besaran. Peningkatan ini bertujuan membangun platform pengembangan intelijen data yang siap masa depan, berkinerja tinggi, dan sangat tersedia, yang menyediakan pengalaman pengembangan dan tata kelola data yang lebih efisien, cerdas, dan terpadu.
Jika Anda mengalami masalah selama proses upgrade, dapatkan dukungan teknis dari Grup Dukungan Upgrade Pengembangan Data DataWorks.
1. Latar Belakang
Arsitektur teknis awal DataWorks dibangun 16 tahun lalu. Meskipun memenuhi kebutuhan inti di era pemrosesan batch, keterbatasannya semakin terlihat seiring evolusi tumpukan teknologi dan skenario bisnis. Upgrade ini didorong oleh tiga faktor utama:
Menjawab kebutuhan teknis untuk evolusi arsitektur
Dukungan arsitektur Lakehouse: Arsitektur saat ini harus ditingkatkan agar secara native mendukung transisi mulus dari gudang data tradisional ke arsitektur Lakehouse, menyatukan manajemen metadata dan pemrosesan data.
Pemrosesan offline dan real-time terpadu: Untuk memenuhi tuntutan real-time bisnis modern, arsitektur baru harus menyediakan paradigma pengembangan dan tampilan metadata terpadu yang mengintegrasikan secara mulus pemrosesan batch offline dan komputasi aliran real-time.
Integrasi native AI dan Large Language Models (LLMs): Arsitektur baru harus mengintegrasikan kemampuan AI secara native, seperti pembelajaran mesin, pembelajaran mendalam, dan pemrosesan bahasa alami, ke dalam seluruh siklus hidup pengembangan data.
Menyelesaikan tantangan teknis arsitektur yang ada
Keterbatasan desain monolitik dan berpusat pada batch: Dirancang untuk pemrosesan batch, arsitektur monolitik lama memiliki dukungan terbatas terhadap elastisitas Cloud-Native dan komputasi aliran, yang berdampak pada kinerja platform.
Bottleneck skalabilitas dan kemudahan pemeliharaan: Modul-modul yang saling terikat erat mengakibatkan siklus iterasi fitur baru yang panjang dan biaya pemeliharaan tinggi, sehingga sulit memenuhi tuntutan akses konkuren skala besar dan kebutuhan bisnis kustom.
Memenuhi kebutuhan pengguna yang terus berkembang
Dukungan untuk alur kerja berskala besar dan kompleks: Untuk mendukung puluhan ribu Pengguna aktif dan memproses data skala exabyte, arsitektur baru harus menyediakan stabilitas, throughput, dan isolasi sumber daya yang lebih tinggi.
Peningkatan efisiensi dan kecerdasan pengembangan: Pengguna mengharapkan pengalaman pengembangan yang lancar setara dengan IDE lokal. Arsitektur baru memperkenalkan fitur cerdas seperti bantuan kode, diagnostik kinerja, dan penerbitan satu klik untuk membuat pengembangan data jauh lebih mudah diakses.
2. Cakupan upgrade
Modul | Perubahan |
Data Development (Data Studio) | Upgrade produk ini hanya memengaruhi antarmuka pengguna (UI) dan pengalaman pengguna (UX). |
Modul produk lain, seperti Operation Center dan Deployment Center, tidak terpengaruh oleh upgrade ini.
3. Dampak upgrade
Dampak terhadap layanan yang ada
Item | Deskripsi dampak |
Pekerjaan produksi yang telah dipublikasikan | Tidak ada dampak. Semua pekerjaan online akan terus berjalan stabil tanpa gangguan. |
Fitur inti pengembangan data | Sepenuhnya dipertahankan dan ditingkatkan. Versi baru mempertahankan dan mengoptimalkan semua kemampuan inti, seperti Node Types, dukungan fungsi, serta pengeditan dan eksekusi inti, untuk meningkatkan kinerja dan pengalaman. |
Migrasi aset pengguna
Jenis aset | Rencana migrasi |
Node yang ada (seperti MaxCompute SQL dan Shell) | Mendukung migrasi satu klik ke antarmuka baru. |
User-Defined Functions (UDFs) | |
File resource (seperti | |
Components | |
Ad-hoc Queries |
4. Migrasi fitur
Versi baru Pengembangan Data (Data Studio) mengintegrasikan ulang dan mengoptimalkan fitur-fitur dari versi lama. Bagian berikut menjelaskan lokasi fitur lama dan perubahan yang terjadi pada IDE baru.
4.1 Pengembangan data
4.1.1. Solutions
Versi lama: Menu "Solutions" terpisah digunakan untuk mengatur dan mengelola Business Flows terkait.
Versi baru: Fitur ini kini menjadi "Focus Mode". Anda dapat memasuki Focus Mode dari direktori file mana pun untuk pengalaman pengembangan yang lebih imersif dan fleksibel.
4.1.2. Business flows
Versi lama: Menggunakan hierarki direktori tetap dan mendukung Business Flow Dashboards.
Versi baru: Anda dapat membuat direktori sesuai kebutuhan dan memberi tag untuk mereplikasi fungsionalitas direktori Business Flow versi lama.
Versi baru: Business Flow Dashboards kini menjadi Directory Dashboards. Kemampuan "View" tersedia untuk direktori apa pun.
Versi baru: Untuk menggunakan orkestrasi alur kerja, buat "Scheduled Workflow" di modul Pengembangan Data yang baru.
4.1.3. Pengembangan node
Versi lama: Hanya menampilkan Node Types yang tersedia. Anda tidak dapat melihat Node Types lain yang didukung DataWorks atau menulis kode untuknya sebelum mengikat Engine.
Versi baru: Pengembangan node diintegrasikan ke dalam Project Directory. Anda dapat melihat semua Node Types dan menulis kode sebelum mengikat Engine. Proses pembuatan node baru masih dioptimalkan untuk meningkatkan pengalaman pembuatan dan pengkodean.
4.1.3.1. Run/run with parameters
Versi lama: Memiliki tombol terpisah "Run" dan "Run with Parameters". Saat Anda mengklik Run with Parameters, Anda memilih Running Resource Group dan Custom Parameters dalam dialog pop-up.
Versi baru:
Tombol "Run" dan "Run with Parameters" kini digabung menjadi satu tombol "Run".
"Engine Instance" versi lama kini dibagi menjadi "Data Source" dan "Compute Resource", tergantung pada jenis node:
Data Source: Digunakan untuk saran metadata di editor kode cerdas.
Compute Resource: Menentukan sumber daya komputasi yang digunakan untuk debugging kode.
"Running Resource Group" versi lama kini menjadi "Resource Group" di panel Debug Configuration.
"Custom Parameters" versi lama kini menjadi "Parameters" di panel Debug Configuration.
Panel "Debug Configuration" selalu terlihat di sisi kanan node. Setiap eksekusi kode menggunakan Compute Resource, Resource Group, dan Parameters dari panel ini.
4.1.3.2. Smoke test/view smoke test records
Versi lama: Anda hanya dapat memulai Smoke Test setelah berhasil submit.
Versi baru:
Standard Mode: Anda dapat memulai Smoke Test setelah berhasil mempublikasikan task ke lingkungan pengembangan (setara dengan submit di versi lama).
Basic Mode: Anda dapat memulai Smoke Test setelah berhasil mempublikasikan task ke lingkungan produksi (setara dengan submit di versi lama).
4.1.3.3. Code review/view code review records
Versi lama: Tombolnya terletak langsung di toolbar node.
Versi baru: Anda dapat memulai Code Review dari langkah Production Checker selama proses penerbitan. Anda dapat melihat daftar Code Review di pohon direktori di sebelah kiri.
4.1.3.4. Submit/submit and allow others to edit
Versi lama:
Versi baru: Fungsi "Submit" kini disebut "Publish". Versi baru memungkinkan pengguna dengan izin yang sesuai untuk langsung menerbitkan. Di Standard Mode, Anda juga dapat mengemas task dan menerbitkannya ke Deployment Center.
4.1.4. Pengembangan tabel
Versi lama: Anda membuat tabel di modul Pengembangan Data.
Versi baru: Fitur ini kini menjadi modul manajemen "Data Directory". Di Data Directory, Anda dapat membuat tabel menggunakan formulir visual, kode, atau Pembuatan Tabel berbantuan AI.
4.1.5. Pengembangan resource
Versi lama: Anda membuat resource di modul Pengembangan Data.
Versi baru: Fitur ini kini menjadi bagian dari modul "Resource Management".
4.1.6. Pengembangan fungsi
Versi lama: Anda membuat fungsi di modul Pengembangan Data.
Versi baru: Fitur ini kini menjadi bagian dari modul "Resource Management".
4.2 Manajemen komponen
Versi lama:
Versi baru:
4.3 Tugas manual
Versi lama:
Versi baru:
4.4 Business flow manual
Versi lama:
Versi baru:
Untuk kemampuan alur kerja manual yang lebih komprehensif, kami merekomendasikan menggunakan Event-driven Workflows. Anda dapat menemukannya di Project Directory > Workflow > Triggered Workflow.
4.5 Ad-hoc queries
Versi lama: Menampilkan file ad-hoc query untuk semua pengguna di ruang kerja saat ini.
Versi baru:
Menampilkan file ad-hoc query untuk pengguna saat ini di semua ruang kerja dalam Wilayah saat ini.
Modul ini hanya untuk debugging kode. Jika Anda perlu menerbitkan kueri sebagai pekerjaan produksi, Anda dapat mengirimkannya ke direktori proyek, mengonfigurasi pengaturan penjadwalannya, lalu menerbitkannya.
4.6 Manajemen tabel
Versi lama:
Versi baru: Fitur ini kini menjadi modul manajemen "Data Directory". Di Data Directory, Anda dapat membuat tabel menggunakan formulir visual, kode, atau Pembuatan Tabel berbantuan AI.
4.7 Tabel publik
Versi lama:
Versi baru: Fitur ini kini menjadi modul manajemen "Data Directory".
4.8 Daftar fungsi
Versi lama:
Versi baru: Anda sekarang dapat langsung bertanya kepada Copilot tentang cara menggunakan fungsi.
Rilis mendatang akan mencakup modul manajemen fungsi. Modul tersebut akan mencakup manajemen dan pembuatan fungsi resmi Engine serta User-Defined Functions.
4.9 Pemeriksaan operasi
Versi lama:
Versi baru:
4.10 Riwayat eksekusi
Versi lama:
Versi baru:
4.11 Catatan smoke test
Versi lama:
Versi baru:
4.12 Sumber daya komputasi
Versi lama:
Versi baru:
4.13 Settings
Versi lama:
Versi baru: Penggantian tema.
Versi baru: Pengaturan lainnya.
Versi baru: Jelajahi lebih banyak pengaturan.
4.14 Recycle bin
Versi lama:
Versi baru:
5. Cara melakukan upgrade
5.1 Izin yang diperlukan
Hanya pengguna dengan izin setara Workspace Administrator yang dapat melihat dan melakukan upgrade.
5.2 Prosedur upgrade
5.2.1. Akses titik masuk upgrade
Titik masuk upgrade berada di bilah navigasi atas antarmuka utama Data Studio (Data Development).
Temukan tombol biru "Upgrade to New Version" di sebelah pemilih ruang kerja.
Hanya pengguna dengan izin yang sesuai yang dapat melihat tombol ini.
5.2.2. Tinjau pertimbangan upgrade
Setelah Anda mengklik tombol "Upgrade to New Version", halaman berisi informasi upgrade akan muncul.
Setelah upgrade berhasil, Anda tidak dapat kembali ke versi sebelumnya. Tinjau poin-poin berikut sebelum memulai. Jika Anda memerlukan bantuan selama upgrade, bergabunglah dengan Grup Dukungan Upgrade Pengembangan Data DataWorks.
Jika Anda menggunakan OpenAPI Data Studio lama atau memerlukan asisten migrasi, hubungi insinyur jaga kami di Grup Dukungan Upgrade Pengembangan Data DataWorks sebelum melakukan upgrade.
Setelah upgrade, Anda tidak dapat menerbitkan task antara ruang kerja yang menjalankan versi lama dan ruang kerja yang telah di-upgrade.
Selama upgrade, Anda tidak dapat menambah atau mengubah konten di Data Studio versi baru maupun lama untuk ruang kerja saat ini. Hal ini berlaku untuk operasi UI maupun OpenAPI.
Upgrade memerlukan waktu. Kami menyarankan melakukan upgrade di luar jam sibuk pengembangan.
Nama dan ID ruang kerja tetap tidak berubah setelah upgrade.
Setelah upgrade, versi lama Data Studio menjadi read-only, dan kode yang diedit di versi baru Pengembangan Data tidak disinkronkan kembali ke versi lama.
Setelah upgrade, saat file dari ad-hoc queries lama dimigrasikan ke Data Studio baru, hanya file yang Anda miliki yang akan terlihat di direktori pribadi Anda.
5.2.3. Lakukan upgrade
Saat status saat ini adalah "Upgrade has not started for the current workspace", klik tombol "Start Upgrade".
Saat Anda mengklik "Start Upgrade", sistem menampilkan perkiraan waktu dan jumlah objek yang akan dimigrasikan untuk ruang kerja saat ini.
Klik "Confirm" untuk memulai upgrade.
Anda dapat memantau progres dan status secara real-time selama upgrade.
Selama upgrade, klik "Upgrade Details" untuk melihat log real-time proses tersebut.
Selama upgrade, klik "Refresh" untuk melihat status terbaru.
Setelah upgrade selesai, klik "Go to Data Studio" untuk mulai menggunakan versi baru Pengembangan Data.
6. Dukungan upgrade
6.1 Layanan upgrade khusus
Bantuan online: Panduan terperinci tersedia selama proses upgrade.
Konsultasi teknis: Jika Anda memiliki pertanyaan, hubungi dukungan teknis di Grup Dukungan Upgrade Pengembangan Data DataWorks. Layanan di lokasi tersedia jika diperlukan.
Respons darurat: Mekanisme respons cepat telah disiapkan untuk menangani masalah terkait upgrade.
Pelatihan produk: Kami dapat memberikan pelatihan tentang fitur baru setelah upgrade jika diperlukan.
6.2 Mekanisme rollback
Jika Anda mengalami masalah selama proses upgrade, hubungi dukungan teknis di Grup Dukungan Upgrade Pengembangan Data DataWorks. Kami dapat membantu Anda kembali ke kondisi sebelum upgrade dimulai.