DataWorks Data Studio sedang menjalani peningkatan arsitektur yang komprehensif untuk mengikuti perkembangan teknologi cloud-native, memenuhi tuntutan skenario pemrosesan data yang semakin kompleks, serta mengatasi tantangan arsitektur saat ini terkait skalabilitas, kemudahan pemeliharaan, dan pengalaman pengguna. Peningkatan ini bertujuan membangun platform pengembangan intelijen data masa depan yang berkinerja tinggi dan sangat tersedia, sehingga memberikan pengalaman pengembangan dan tata kelola data yang lebih efisien, cerdas, dan terpadu.
Jika Anda mengalami masalah selama proses peningkatan, Anda dapat memperoleh dukungan teknis dari DataWorks Data Studio Upgrade Support Group.
1. Latar Belakang
Arsitektur teknis awal DataWorks dibangun enam belas tahun lalu. Meskipun memenuhi kebutuhan inti era pemrosesan batch, keterbatasannya semakin terlihat seiring evolusi tumpukan teknologi dan skenario bisnis. Peningkatan ini didorong oleh tiga faktor utama:
Kebutuhan teknis untuk evolusi arsitektur
Dukungan arsitektur lakehouse: Arsitektur yang ada perlu ditingkatkan agar secara native mendukung transisi mulus dari gudang data tradisional ke arsitektur lakehouse, menyatukan manajemen metadata dan pemrosesan data.
Pemrosesan offline dan real-time yang terpadu: Untuk memenuhi kebutuhan bisnis real-time, arsitektur baru harus menyediakan paradigma pengembangan dan tampilan metadata yang terpadu, mengintegrasikan secara mulus pemrosesan batch offline dan komputasi aliran real-time.
Integrasi native AI dan Large Language Models (LLMs): Arsitektur baru harus mengintegrasikan kemampuan AI—seperti pembelajaran mesin, pembelajaran mendalam, dan pemrosesan bahasa alami—secara native ke seluruh siklus hidup pengembangan data.
Tantangan arsitektur yang ada
Keterbatasan desain monolitik yang berfokus pada batch: Arsitektur lama didasarkan pada desain monolitik awal yang berfokus pada pemrosesan batch. Desain ini memiliki keterbatasan inheren dalam mendukung teknologi cloud-native dan komputasi aliran, sehingga membatasi elastisitas dan kinerja platform.
Bottleneck skalabilitas dan kemudahan pemeliharaan: Modul-modul yang saling terikat erat menyebabkan siklus iterasi fitur baru menjadi panjang dan biaya pemeliharaan tinggi, sehingga sulit memenuhi tuntutan akses konkuren skala besar dan ekstensi bisnis kustom.
Perubahan kebutuhan pengguna
Dukungan untuk alur kerja berskala besar dan kompleks: Untuk menangani kebutuhan pemrosesan puluhan ribu pengguna aktif dan data berskala exabyte, arsitektur baru harus memberikan stabilitas, throughput, dan isolasi sumber daya yang lebih tinggi.
Peningkatan efisiensi dan kecerdasan pengembangan: Pengguna mengharapkan pengalaman pengembangan yang semulus IDE lokal. Arsitektur baru memperkenalkan bantuan kode cerdas, diagnostik kinerja, dan penerbitan satu klik untuk secara signifikan menurunkan hambatan teknis dalam pengembangan data.
2. Cakupan peningkatan
Modul | Perubahan |
Data Studio | Peningkatan antarmuka pengguna (UI) dan pengalaman pengguna (UX). |
Modul produk lainnya, seperti Operation Center dan Deployment Center, tidak terpengaruh oleh peningkatan ini dan berada di luar cakupan.
3. Dampak peningkatan
Dampak terhadap bisnis yang ada
Item | Deskripsi dampak |
Published production tasks | Tidak ada dampak. Semua task online akan terus berjalan tanpa gangguan. |
Core Data Studio features | Sepenuhnya dipertahankan dan ditingkatkan. Fungsionalitas inti—seperti jenis node, dukungan fungsi, serta kemampuan pengeditan dan eksekusi—sepenuhnya dipertahankan dan dioptimalkan untuk kinerja dan pengalaman pengguna pada versi baru. |
Migrasi aset pengguna
Jenis aset | Rencana migrasi |
Existing nodes (e.g., MaxCompute SQL, Shell) | Anda dapat memigrasikan aset-aset ini ke antarmuka baru dengan satu klik. |
User-defined functions (UDFs) | |
Resource files (e.g., | |
Components | |
Ad-hoc queries |
4. Migrasi fitur
Data Studio baru menyusun ulang dan mengoptimalkan fitur-fitur versi lama. Bagian-bagian berikut menjelaskan lokasi baru dan perubahan setiap fitur, dengan menggunakan Data Studio lama sebagai titik awal.
4.1 Pengembangan data
4.1.1. Solutions
Lama: Menu "Solutions" terpisah digunakan untuk mengatur dan mengelola alur bisnis terkait.
Baru: Ditingkatkan menjadi "Focus Mode." Anda dapat memasuki Focus Mode untuk direktori file apa pun, memberikan pengalaman pengembangan yang lebih fleksibel dan imersif.
4.1.2. Business flows
Lama: Menggunakan hierarki direktori tetap dan mendukung Business Flow Dashboard.
Baru: Anda dapat membuat direktori sesuai kebutuhan dan memberi tag fleksibel sebagai direktori business flow.
Baru: Business Flow Dashboard ditingkatkan menjadi Directory Dashboard. Fitur "View" tersedia untuk direktori apa pun.
Baru: Untuk kemampuan orkestrasi alur, gunakan "Periodic Scheduling Workflow" di Data Studio baru.
4.1.3. Pengembangan node
Lama: Hanya menampilkan jenis node yang tersedia. Anda tidak dapat melihat jenis node lain yang didukung DataWorks atau menulis kode untuknya sebelum mengikat engine.
Baru: Diintegrasikan ke Data Studio > Project Directory. Anda dapat melihat semua jenis node dan menulis kode sebelum mengikat engine. Kami terus mengoptimalkan proses pembuatan node baru untuk meningkatkan pengalaman pembuatan dan pengkodean.
4.1.3.1. Run/Run with Parameters
Lama: Tombol "Run" dan "Run with Parameters" terpisah. Saat Anda mengklik Run with Parameters, Anda memilih resource group waktu proses dan parameter kustom.
Baru:
Tombol "Run" dan "Run with Parameters" lama digabung menjadi satu tombol "Run".
"Engine instance" lama kini dipisah menjadi data source dan computing resources, tergantung jenis node:
Data source: Digunakan untuk saran metadata di editor kode cerdas.
Computing resources: Menentukan sumber daya komputasi yang digunakan untuk debugging kode.
"Runtime resource group" lama dipindahkan ke "Resource group" dalam konfigurasi run.
"Custom parameters" lama dari dialog "Run with Parameters" dipindahkan ke "Parameters" dalam konfigurasi run.
Panel "Debug configurations" kini permanen di sisi kanan node. Setiap eksekusi kode menggunakan computing resources, resource group, dan parameter dari konfigurasi ini.
4.1.3.2. Smoke testing/View smoke testing records
Lama: Anda hanya dapat memulai smoke testing setelah commit berhasil.
Baru:
Standard Mode: Anda hanya dapat memulai smoke testing setelah berhasil menerbitkan task ke lingkungan pengembangan (setara dengan commit berhasil di versi lama).
Basic Mode: Anda hanya dapat memulai smoke testing setelah berhasil menerbitkan task ke lingkungan produksi (setara dengan commit berhasil di versi lama).
4.1.3.3. Code review/View code review records
Lama: Tombol tersebut berada langsung di toolbar node.
Baru: Anda dapat memulai code review selama proses penerbitan di langkah production checker. Di pohon direktori sebelah kiri, klik untuk melihat daftar code review.
4.1.3.4. Commit/Commit and Allow Others to Edit
Lama:
Baru: Aksi "Commit" telah diubah namanya menjadi "Publish." Versi baru memungkinkan pengguna yang berwenang untuk menerbitkan langsung. Standard Mode juga mendukung pengemasan task untuk rilis melalui Deployment Center.
4.1.4. Pengembangan tabel
Lama: Membuat tabel baru di dalam Data Studio.
Baru: Ditingkatkan menjadi fitur manajemen "Data Map" yang lengkap. Di Data Map, Anda dapat membuat tabel menggunakan formulir visual, kode, atau AI.
4.1.5. Pengembangan resource
Lama: Membuat resource baru di dalam Data Studio.
Baru: Digabungkan ke modul "Resource Management".
4.1.6. Pengembangan fungsi
Lama: Membuat fungsi baru di dalam Data Studio.
Baru: Digabungkan ke modul "Resource Management".
4.2 Manajemen komponen
Warisan:
Baru:
4.3 Manual tasks
Lama:
Baru:
4.4 Manual business flows
Warisan:
Baru:
Untuk kemampuan alur kerja manual yang lebih lengkap, gunakan Project Directory > Workflow > Triggered Workflow.
4.5 Ad-hoc queries
Lama: Berisi file ad-hoc query untuk semua pengguna di ruang kerja saat ini.
Baru:
Berisi file ad-hoc query untuk pengguna saat ini di seluruh ruang kerja dalam Wilayah saat ini.
Ini hanya ditujukan untuk debugging kode. Jika Anda perlu menerbitkan kueri sebagai task produksi, Anda dapat melakukan commit ke direktori proyek, mengonfigurasi penjadwalannya, lalu menerbitkannya.
4.6 Manajemen tabel
Lama:
Baru: Ditingkatkan menjadi fitur manajemen "Data Map" yang lengkap. Di Data Map, Anda dapat membuat tabel menggunakan formulir visual, kode, atau AI.
4.7 Public tables
Warisan:
Baru: Ditingkatkan menjadi fitur manajemen "Data Map" yang lengkap.
4.8 Function list
Warisan:
Baru: Anda kini dapat langsung bertanya kepada Copilot tentang cara menggunakan fungsi.
Modul manajemen fungsi direncanakan untuk rilis mendatang. Modul tersebut akan mencakup manajemen dan pembuatan fungsi engine resmi serta user-defined function.
4.9 Operation check
Lama:
Baru:
4.10 Run history
Lama:
Baru:
4.11 Smoke testing records
Lama:
Baru:
4.12 Computing resources
Warisan:
Baru:
4.13 Settings
Legacy:
Baru: Theme switching.
Baru: Other settings.
Baru: Jelajahi lebih banyak pengaturan.
4.14 Recycle Bin
Warisan:
Baru:
5. Prosedur peningkatan
5.1 Izin peningkatan
Hanya pengguna dengan peran workspace administrator yang dapat melihat dan melakukan peningkatan.
5.2 Alur peningkatan
5.2.1. Titik masuk peningkatan
Terletak di bilah navigasi atas antarmuka utama Data Studio.
Klik tombol biru "Upgrade to New Version" di sebelah pemilih ruang kerja.
Hanya pengguna dengan izin yang diperlukan yang dapat melihat tombol ini.
5.2.2. Catatan peningkatan
Setelah Anda mengklik tombol "Upgrade to New Version", sistem menampilkan halaman pengantar peningkatan.
Peningkatan ini tidak dapat dikembalikan dan tidak mendukung rollback. Harap tinjau informasi berikut sebelum melanjutkan. Jika Anda memerlukan bantuan selama proses, bergabunglah dengan DataWorks Data Studio Upgrade Support Group.
Jika Anda menggunakan OpenAPI Data Studio lama atau perlu menggunakan asisten migrasi, harap hubungi staf dukungan kami di DataWorks Data Studio Upgrade Support Group sebelum melakukan peningkatan.
Anda tidak dapat menerbitkan task antara ruang kerja yang menggunakan versi baru dan yang menggunakan versi lama.
Selama peningkatan, Anda tidak dapat menambah atau mengubah konten di Data Studio baru maupun lama untuk ruang kerja saat ini. Hal ini berlaku baik untuk operasi UI maupun panggilan OpenAPI.
Peningkatan memerlukan waktu. Kami merekomendasikan melakukan peningkatan pada jam sepi.
Nama dan ID ruang kerja tetap tidak berubah setelah peningkatan.
Setelah peningkatan, versi lama Data Studio menjadi read-only. Kode yang diedit di Data Studio baru tidak akan disinkronkan kembali ke versi lama.
Setelah peningkatan, Anda hanya akan melihat file Anda sendiri dari ad-hoc queries lama yang dimigrasikan di direktori pribadi Anda.
5.2.3. Proses peningkatan
Saat status peningkatan adalah "Upgrade has not started for the current workspace," klik tombol "Start Upgrade" untuk memulai proses.
Saat Anda mengklik "Start Upgrade," sistem menampilkan perkiraan waktu dan jumlah objek yang akan dimigrasikan untuk ruang kerja saat ini.
Klik tombol "Confirm" untuk memulai peningkatan.
Anda dapat memantau progres dan status secara real-time selama peningkatan.
Selama peningkatan, klik "Upgrade Details" untuk melihat daftar item yang dimigrasikan secara real-time.
Selama peningkatan, klik "Refresh" untuk melihat status terbaru.
Setelah peningkatan selesai, klik "Go to Data Studio" untuk mulai menggunakan versi baru.
6. Dukungan peningkatan
6.1. Layanan peningkatan
Bantuan online: Panduan operasional terperinci tersedia selama proses peningkatan.
Konsultasi teknis: Jika Anda mengalami masalah, hubungi engineer dukungan kami di DataWorks Data Studio Upgrade Support Group. Layanan on-site dapat diberikan jika diperlukan.
Respons darurat: Mekanisme respons cepat tersedia untuk masalah terkait peningkatan.
Pelatihan produk: Pelatihan penggunaan produk dapat diberikan setelah peningkatan jika diperlukan.
6.2. Mekanisme rollback
Jika terjadi masalah selama proses peningkatan, hubungi engineer dukungan kami di DataWorks Data Studio Upgrade Support Group. Mereka dapat membantu melakukan rollback ke kondisi sebelum peningkatan.