Fitur dan persiapan untuk DataStudio versi lama - DataWorks

DataStudio adalah modul DataWorks untuk mengembangkan dan menjadwalkan task periodik. Modul ini terintegrasi dengan Operation Center serta menyediakan antarmuka pengembangan visual untuk compute engine seperti MaxCompute, Hologres, dan E-MapReduce, dilengkapi fitur pengembangan kode cerdas, alur kerja hibrida multi-engine, dan penerbitan task terstandarisasi. DataStudio membantu Anda membangun gudang data offline, gudang data real-time, dan sistem kueri ad hoc.

Menuju DataStudio

Masuk ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Development di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down, lalu klik Go to Data Development.

Catatan

DataStudio hanya didukung pada Google Chrome 69 atau versi lebih baru di PC.

Ikhtisar

Fitur

Tabel berikut menjelaskan fitur utama DataStudio. Istilah kunci didefinisikan dalam Lampiran: Konsep.

Type	Description
Object organization and management	DataStudio mengorganisasi dan mengelola objek dengan cara berikut: Organisasi objek: Manajemen dua tingkat dengan Solution > workflow. Objek diorganisasi berdasarkan workflow dalam struktur pohon direktori dan panel visual. Buat objek di pohon atau seret dan lepas komponen di panel untuk membangun alur data. Solution mengelompokkan workflow yang saling terkait. Manajemen objek: Buat dan kelola node, tabel, resource, dan fungsi melalui antarmuka visual. Buat workflow. Mode manajemen. Catatan Di DataStudio, batasan berikut berlaku terhadap jumlah workflow dan objek yang dapat Anda buat dalam ruang kerja: Workflow: Anda dapat membuat maksimal `10.000` workflow. Objek (node, file, tabel, resource, dan fungsi): Jika Anda menggunakan DataWorks Edisi Perusahaan, Anda dapat membuat maksimal `200.000` objek. Jika Anda menggunakan DataWorks Edisi Profesional, Standar, atau Dasar, Anda dapat membuat maksimal `100.000` objek. Jika jumlah workflow atau objek di ruang kerja saat ini mencapai batas atas, Anda tidak dapat membuat yang baru.
Task development	Kemampuan luas: Mendukung berbagai jenis node compute engine. Menyediakan node tujuan umum untuk logika kompleks: pemicu eksternal, pemeriksaan file, cabang kondisional, loop, dan passing output. Operasi yang disederhanakan: Editor workflow visual untuk orkestrasi task multi-engine dengan metode seret-dan-lepas. Editor SQL cerdas dengan petunjuk pintar, struktur operator visual, dan pemeriksaan izin. Semua jenis node yang tersedia tercantum dalam Jenis node yang didukung.
Task scheduling	Metode pemicu: Mendukung pemicu eksternal, pemicu berbasis event, dan pemicu berbasis dependensi yang diurai dari alur data. Jenis dependensi: Mendukung dependensi siklus sama dan lintas-siklus antara berbagai jenis task dan siklus penjadwalan. Kontrol eksekusi: Konfigurasikan kebijakan rerun, kontrol penjadwalan downstream, tanggal efektif, dan jenis penjadwalan seperti dry run (melewati eksekusi, tidak memblokir downstream) atau freeze (melewati eksekusi, memblokir downstream). Idempotensi: Mendukung kondisi rerun dan jumlah rerun kustom. Konfigurasikan properti waktu. Panduan konfigurasi dependensi penjadwalan.
Task debugging	DataStudio mendukung debugging task individual maupun seluruh workflow. Proses debugging task.
Process control	Menyediakan penerbitan task terstandarisasi dan kontrol proses: Tinjauan kode manual dan pengujian asap sebelum penerbitan. DataStudio dapat memblokir workflow bermasalah. Kontrol pengiriman kustom dan otomatis melalui pemeriksaan item tata kelola dari Data Governance Center dan validasi berbasis ekstensi.
Fitur lainnya	Ekstensibilitas: Terintegrasi dengan Open Platform untuk operasi OpenAPI, titik ekstensi bawaan, dan langganan event. Kontrol izin: Mengatur izin fitur UI dan akses data. Kelola izin layanan tingkat ruang kerja. Lihat catatan operasi: Terintegrasi dengan ActionTrail Alibaba Cloud untuk melihat dan mencari log operasi.

Ikhtisar UI

Ikuti panduan fitur DataStudio untuk mempelajari antarmuka pengembangan data dan cara menggunakan fitur setiap modul.

Proses pengembangan

DataStudio mendukung task sinkronisasi real-time, task terjadwal offline (termasuk sinkronisasi dan pemrosesan), serta task yang dipicu secara manual untuk berbagai compute engine. Untuk kemampuan sinkronisasi data, lihat Data Integration. Sebelum memulai, pahami persyaratan pengembangan untuk setiap compute engine dan pilih jenis task yang sesuai.

Panduan pengembangan compute engine: DataWorks mendukung berbagai sumber data dan compute engine. Persyaratan konfigurasi berbeda-beda tergantung engine-nya. Panduan compute engine utama:
Proses pengembangan umum: Ruang kerja DataWorks berjalan dalam mode standar dan mode dasar. Proses pengembangan sedikit berbeda antar mode.

Proses pengembangan di ruang kerja dalam mode standar.

Proses pengembangan di ruang kerja dalam mode dasar.
- Proses dasar: Dalam mode standar, siklus hidup task terjadwal mencakup pengembangan, debugging, konfigurasi penjadwalan, commit, penerbitan, dan O&M. Panduan proses pengembangan data.
- Kontrol proses: Gunakan tinjauan kode dan pengujian asap bawaan, pemeriksaan preset di Data Governance Center, serta validasi kustom melalui ekstensi Open Platform untuk memastikan kepatuhan terhadap standar.
  
  Catatan
  Opsi kontrol proses berbeda-beda tergantung mode ruang kerja. Fitur yang tersedia di konsol bersifat final.

Organisasi

Di DataStudio, workflow merupakan unit dasar untuk pengembangan kode dan organisasi resource. Workflow dan node task dikembangkan secara independen di setiap ruang kerja dan tidak saling memengaruhi. Buat workflow.

Workflow ditampilkan sebagai struktur pohon direktori dan panel operasi, membantu Anda mengorganisasi kode dari perspektif bisnis.

Struktur pohon direktori: Menyediakan cara mengorganisasi kode berdasarkan jenis task.
Panel workflow: Menyediakan tampilan logika bisnis berorientasi proses.

Development organization structure

Mulai

Prasyarat

Untuk mengembangkan task, memodelkan data, atau menjadwalkan task periodik di DataWorks, Anda harus mengasosiasikan sumber data atau kluster Anda sebagai resource komputasi di DataStudio. Tanpa asosiasi ini, Anda tidak dapat membuat node pengembangan data.

Buat sumber data atau kluster yang diperlukan untuk jenis task yang direncanakan.

Data source or cluster	Description
Asosiasikan resource komputasi MaxCompute	DataWorks secara otomatis mengasosiasikan sumber data MaxCompute pertama. Asosiasikan secara manual untuk yang berikutnya.
Asosiasikan resource komputasi Hologres	Asosiasikan secara manual sumber data ini setelah pembuatan.
Asosiasikan resource komputasi AnalyticDB for PostgreSQL
Asosiasikan resource komputasi AnalyticDB for MySQL 3.0
Asosiasikan resource komputasi ClickHouse
Daftarkan kluster E-MapReduce ke DataWorks	DataWorks secara otomatis mengasosiasikan kluster terdaftar. Tidak perlu asosiasi manual.
Daftarkan kluster CDH atau CDP ke DataWorks

Masuk ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Development di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down, lalu klik Go to Data Development.
Di panel navigasi sebelah kiri, klik Computing Resources.

Jika modul Computing Resource tidak terdapat di panel navigasi sisi kiri, tambahkan dari Personal Settings. Module Management.
Asosiasikan resource komputasi.

Di halaman Computing Resource, cari sumber data atau kluster target berdasarkan Computing Resource Name atau Computing Resource Type, lalu klik Associate. Setelah diasosiasikan, Anda dapat menggunakan sumber data tersebut untuk pengembangan.

Catatan
Jika informasi sumber data berubah, refresh halaman untuk melihat pembaruan.
- Dalam beberapa kasus, sumber data atau kluster mungkin gagal diasosiasikan ke DataStudio:
  - Asosiasi bergantung pada konfigurasi. Misalnya, sumber data yang menggunakan Pasangan Kunci Akses tidak dapat diasosiasikan. Periksa halaman asosiasi untuk mengetahui batasan.
  - Sumber data tidak memiliki lingkungan pengembangan atau produksi.
  - Resource komputasi MaxCompute tidak dapat diasosiasikan dengan beberapa ruang kerja DataWorks secara bersamaan.
  Catatan
  Platform menampilkan alasan kegagalan asosiasi apa pun.
- Hanya MaxCompute, E-MapReduce, Hologres, AnalyticDB for MySQL, ClickHouse, CDH/CDP, dan AnalyticDB for PostgreSQL yang dapat diasosiasikan ke DataStudio.
- Jenis sumber data yang dapat diasosiasikan dan batasannya berbeda-beda tergantung edisi DataWorks. Fitur berbagai edisi DataWorks.

Tutorial

Memulai pengembangan data mencakup operasi dasar dan proses pengembangan.

Jenis node yang didukung

DataStudio menyediakan berbagai jenis node, banyak di antaranya mendukung penjadwalan periodik. Pilih node sesuai kebutuhan bisnis Anda. Jenis node yang didukung.

Lampiran: Konsep

Pengembangan task

Term	Description
Solution	Kumpulan workflow yang dikelola secara kolektif. Workflow dapat digunakan ulang di beberapa Solution untuk kolaborasi.
Workflow	Kumpulan task, tabel, resource, dan fungsi untuk kebutuhan bisnis tertentu. Task dijalankan sesuai jadwal.
Manually triggered workflow	Kumpulan task, tabel, resource, dan fungsi untuk kebutuhan bisnis tertentu. Berbeda dengan workflow biasa, task dalam workflow yang dipicu secara manual harus dijalankan secara manual, bukan berdasarkan jadwal.
DAG	Singkatan dari `directed acyclic graph`. Menampilkan node dan dependensinya. Di DataStudio, semua task dalam satu workflow berbagi satu DAG.
Task	Unit eksekusi dasar di DataWorks. Task dijalankan secara berurutan berdasarkan dependensi.
Node	Mewakili task dalam DAG. Node dijalankan secara berurutan berdasarkan dependensi.

Penjadwalan Tugas

Term	Description
Dependency	Menentukan urutan eksekusi antar task. Jika task B hanya dijalankan setelah task A selesai, A merupakan dependensi upstream dari B. Ditampilkan sebagai panah dalam DAG.
Output name	Identifier unik global untuk sebuah node. Satu node dapat memiliki beberapa output name. DataWorks menggunakan output name untuk menentukan dependensi penjadwalan.
Output table name	Nama tabel output task, membantu task downstream mengonfirmasi sumber data yang benar. Jangan ubah nama tabel output yang dihasilkan secara otomatis. Identifier ini tidak memengaruhi nama tabel aktual, yang ditentukan oleh logika SQL. Catatan Output Name sebuah node harus unik secara global, sedangkan Output Table Name tidak memiliki batasan ini.
Scheduling resource group	Kelompok sumber daya yang digunakan untuk penjadwalan task. Ikhtisar kelompok sumber daya DataWorks.
Scheduling parameter	Variabel dalam kode yang secara dinamis mengambil nilai waktu proses seperti tanggal dan waktu. Definisikan parameter penjadwalan di DataWorks untuk memberikan nilai ke variabel kode saat eksekusi.
Business date	Tanggal transaksi bisnis terjadi. Dalam komputasi offline, ini biasanya hari sebelum task dijalankan. Secara default, DataWorks mengatur ini ke hari sebelum task dijalankan, akurat hingga hari. Misalnya, saat menghasilkan statistik penjualan kemarin, kemarin adalah business date.
Scheduling time	Waktu yang diharapkan task dijadwalkan untuk dijalankan, akurat hingga detik. Waktu mulai aktual mungkin berbeda karena berbagai faktor.