Build SQL Task Pipelines dengan DataWorks Database Node - DataWorks - Alibaba Cloud - DataWorks

DataWorks memungkinkan Anda membuat berbagai jenis node database untuk mengembangkan tugas SQL, menjalankannya sesuai jadwal, dan mengintegrasikannya dengan pekerjaan lain.

Prasyarat

Pengguna RAM telah ditambahkan ke ruang kerja (opsional).

Pengguna RAM untuk pengembangan tugas telah ditambahkan ke ruang kerja dan diberikan peran Development atau Workspace Administrator (memberikan izin yang luas dan harus diberikan dengan hati-hati). Untuk informasi selengkapnya, lihat Tambahkan anggota ke ruang kerja.
Sumber data DataWorks telah dibuat.
- Pastikan bahwa serverless resource group untuk sumber data memiliki konektivitas jaringan. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.
- Pastikan bahwa sumber data menggunakan JDBC connection string. Untuk informasi selengkapnya, lihat Manajemen sumber data.
- Pastikan bahwa sumber data mendukung pembuatan node database. Untuk informasi selengkapnya, lihat Sumber data yang didukung.
Node database telah dibuat. Untuk informasi selengkapnya, lihat Buat node tugas.

Langkah 1: Kembangkan node database

Setelah membuat node database, Anda dapat mengembangkannya.
1. Pilih sumber data.
  
  Dari daftar drop-down Select a data source, pilih sumber data untuk tugas tersebut. Jika sumber data yang diperlukan tidak tersedia, klik Add Connection untuk menambahkan sumber data baru.
  Catatan
  - Di ruang kerja mode standar, DataWorks hanya menampilkan sumber data yang dikonfigurasi untuk lingkungan pengembangan dan produksi.
  - Node database hanya mendukung sumber data yang dibuat menggunakan JDBC connection string.
2. Kembangkan skrip SQL.
  
  Di editor SQL, tulis pernyataan SQL untuk membuat tugas. Kode berikut adalah contoh kueri sederhana:
```
SELECT * FROM you_table_name;  --Kueri tabel.
SELECT '${var}'; --Konfigurasikan parameter placeholder.
```
  Catatan
  Anda dapat menulis pernyataan berdasarkan sintaks SQL yang didukung oleh sumber data yang telah dikonfigurasi.
3. Konfigurasikan kelompok sumber daya untuk debugging.
  
  Klik Run Configuration, lalu dari daftar drop-down Compute Resource > DataWorks Resource Group, pilih serverless resource group yang memiliki konektivitas jaringan ke sumber data.
  
  Catatan
  Untuk mengakses sumber data di jaringan publik atau lingkungan VPC, gunakan scheduling resource group yang telah lulus uji konektivitas dengan sumber data. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.
4. Konfigurasikan parameter debugging.
  
  Klik Run Configuration. Di bagian Script Parameters, Anda dapat memberikan nilai pada parameter yang dikonfigurasi dalam skrip node database.
5. Setelah konfigurasi selesai, klik untuk menyimpan node SQL, lalu klik untuk menjalankan dan menguji skrip SQL serta memverifikasi bahwa skrip tersebut berfungsi sesuai harapan.
Setelah melakukan debugging pada skrip SQL, klik pengaturan penjadwalan di sisi kanan editor SQL untuk mengonfigurasi jadwal node database. Untuk informasi selengkapnya, lihat Konfigurasikan pengaturan jadwal.

Langkah 2: Terapkan dan kelola node database

Setelah mengonfigurasi pengaturan jadwal, Anda dapat mengirimkan dan menerapkan node database ke lingkungan produksi. Untuk informasi selengkapnya, lihat Kirimkan dan terapkan node.
Setelah penerapan, tugas akan berjalan secara berkala sesuai jadwal yang telah Anda konfigurasi. Anda dapat melihat tugas terjadwal yang telah diterapkan di Operation and Maintenance Center > Node O&M > Auto Triggered Task O&M > Auto Triggered Task dan melakukan operasi O&M. Untuk informasi selengkapnya, lihat Kelola tugas terjadwal.

Sumber data yang didukung

Tabel berikut mencantumkan sumber data yang mendukung node database:

Catatan

Sumber data yang digunakan untuk node database harus dibuat menggunakan JDBC connection string.
Beberapa database secara native mendukung stored procedure, tetapi stored procedure tidak didukung di DataWorks Data Studio.

Sumber data yang mendukung node database

Jenis sumber data	Deskripsi
MySQL	MySQL adalah salah satu sistem manajemen database relasional (RDBMS) paling populer, dikenal karena ukurannya yang kecil, kecepatan tinggi, dan total biaya kepemilikan yang rendah. Untuk informasi selengkapnya, lihat MySQL.
SQL Server	SQL Server adalah RDBMS yang menyediakan layanan manajemen dan analitik data yang andal, efisien, dan aman. Untuk informasi selengkapnya, lihat SQL Server.
Oracle	Oracle adalah RDBMS yang menyediakan layanan manajemen dan analitik data yang andal, efisien, dan aman. Untuk informasi selengkapnya, lihat Oracle.
PostgreSQL	PostgreSQL adalah RDBMS open-source yang kuat, fleksibel, dengan skalabilitas tinggi, stabilitas, dan fitur yang lengkap. Untuk informasi selengkapnya, lihat PostgreSQL.
DRDS	DRDS adalah layanan database terdistribusi yang memungkinkan Anda melakukan penskalaan horizontal database relasional, mendukung penyimpanan dan akses data dalam volume besar sekaligus mempertahankan fitur yang kompatibel dengan MySQL. Untuk informasi selengkapnya, lihat DRDS.
PolarDB MySQL	PolarDB for MySQL adalah database cloud-native generasi berikutnya yang dikembangkan secara independen oleh Alibaba Cloud. Dibangun di atas arsitektur pemisahan komputasi dan penyimpanan, layanan ini memanfaatkan keunggulan integrasi perangkat keras dan perangkat lunak untuk menyediakan layanan database yang sangat elastis, berkinerja tinggi, sangat scalable, aman, dan andal. Layanan ini 100% kompatibel dengan ekosistem MySQL dan PostgreSQL serta sangat kompatibel dengan sintaks Oracle. Untuk informasi selengkapnya, lihat PolarDB for MySQL.
PolarDB PostgreSQL	PolarDB for PostgreSQL adalah database relasional cloud-native yang sepenuhnya dikembangkan oleh Alibaba Cloud. Layanan ini 100% kompatibel dengan PostgreSQL dan sangat kompatibel dengan sintaks Oracle. Layanan ini menyediakan penskalaan elastis cepat, kinerja tinggi, penyimpanan besar, serta layanan database yang aman dan andal, serta mendukung mesin spatiotemporal multidimensi Ganos milik Alibaba Cloud dan mesin informasi geografis open-source PostGIS. Untuk informasi selengkapnya, lihat PolarDB for PostgreSQL.
Doris	Apache Doris adalah database analitik real-time berkinerja tinggi yang sangat cocok untuk analisis laporan, kueri ad hoc, dan akselerasi kueri terfederasi data lake. Untuk informasi selengkapnya, lihat Pengantar Doris.
MariaDB	MariaDB adalah RDBMS open-source yang sangat kompatibel dengan MySQL dan dapat berfungsi sebagai pengganti langsung tanpa memodifikasi kode aplikasi Anda. Untuk informasi selengkapnya, lihat MariaDB.
SelectDB	SelectDB adalah gudang data real-time cloud-native multikloud generasi berikutnya yang dibangun di atas Apache Doris, dirancang untuk analitik big data real-time tingkat enterprise dengan layanan analitik data yang hemat biaya dan mudah digunakan. Untuk informasi selengkapnya, lihat SelectDB.
Redshift	Amazon Redshift adalah layanan gudang data cloud berskala petabyte yang sepenuhnya dikelola. Anda dapat menggunakan Amazon Redshift Serverless untuk mengakses dan menganalisis data tanpa mengonfigurasi gudang data yang disediakan. Untuk informasi selengkapnya, lihat Amazon Redshift.
SAP HANA	SAP HANA adalah platform aplikasi dan database dalam memori berkinerja tinggi yang menggabungkan kemampuan database, pemrosesan data, dan aplikasi untuk komputasi dalam memori tingkat enterprise. Untuk informasi selengkapnya, lihat SAP HANA.
Vertica	Vertica adalah sistem manajemen database (DBMS) penyimpanan kolom berkinerja tinggi yang dirancang untuk analitik big data dan kueri real-time pada dataset berskala besar. Untuk informasi selengkapnya, lihat Vertica.
DM	DM (Dameng) adalah database OLTP yang menggabungkan komputasi terdistribusi, elastis, dan cloud, dengan fitur fleksibilitas, kemudahan penggunaan, keandalan, dan keamanan tinggi. Untuk informasi selengkapnya, lihat DM.
KingbaseES	KingbaseES adalah RDBMS skala besar yang mendukung standar SQL. Layanan ini cocok untuk aplikasi enterprise yang memerlukan pemrosesan volume data besar dengan konkurensi tinggi dan ketersediaan tinggi. Untuk informasi selengkapnya, lihat KingbaseES.
OceanBase	OceanBase adalah database relasional terdistribusi yang dikembangkan secara independen oleh Ant Group dan Alibaba. Layanan ini memiliki fitur konsistensi data yang kuat, ketersediaan tinggi, kinerja tinggi, skalabilitas online, kompatibilitas tinggi dengan standar SQL dan database relasional utama, serta biaya rendah. Untuk informasi selengkapnya, lihat OceanBase.
DB2	DB2 adalah RDBMS yang cocok untuk beban kerja throughput tinggi, dataset skala besar, serta pemrosesan kueri dan transaksi kompleks di gudang data. Untuk informasi selengkapnya, lihat DB2.
GBase 8a	GBase 8a adalah RDBMS yang mendukung penyimpanan data volume besar dan operasi baca/tulis konkurensi tinggi, umum digunakan di sektor pemerintahan, keuangan, telekomunikasi, dan energi. Layanan ini mendukung standar SQL dan menyediakan fitur enterprise seperti partisi data, load balancing, dan disaster recovery. Untuk informasi selengkapnya, lihat GBase 8a.