Build SQL Task Pipelines dengan DataWorks Database Node - DataWorks - Alibaba Cloud - DataWorks

DataWorks memungkinkan Anda membuat berbagai jenis node database untuk mengembangkan task SQL, menjalankannya sesuai jadwal, dan mengintegrasikannya dengan job lain.

Prasyarat

Pengguna RAM telah ditambahkan ke ruang kerja (opsional).

Pengguna RAM untuk pengembangan task telah ditambahkan ke ruang kerja dan diberikan peran Development atau Workspace Administrator (memberikan izin yang luas dan harus diberikan dengan hati-hati). Untuk informasi selengkapnya, lihat Tambahkan anggota ke ruang kerja.
Sumber data DataWorks telah dibuat.
- Pastikan serverless resource group untuk sumber data memiliki konektivitas jaringan. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.
- Pastikan sumber data menggunakan JDBC connection string. Untuk informasi selengkapnya, lihat Manajemen sumber data.
- Pastikan sumber data mendukung pembuatan node database. Untuk informasi selengkapnya, lihat Sumber data yang didukung.
Node database telah dibuat. Untuk informasi selengkapnya, lihat Buat node task.

Langkah 1: Kembangkan node database

Setelah membuat node database, Anda dapat mengembangkannya.
1. Pilih sumber data.
  
  Dari daftar drop-down Select a data source, pilih sumber data untuk task tersebut. Jika sumber data yang diperlukan tidak tersedia, klik Add Connection untuk menambahkan sumber data baru.
  Catatan
  - Di ruang kerja mode standar, DataWorks hanya menampilkan sumber data yang dikonfigurasi untuk lingkungan pengembangan dan produksi.
  - Node database hanya mendukung sumber data yang dibuat menggunakan JDBC connection string.
2. Kembangkan skrip SQL.
  
  Di editor SQL, tulis pernyataan SQL untuk membuat task. Kode berikut adalah contoh kueri sederhana:
```
SELECT * FROM you_table_name;  --Kueri tabel.
SELECT '${var}'; --Konfigurasikan parameter placeholder.
```
  Catatan
  Anda dapat menulis pernyataan berdasarkan sintaks SQL yang didukung oleh sumber data yang dikonfigurasi.
3. Konfigurasikan resource group untuk debugging.
  
  Klik Run Configuration, lalu dari daftar drop-down Compute Resource > DataWorks Resource Group, pilih serverless resource group yang memiliki konektivitas jaringan ke sumber data.
  
  Catatan
  Untuk mengakses sumber data di jaringan publik atau lingkungan VPC, gunakan scheduling resource group yang telah lulus uji konektivitas dengan sumber data. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.
4. Konfigurasikan parameter debugging.
  
  Klik Run Configuration. Di bagian Script Parameters, Anda dapat memberikan nilai pada parameter yang dikonfigurasi dalam skrip node database.
5. Setelah konfigurasi selesai, klik untuk menyimpan node SQL, lalu klik untuk menjalankan dan menguji skrip SQL serta memverifikasi bahwa skrip tersebut berfungsi sesuai harapan.
Setelah melakukan debugging pada skrip SQL, klik pengaturan penjadwalan di sisi kanan editor SQL untuk mengonfigurasi jadwal node database. Untuk informasi selengkapnya, lihat Konfigurasikan pengaturan jadwal.

Langkah 2: Terapkan dan kelola node database

Setelah mengonfigurasi pengaturan jadwal, Anda dapat mengirimkan dan menerapkan node database ke lingkungan produksi. Untuk informasi selengkapnya, lihat Kirimkan dan terapkan node.
Setelah diterapkan, task akan berjalan secara berkala sesuai jadwal yang Anda konfigurasi. Anda dapat melihat task terjadwal yang telah diterapkan di Operation and Maintenance Center > Node O&M > Auto Triggered Task O&M > Auto Triggered Task dan melakukan operasi O&M. Untuk informasi selengkapnya, lihat Kelola task terjadwal.

Sumber data yang didukung

DataWorks mendukung pembuatan node database dari berbagai sumber data. Berikut ini daftar node database yang didukung:

Catatan

Sumber data yang digunakan untuk node database harus dibuat menggunakan JDBC connection string.
Beberapa database secara native mendukung stored procedure, tetapi stored procedure tidak didukung di DataWorks Data Studio.

Sumber data yang mendukung node database

Jenis sumber data	Deskripsi
MySQL	MySQL adalah sistem manajemen database relasional (RDBMS) yang digunakan untuk menyimpan dan memproses data. MySQL merupakan salah satu RDBMS paling populer, dikenal karena ukurannya yang ringkas, kecepatan tinggi, dan total biaya kepemilikan yang rendah. Untuk informasi selengkapnya, lihat MySQL.
SQL Server	SQL Server adalah RDBMS yang digunakan untuk menyimpan dan memproses data. SQL Server menyediakan layanan manajemen dan analitik data yang andal, efisien, dan aman. Untuk informasi selengkapnya, lihat SQL Server.
Oracle	Oracle adalah RDBMS yang digunakan untuk menyimpan dan memproses data. Oracle menyediakan layanan manajemen dan analitik data yang andal, efisien, dan aman. Untuk informasi selengkapnya, lihat Oracle.
PostgreSQL	PostgreSQL adalah RDBMS open-source yang kuat dan fleksibel dengan model data yang tangguh, skalabilitas tinggi, stabilitas, serta kumpulan fitur inti yang lengkap. Untuk informasi selengkapnya, lihat PostgreSQL.
DRDS	DRDS adalah layanan database terdistribusi. DRDS memungkinkan Anda melakukan penskalaan horizontal database relasional menjadi sistem terdistribusi, mendukung penyimpanan dan akses data dalam volume besar sekaligus mempertahankan fitur-fitur database relasional seperti MySQL. Untuk informasi selengkapnya, lihat DRDS.
PolarDB MySQL	PolarDB for MySQL adalah database cloud-native generasi berikutnya yang dikembangkan secara independen oleh Alibaba Cloud. Dibangun di atas arsitektur pemisahan komputasi dan penyimpanan, PolarDB memanfaatkan keunggulan integrasi perangkat keras dan perangkat lunak untuk menyediakan layanan database yang sangat elastis, berkinerja tinggi, sangat scalable, aman, dan andal. PolarDB 100% kompatibel dengan ekosistem MySQL dan PostgreSQL serta sangat kompatibel dengan sintaks Oracle. Untuk informasi selengkapnya, lihat PolarDB for MySQL.
PolarDB PostgreSQL	PolarDB for PostgreSQL adalah database relasional cloud-native yang sepenuhnya dikembangkan oleh Alibaba Cloud. PolarDB 100% kompatibel dengan PostgreSQL dan sangat kompatibel dengan sintaks Oracle. PolarDB menyediakan penskalaan elastis cepat, kinerja tinggi, penyimpanan besar, serta layanan database yang aman dan andal, serta mendukung mesin spatiotemporal multidimensi Ganos milik Alibaba Cloud dan mesin informasi geografis open-source PostGIS. Untuk informasi selengkapnya, lihat PolarDB for PostgreSQL.
Doris	Apache Doris adalah database analitik real-time berkinerja tinggi yang sangat cocok untuk analisis laporan, kueri ad hoc, dan akselerasi kueri terfederasi data lake. Untuk informasi selengkapnya, lihat Pengenalan Doris.
MariaDB	MariaDB adalah RDBMS open-source yang sangat kompatibel dengan MySQL. MariaDB dapat menggantikan MySQL secara mulus. Setelah Anda meng-uninstall MySQL, Anda dapat menginstal MariaDB di tempatnya tanpa mengubah kode aplikasi Anda. Untuk informasi selengkapnya, lihat MariaDB.
SelectDB	SelectDB adalah gudang data real-time multi-cloud native generasi berikutnya yang dibangun di atas Apache Doris. SelectDB berfokus pada pemenuhan kebutuhan analitik big data real-time tingkat perusahaan dan menyediakan layanan analitik data yang hemat biaya serta mudah digunakan. Untuk informasi selengkapnya, lihat SelectDB.
Redshift	Amazon Redshift adalah layanan gudang data cloud berskala petabyte yang sepenuhnya dikelola. Anda dapat mengakses dan menganalisis data melalui Amazon Redshift Serverless tanpa perlu mengonfigurasi gudang data yang disediakan. Untuk informasi selengkapnya, lihat Amazon Redshift.
SAP HANA	SAP HANA adalah platform database dan aplikasi dalam memori berkinerja tinggi yang menggabungkan kemampuan database, pemrosesan data, dan platform aplikasi untuk menghadirkan komputasi dalam memori tingkat perusahaan. Untuk informasi selengkapnya, lihat SAP HANA.
Vertica	Vertica adalah sistem manajemen database (DBMS) penyimpanan kolom berkinerja tinggi yang mampu memproses dan mengkueri dataset berskala besar dengan kecepatan tinggi. Vertica terutama digunakan untuk analitik big data dan kueri real-time. Untuk informasi selengkapnya, lihat Vertica.
DM	DM (Dameng) adalah database OLTP yang terintegrasi ke dalam sistem bisnis. DM menggabungkan keunggulan komputasi terdistribusi, komputasi elastis, dan komputasi awan, serta menawarkan fleksibilitas, kemudahan penggunaan, keandalan, dan keamanan tinggi. Untuk informasi selengkapnya, lihat DM.
KingbaseES	KingbaseES adalah RDBMS skala besar yang mendukung standar SQL. KingbaseES cocok untuk aplikasi tingkat perusahaan yang memerlukan pemrosesan data dalam volume besar dengan konkurensi tinggi dan ketersediaan tinggi. Untuk informasi selengkapnya, lihat KingbaseES.
OceanBase	OceanBase adalah database relasional terdistribusi yang dikembangkan secara independen oleh Ant Group dan Alibaba. OceanBase menawarkan konsistensi data yang kuat, ketersediaan tinggi, kinerja tinggi, skalabilitas online, kompatibilitas tinggi dengan standar SQL dan database relasional utama, serta biaya rendah. Untuk informasi selengkapnya, lihat OceanBase.
DB2	DB2 adalah RDBMS yang digunakan untuk menyimpan, mengambil, dan mengelola data. DB2 cocok untuk menangani dataset berskala besar dengan throughput tinggi serta kueri kompleks dan pemrosesan transaksi di gudang data. Untuk informasi selengkapnya, lihat DB2.
GBase 8a	GBase 8a adalah RDBMS yang mendukung penyimpanan data volume besar dan operasi baca/tulis konkurensi tinggi. GBase 8a umumnya digunakan di sektor pemerintahan, keuangan, telekomunikasi, dan energi. GBase 8a mendukung standar SQL dan menyediakan berbagai fitur tingkat perusahaan seperti partisi data, load balancing, dan disaster recovery. Untuk informasi selengkapnya, lihat GBase 8a.