Sumber data terhubung ke berbagai database dan layanan penyimpanan, seperti MaxCompute, MySQL, dan OSS. Sumber data merupakan prasyarat untuk task sinkronisasi di Data Integration, karena menentukan database tempat task membaca data (sumber) dan database tempat task menulis data (tujuan).
Peran sumber data
Dalam task Data Integration, sumber data berperan sebagai endpoint di kedua ujung alur data:
Sumber (Reader): Task membaca data dari sumber data yang dikonfigurasi sebagai sumber.
Tujuan (Writer): Task menulis data yang telah diproses ke sumber data yang dikonfigurasi sebagai tujuan.
Anda harus mengonfigurasi sumber data sumber dan tujuan sebelum melakukan sinkronisasi satu tabel atau seluruh database, baik dalam mode batch maupun real-time. Konfigurasi sumber data yang benar serta konektivitas jaringan yang sesuai diperlukan agar task dapat berjalan dengan sukses.
Jenis sumber data yang didukung
Untuk daftar sumber data yang didukung oleh Data Integration DataWorks, lihat Sumber data yang didukung dan solusi sinkronisasi. Proses konfigurasi mungkin sedikit berbeda tergantung pada jenis sumber data; lihat antarmuka pengguna untuk detail spesifik.
Buat sumber data
DataWorks merekomendasikan pembuatan dan pengelolaan semua sumber data secara terpusat di Management Center. Sumber data yang dibuat di sini dapat digunakan kembali, dikelola dengan mudah, serta mendukung fitur seperti isolasi lingkungan. Pendekatan ini merupakan praktik terbaik untuk pengembangan data tingkat enterprise dan beban kerja produksi.
Untuk petunjuk konfigurasi, lihat: Manajemen sumber data.
Anda dapat membuat sumber data di Management Center atau Data Integration. Tabel berikut membandingkan kedua metode tersebut.
Kemampuan | Management Center (direkomendasikan) | Data Integration |
Lokasi manajemen | . | . |
Mendukung konfigurasi terpisah untuk lingkungan pengembangan dan lingkungan produksi guna melindungi beban kerja produksi. | Tidak didukung. Hanya tersedia lingkungan produksi. | |
Penggunaan ulang multi-modul | Dapat digunakan di semua modul, termasuk Data Integration, Data Studio, dan Data Analysis. | Memiliki fungsi terbatas saat digunakan di modul lain. |
Kontrol izin | Mendukung otorisasi lintas ruang kerja. | Tidak mendukung otorisasi. |
Mode penerapan | Direkomendasikan untuk ruang kerja dalam mode standar. Sesuai dengan standar enterprise. | Cocok untuk mode dasar, atau skenario mode standar yang tidak memerlukan isolasi. |
Kloning | Mendukung kloning untuk membuat sumber data baru secara cepat. | Tidak didukung. |
Kedua metode mendukung otentikasi pihak ketiga dan Gunakan mode otorisasi berbasis peran RAM untuk menambahkan sumber data.
Proses pembuatan sama di kedua lokasi.
Saat Anda membuat sumber data di Management Center, sumber data dengan nama yang sama akan dibuat secara otomatis di Data Integration. Keduanya menggunakan konfigurasi lingkungan produksi yang sama.
Saat Anda membuat sumber data di Data Integration, sumber data dengan nama yang sama juga akan dibuat secara otomatis di Management Center. Namun, sumber data ini hanya berisi informasi lingkungan produksi. Lingkungan pengembangan akan ditandai sebagai belum lengkap dan harus dikonfigurasi secara manual.
Parameter konfigurasi bervariasi tergantung pada jenis sumber data. Untuk informasi lebih lanjut, lihat: Daftar sumber data.
Gunakan sumber data
Mode dasar:
Di ruang kerja yang menggunakan mode dasar, hanya tersedia satu lingkungan. Sumber data yang dibuat di Management Center dan Data Integration identik.
Mode standar:
Ruang kerja dalam mode standar mendukung isolasi lingkungan untuk sumber data. Satu nama sumber data dapat memiliki dua konfigurasi terpisah: satu untuk lingkungan pengembangan dan satu untuk lingkungan produksi. Anda dapat mengatur keduanya ke database atau instans yang berbeda untuk mengisolasi data pengujian dari data produksi, sehingga membantu melindungi data produksi Anda.
Di Data Integration, hanya tipe task batch synchronization for a single table yang mendukung isolasi lingkungan. Semua tipe synchronization tasks lainnya menggunakan sumber data lingkungan produksi.
Sumber data yang dibuat di Data Integration hanya berisi konfigurasi lingkungan produksi. Karena informasi lingkungan pengembangannya tidak tersedia, sumber data tersebut tidak dapat langsung digunakan dalam task pengembangan data. Anda harus membuka Management Center untuk melengkapi konfigurasi lingkungan pengembangan sebelum dapat menggunakannya di Data Studio dan untuk batch synchronization of a single table.
Langkah selanjutnya
Setelah Anda mengonfigurasi sumber data dan lulus pengujian konektivitas, Anda dapat mengonfigurasi task sinkronisasi di Data Integration:
Sinkronisasi batch untuk satu tabel: Konfigurasikan task di Antarmuka tanpa kode, Konfigurasikan task di editor kode.
Sinkronisasi real-time untuk satu tabel: Konfigurasikan task sinkronisasi real-time di Data Integration.
Sinkronisasi batch untuk seluruh database: Konfigurasikan task sinkronisasi batch untuk seluruh database.
Sinkronisasi real-time untuk seluruh database: Konfigurasikan task sinkronisasi real-time untuk seluruh database.
Sinkronisasi penuh dan inkremental untuk seluruh database: Konfigurasikan task sinkronisasi penuh dan inkremental untuk seluruh database.
FAQ
Mengapa konektivitas sumber data kadang berhasil dan kadang gagal?
Pengujian konektivitas gagal saat saya mengakses database di VPC. Bagaimana cara memperbaikinya?
Bagaimana cara mengonfigurasi daftar izin (allowlist) untuk database?
Untuk pertanyaan umum lainnya tentang sumber data, lihat: FAQ.