Sumber data terhubung ke berbagai database dan layanan penyimpanan, seperti MaxCompute, MySQL, dan OSS. Sumber data ini merupakan prasyarat untuk tugas sinkronisasi Data Integration karena menentukan database yang dibaca (sumber) dan ditulis (tujuan) oleh suatu tugas.
Peran sumber data
Dalam tugas Data Integration, sumber data berperan sebagai titik akhir di kedua ujung alur data:
Sumber (Reader): Tugas membaca data dari sumber data yang dikonfigurasi sebagai sumber.
Tujuan (Writer): Tugas menulis data yang telah diproses ke sumber data yang dikonfigurasi sebagai tujuan.
Anda harus mengonfigurasi sumber data sumber dan tujuan sebelum dapat melakukan sinkronisasi satu tabel atau seluruh database, baik dalam mode batch maupun real-time. Sumber data yang dikonfigurasi dengan benar dan memiliki konektivitas jaringan yang sesuai diperlukan agar tugas dapat berjalan dengan sukses.
Jenis sumber data yang didukung
Untuk daftar sumber data yang didukung oleh Data Integration DataWorks, lihat Sumber data yang didukung dan solusi sinkronisasi. Proses konfigurasi mungkin sedikit berbeda tergantung pada jenis sumber datanya. Rujuk antarmuka pengguna untuk detail spesifik.
Buat sumber data
DataWorks merekomendasikan agar Anda membuat dan mengelola semua sumber data secara terpusat di Management Center. Sumber data yang dibuat di sini dapat digunakan kembali, dikelola dengan mudah, dan mendukung fitur seperti isolasi lingkungan. Pendekatan ini merupakan praktik terbaik untuk pengembangan data tingkat perusahaan dan beban kerja produksi.
Konfigurasi: Lihat Manajemen sumber data.
Anda dapat membuat sumber data di Management Center atau Data Integration. Tabel berikut membandingkan kedua metode tersebut.
Kemampuan | Management Center (direkomendasikan) | Data Integration |
Lokasi manajemen | . | . |
Mendukung konfigurasi terpisah untuk lingkungan pengembangan dan produksi guna melindungi data produksi. | Tidak didukung. Hanya tersedia lingkungan produksi. | |
Reusabilitas multi-modul | Dapat digunakan di semua modul, termasuk Data Integration, DataStudio, dan Data Analysis. | Memiliki fungsionalitas terbatas saat digunakan di modul lain. |
Kontrol izin | Mendukung otorisasi lintas ruang kerja. | Tidak mendukung otorisasi. |
Mode yang berlaku | Direkomendasikan untuk ruang kerja dalam mode standar. Sesuai dengan standar perusahaan. | Cocok untuk mode dasar atau skenario mode standar yang tidak memerlukan isolasi. |
Kemampuan kloning | Mendukung kloning untuk membuat sumber data baru secara cepat. | Tidak didukung. |
Kedua metode mendukung otentikasi pihak ketiga dan mengonfigurasi sumber data menggunakan Peran RAM.
Prosedur pembuatan sumber data sama di kedua lokasi.
Saat Anda membuat sumber data di Management Center, sumber data dengan nama yang sama secara otomatis dibuat di Data Integration. Keduanya berbagi konfigurasi lingkungan produksi yang sama.
Saat Anda membuat sumber data di Data Integration, sumber data dengan nama yang sama juga secara otomatis dibuat di Management Center. Namun, sumber data ini hanya berisi informasi lingkungan produksi. Anda harus mengonfigurasi secara manual lingkungan pengembangan, yang ditandai sebagai belum lengkap.
Parameter konfigurasi bervariasi tergantung jenis sumber datanya. Untuk detail lebih lanjut, lihat Daftar sumber data.
Menggunakan sumber data
Mode dasar:
Di ruang kerja dalam mode dasar, hanya ada satu lingkungan. Sumber data yang dibuat di Management Center dan Data Integration identik.
Mode standar:
Ruang kerja dalam mode standar mendukung isolasi lingkungan untuk sumber data. Satu nama sumber data dapat memiliki dua konfigurasi terpisah: satu untuk lingkungan pengembangan dan satu untuk lingkungan produksi. Anda dapat mengaturnya ke database atau instans yang berbeda untuk mengisolasi data pengujian dari data produksi. Isolasi ini melindungi data produksi Anda.
Di Data Integration, hanya tugas untuk sinkronisasi batch satu tabel yang mendukung isolasi lingkungan sumber data. Semua jenis tugas sinkronisasi lainnya menggunakan sumber data lingkungan produksi.
Sumber data yang dibuat di Data Integration hanya berisi konfigurasi lingkungan produksi. Karena informasi lingkungan pengembangannya tidak tersedia, sumber data ini tidak dapat langsung digunakan dalam tugas pengembangan data. Anda harus melengkapi konfigurasi lingkungan pengembangan di Management Center sebelum menggunakannya di DataStudio atau untuk sinkronisasi batch satu tabel.
Langkah berikutnya
Setelah Anda mengonfigurasi sumber data dan lulus uji konektivitas, Anda dapat mengonfigurasi tugas sinkronisasi di Data Integration:
Sinkronisasi batch untuk satu tabel: Konfigurasi menggunakan Antarmuka tanpa kode atau Konfigurasi menggunakan editor kode.
Sinkronisasi real-time untuk satu tabel: Konfigurasi tugas sinkronisasi real-time satu tabel.
Sinkronisasi batch untuk seluruh database: Konfigurasi tugas sinkronisasi batch untuk seluruh database.
Sinkronisasi real-time untuk seluruh database: Konfigurasi tugas sinkronisasi real-time untuk seluruh database.
Sinkronisasi penuh dan inkremental untuk seluruh database: Konfigurasi tugas sinkronisasi penuh dan inkremental untuk seluruh database
FAQ
Mengapa konektivitas sumber data kadang berhasil dan kadang gagal?
Uji konektivitas gagal saat saya mengakses database di VPC. Bagaimana cara memperbaikinya?
Untuk pertanyaan umum lainnya tentang penggunaan sumber data, lihat FAQ Data Integration.