All Products
Search

This Product

    Data Transmission Service:Konfigurasikan ETL

    Document Center

    Data Transmission Service:Konfigurasikan ETL

    Last Updated:Jun 03, 2026

    Konfigurasikan tugas ETL dalam mode DAG untuk membersihkan dan mentransformasi data streaming melalui antarmuka visual seret-dan-lepas.

    Informasi latar belakang

    Catatan

    Fitur ini sedang dihentikan dan hanya tersedia secara gratis bagi pengguna yang sebelumnya pernah menggunakannya. Pengguna baru tidak dapat lagi mengakses fitur ini. Kami menyarankan Anda mengonfigurasi tugas ETL dalam instans sinkronisasi data atau migrasi data. Untuk informasi selengkapnya, lihat Konfigurasikan tugas ETL dalam tugas migrasi atau sinkronisasi data DTS.

    • Sebelum mengonfigurasi tugas ETL:

      • Input/Dimension Table mengacu pada database sumber dari tugas ETL.

      • Output mengacu pada database tujuan yang menerima data hasil pemrosesan dari tugas ETL.

    • DTS mendukung ETL streaming untuk sinkronisasi data. Tambahkan komponen transformasi di antara database sumber dan tujuan untuk memproses data secara real time. Misalnya, gabungkan dua tabel aliran menjadi satu tabel yang lebih besar, atau tambahkan bidang dan isi nilainya menggunakan fungsi.

    Prasyarat

    • Tugas ETL hanya tersedia di wilayah berikut: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Qingdao), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Shenzhen), Tiongkok (Guangzhou), dan Tiongkok (Hong Kong).

    • Database sumber harus salah satu dari jenis berikut: MySQL, PolarDB for MySQL, Oracle, PostgreSQL, DB2 for iSeries (AS/400), DB2 for LUW, PolarDB-X (Formerly DRDS), PolarDB for PostgreSQL, MariaDB, PolarDB for Oracle, SQL Server, atau PolarDB-X 2.0.

    • Database tujuan harus salah satu dari jenis berikut: MySQL, PolarDB for MySQL, Oracle, AnalyticDB for MySQL V3.0, PolarDB for PostgreSQL, PostgreSQL, DB2 for LUW, DB2 for iSeries (AS/400), AnalyticDB for PostgreSQL, SQL Server, MariaDB, PolarDB-X (Formerly DRDS), PolarDB for Oracle, atau Tablestore.

    • ETL tidak mendukung migrasi skema. Buat skema tabel yang diperlukan di database tujuan sesuai dengan logika transformasi Anda. Misalnya, jika Anda menggabungkan Tabel A (Kolom 1, 2, 3) dan Tabel B (Kolom 2, 3, 4) untuk menghasilkan Kolom 2 dan 3, buat terlebih dahulu tabel tujuan (Tabel C) dengan Kolom 2 dan 3.

    • ETL tidak mendukung sinkronisasi data penuh. Hanya data inkremental yang dapat ditransformasi secara real time.

    Catatan penggunaan

    • Database sumber dan tujuan harus berada di wilayah yang sama.

    • Semua Stream Table harus berasal dari instans yang sama.

    • Nama database dan tabel harus unik.

    • Komponen transformasi memiliki batasan berikut:

      • Table Join: Anda hanya dapat menggabungkan dua tabel sekaligus.

      • Field Calculator dan Table Record Filter: Komponen ini hanya mendukung struktur tabel tunggal.

    Alur kerja

    ETL task workflow

    Untuk membuat tugas ETL, pilih database sumber, komponen transformasi, dan database tujuan. Tabel berikut menjelaskan setiap langkah.

    Langkah

    Deskripsi

    Referensi

    Konfigurasikan database sumber

    Pilih satu atau beberapa jenis sumber data untuk node Input/Dimension Table dan konfigurasikan informasi berikut untuk setiap sumber:

    Catatan

    Anda dapat memilih jenis sumber data yang sama beberapa kali.

    1. Konfigurasikan informasi node.

    2. Konfigurasikan informasi bidang.

    3. Opsi: Jika Anda memilih tipe Stream Table, Anda juga harus mengonfigurasi atribut waktu.

    Konfigurasikan database sumber

    Konfigurasikan komponen transformasi

    Pilih satu atau beberapa komponen dari node Transform dan konfigurasikan pengaturan untuk setiap komponen:

    Catatan

    Anda dapat menggunakan komponen transformasi yang sama beberapa kali.

    • Table Join

      1. Konfigurasikan informasi node.

      2. Konfigurasikan informasi bidang.

    • Field Calculator

      1. Konfigurasikan nama transformasi.

      2. Konfigurasikan kalkulator.

    • Table Record Filter

      1. Konfigurasikan nama transformasi.

      2. Konfigurasikan kondisi WHERE.

    Konfigurasikan komponen transformasi

    Konfigurasikan database tujuan

    Pilih jenis database tujuan untuk node Output dan konfigurasikan pengaturan berikut:

    1. Konfigurasikan informasi node.

    2. Konfigurasikan informasi pemetaan bidang.

    Konfigurasikan database tujuan

    Prosedur

    1. Buka halaman Streaming ETL.

      1. Masuk ke Konsol DTS.

      2. Di panel navigasi kiri, klik ETL.

    2. Di pojok kiri atas, klik ikon Add data flow. Pada kotak dialog Create Data Flow, masukkan nama di bidang Data Flow Name, dan atur Development Method menjadi DAG.

    3. Klik Confirm.

    4. Konfigurasikan tugas ETL pada kanvas.

      1. Bangun alur kerja ETL.

        Catatan

        • Contoh ini menggunakan node Input/Dimension Table (MySQL), node Field Calculator, dan node Output (MySQL).

        • Anda dapat memilih satu atau beberapa database sumber, termasuk jenis yang sama beberapa kali.

        • Anda dapat menggunakan satu atau beberapa komponen transformasi, termasuk komponen yang sama beberapa kali.

        • Anda hanya dapat memilih satu database tujuan.

        1. Dari daftar komponen, seret node Input/Dimension Table (MySQL) ke kanvas.

        2. Klik node Input/Dimension Table MySQL-1 pada kanvas. Konfigurasikan informasi node, informasi bidang, dan atribut waktu. Konfigurasikan database sumber.

        3. Dari daftar komponen, seret node Field Calculator ke kanvas.

        4. Arahkan kursor ke node sumber Input/Dimension Table MySQL-1, lalu klik titik tersebut dan seret garis untuk menghubungkan node Input/Dimension Table MySQL-1 ke node Field Calculator-1.Field calculator

        5. Klik node Field Calculator-1 pada kanvas dan konfigurasikan pengaturannya. Konfigurasikan komponen transformasi.

        6. Dari daftar komponen, seret node Output MySQL ke kanvas.

        7. Arahkan kursor ke Field Transformer-1, klik titik tersebut, lalu seret garis koneksi untuk menghubungkan Field Transformer-1 ke database tujuan Output MySQL-1.Connect to destination database

        8. Klik node Output MySQL-1 dan konfigurasikan informasi node serta pemetaan bidang. Konfigurasikan database tujuan.

        9. Setelah mengonfigurasi node, klik Generate Flink SQL Validation atau Publish.

          • Generate Flink SQL Validation: Jika berhasil, muncul pesan Flink SQL validation succeeds.. Jika gagal, klik View ETL Validation Details di samping Generate Flink SQL Validation, perbaiki masalahnya, lalu jalankan ulang validasi.

          • Publish: Sistem terlebih dahulu menjalankan validasi Flink SQL. Pemeriksaan Awal hanya dimulai setelah validasi berhasil. Klik View ETL Validation Details untuk melihat detailnya.

      2. Setelah validasi Flink SQL, jalankan Precheck. Tugas ETL hanya akan dimulai setelah lulus Pemeriksaan Awal. Jika Pemeriksaan Awal gagal, klik View Details di samping item yang gagal, perbaiki masalahnya, lalu jalankan ulang Pemeriksaan Awal.

      3. Setelah Pemeriksaan Awal berhasil, klik Next: Purchase Instance di bagian bawah halaman.

      4. Pada halaman Purchase, pilih Instance Class dan Compute Units (CUs). Baca dan terima Data Transmission Service (Pay-As-You-Go) Service Terms dan Public Preview Service Terms.

      5. Klik Buy and Start untuk memulai tugas ETL.

        Kembali ke halaman Streaming ETL atau halaman untuk melihat Task Status.