Data Transmission Service：Apa itu ETL?

Manfaat

• Anda dapat mengonfigurasi tugas ETL dalam mode grafik asiklik terarah (DAG) atau mode Flink SQL.

  • Mode DAG:

    • Operasi visual: Fitur ETL menyediakan tiga komponen utama—Input/Tabel Dimensi, Transform, dan Output—yang dapat disusun menggunakan operasi drag-and-drop untuk membangun tugas pemrosesan aliran.

    • Komponen pengembangan yang beragam:

      • Pada komponen Input/Tabel Dimensi, Anda dapat menentukan jenis-jenis database sumber berikut: database MySQL yang dikelola sendiri, ApsaraDB RDS for MySQL, PolarDB for MySQL, PolarDB-X 1.0 (sebelumnya DRDS), database Oracle yang dikelola sendiri, database PostgreSQL yang dikelola sendiri, ApsaraDB RDS for PostgreSQL, Db2 for LUW, Db2 for i, dan PolarDB for PostgreSQL.

      • Pada komponen Transform, Anda dapat menggabungkan tabel, menghitung fungsi, dan memfilter bidang. Lebih dari 90 skenario komputasi fungsi didukung.

      • Pada komponen Output, Anda dapat menentukan jenis-jenis database tujuan berikut: database MySQL yang dikelola sendiri, ApsaraDB RDS for MySQL, PolarDB for MySQL, AnalyticDB for MySQL V3.0, database Oracle yang dikelola sendiri, database PostgreSQL yang dikelola sendiri, ApsaraDB RDS for PostgreSQL, Db2 for LUW, Db2 for i, dan PolarDB for PostgreSQL.

  • Mode Flink SQL: Anda dapat mengeksekusi pernyataan SQL Flink untuk mengonfigurasi tugas ETL. Flink SQL kompatibel dengan sintaks SQL standar.

• Efektivitas komputasi terdepan di industri: Fitur ETL terintegrasi dengan kemampuan pengumpulan data DTS, memastikan akurasi data dan memberikan efektivitas komputasi tinggi.

• Pemantauan dan manajemen tugas yang fleksibel: Anda dapat memantau dan mengelola tugas ETL melalui konsol DTS, seperti memulai, menghentikan, dan melihat detail tugas.

Skema

• Manajemen terpusat data lintas wilayah atau heterogen secara real-time: Untuk memfasilitasi manajemen terpusat dan pengambilan keputusan yang efisien, Anda dapat menyimpan data heterogen atau data dari wilayah berbeda ke database yang sama secara real-time.

• Integrasi data real-time: Kemampuan pemrosesan data ETL meningkatkan efisiensi integrasi data. Mode pengembangan low-code mengurangi kesulitan dan biaya integrasi data.

• Gudang data real-time: Fitur ETL menyediakan kemampuan pemrosesan data streaming terdepan di industri untuk membantu Anda membangun gudang data real-time dengan cepat.

• Percepatan gudang data offline: Data yang telah diproses dalam pemrosesan data streaming dikirim ke gudang data untuk penambangan mendalam tanpa memengaruhi sistem bisnis Anda.

• Pelaporan real-time: Untuk meningkatkan efisiensi pelaporan dan mendukung transformasi digital, Anda dapat membangun sistem pelaporan real-time yang cocok untuk berbagai skenario analisis real-time.

• Komputasi real-time: Anda dapat membersihkan data streaming yang dihasilkan di sisi bisnis secara real-time untuk mengekstrak nilai fitur dan tag. Skenario tipikal mencakup model komputasi bisnis online seperti profil, kontrol risiko, rekomendasi, dan layar besar real-time.

Promosi

Referensi

• Konfigurasi ETL

  • Konfigurasikan tugas ETL dalam mode DAG

    • Konfigurasikan tugas ETL dalam mode DAG

    • Konfigurasikan database sumber

    • Konfigurasikan komponen transformasi

    • Konfigurasikan database tujuan

    • Buat template koneksi

  • Konfigurasikan tugas ETL dalam mode Flink SQL

  • Konfigurasikan ETL dalam tugas migrasi atau sinkronisasi data

• Praktik terbaik

  • Gunakan fitur ETL untuk menganalisis pesanan real-time