DataWorks:Data Integration DI Agent

Ikhtisar kemampuan

DI Agent mendukung pembuatan dan pengelolaan keempat jenis tugas sinkronisasi melalui bahasa alami: batch single-table, real-time single-table, batch full-database, dan real-time full-database. Alih-alih mengisi formulir konfigurasi untuk sumber data, pemetaan bidang, dan strategi penjadwalan satu per satu, Anda cukup menjelaskan kebutuhan sinkronisasi Anda, dan Agent menyelesaikan seluruh proses mulai dari pemahaman maksud hingga penerapan. Kemampuan utama meliputi:

• Natural language task creation: Jelaskan kebutuhan sinkronisasi Anda dalam satu kalimat. Misalnya, "Sinkronkan database orders RDS ke Hologres secara real time, dipartisi per hari." Agent secara otomatis menyelesaikan identifikasi sumber data, deteksi skema, pemetaan bidang, penugasan kelompok sumber daya, dan konfigurasi penjadwalan.

• Intent understanding and multi-turn dialog: Agent memahami deskripsi yang samar atau tidak lengkap dan mengajukan pertanyaan lanjutan untuk melengkapi parameter penting seperti strategi partisi dan kondisi inkremental, memastikan konfigurasi tugas yang dihasilkan akurat dan dapat digunakan.

• Full lifecycle management: Anda dapat mengelola tugas melalui percakapan dengan mengedit, menjeda, melanjutkan, menghapus, atau menjalankan ulang tugas tersebut. Antarmuka percakapan mencakup seluruh siklus hidup tugas mulai dari pembuatan hingga dekomisioning.

• Batch operations: Buat atau modifikasi beberapa tugas sinkronisasi dalam satu percakapan. Ini berguna untuk migrasi database penuh dan penyesuaian penjadwalan massal.

Contoh penggunaan

Contoh berikut menunjukkan cara membuat tugas sinkronisasi melalui percakapan:

1. Buka antarmuka percakapan DI Agent.

2. Masukkan kebutuhan sinkronisasi Anda. Misalnya, "Sinkronkan database orders RDS ke Hologres secara real time, dipartisi per hari."

3. Agent secara otomatis mendeteksi skema sumber, menampilkan daftar tabel yang akan disinkronkan, dan melanjutkan setelah Anda mengonfirmasi.

4. Agent secara otomatis menyelesaikan pemetaan bidang, penugasan kelompok sumber daya, dan konfigurasi penjadwalan.

5. Pratinjau ringkasan konfigurasi tugas dan terapkan tugas setelah memastikan konfigurasi sudah benar.

6. Periksa status tugas yang sedang berjalan dan verifikasi bahwa data telah disinkronkan sesuai harapan.

Ikhtisar kemampuan

DI Agent mendukung penyematan inferensi model bahasa besar sebagai operator ETL dalam pipa data untuk melakukan pemrosesan AI batch pada data tidak terstruktur di OSS, seperti gambar, video, file audio, dan dokumen. Kemampuan pemrosesan mencakup pengenalan, klasifikasi dan penandaan, transkripsi, terjemahan, ringkasan, dan vektorisasi. Hasil pemrosesan ditulis langsung ke MaxCompute, Hologres, atau Data Lake Formation (DLF), sehingga data tidak terstruktur masuk ke dalam sistem aset data perusahaan. Kemampuan utama meliputi:

• Natural language processing logic: Jelaskan maksud pemrosesan Anda dalam bahasa alami, seperti "Identifikasi kategori produk dalam gambar dan keluarkan tag." Agent secara otomatis menghasilkan konfigurasi pipa pemrosesan yang sesuai.

• Three-stage pipeline orchestration: Agent secara otomatis mengatur orkestrasi pipa Source → Transform (inferensi model besar) → Sink tanpa memerlukan Anda menulis skrip atau menyiapkan layanan inferensi.

• Direct data warehouse output: Hasil pemrosesan ditulis langsung ke MaxCompute, Hologres, atau DLF tanpa langkah transfer data tambahan.

• Data embedding: Vektorisasi data yang telah diproses dan tulis hasilnya ke Hologres untuk kasus penggunaan RAG downstream.

• Batch and scheduled execution: Proses jutaan file dalam mode batch dan konfigurasikan eksekusi berkala terjadwal untuk pemrosesan inkremental berkelanjutan terhadap data baru.

Contoh penggunaan

Contoh berikut menunjukkan cara memproses gambar produk di OSS dan menulis hasilnya ke MaxCompute:

1. Buka titik masuk pemrosesan data AI.

2. Masukkan kebutuhan pemrosesan Anda. Misalnya, "Baca gambar produk dari bucket AWS S3 → panggil model besar untuk mengidentifikasi tag kategori → tulis hasilnya ke tabel MySQL."

3. Agent secara otomatis mengatur orkestrasi pipa tiga tahap: Source (S3) → Transform (inferensi model besar) → Sink (MySQL).

4. ChatDB secara otomatis mengidentifikasi tabel target dan menghasilkan pernyataan SQL yang sesuai.

5. Lihat hasil grafik yang dikembalikan. Jenis visualisasi (grafik garis, grafik batang, dll.) dipilih secara otomatis.

6. Untuk melakukan vektorisasi data dari database rekayasa fitur ke Hologres untuk penggunaan RAG, Anda dapat mendefinisikan tugas penyematan dalam bahasa alami: "Lanjutkan dengan penyematan → panggil model besar untuk vektorisasi → tulis hasilnya ke tabel Hologres."

7. Agent secara otomatis mengatur orkestrasi pipa tiga tahap: Source (MySQL) → Transform (vektorisasi model besar) → Sink (Hologres).

8. ChatDB secara otomatis mengidentifikasi tabel target dan menghasilkan pernyataan SQL yang sesuai.

9. Lihat hasil yang dikembalikan.

Ikhtisar kemampuan

Saat Anda menerima alert tugas sinkronisasi, Anda dapat menjelaskan masalah tersebut atau menempelkan informasi alert di antarmuka percakapan Agent. Agent secara otomatis mengagregasi informasi multidimensi, termasuk log tugas, metrik pemantauan sumber daya, dan status database sumber, untuk mengidentifikasi akar penyebab dan memberikan rencana pemulihan. Hal ini mengurangi waktu troubleshooting dari hitungan jam menjadi menit. Setiap hasil diagnosis secara otomatis diarsipkan sebagai entri basis pengetahuan, sehingga saat masalah serupa terjadi lagi, solusi yang ada langsung dicocokkan, menghilangkan kebutuhan untuk memulai dari awal ketika anggota tim berubah. Kemampuan utama meliputi:

• Multi-dimensional information aggregation: Secara otomatis mengumpulkan dan mengorelasikan log tugas, metrik pemantauan sumber daya, status database sumber, lebar pita jaringan, dan informasi multidimensi lainnya, serta menyajikan konteks lengkap dalam satu tampilan.

• Root cause identification: Secara otomatis menganalisis akar penyebab gangguan berdasarkan informasi yang teragregasi, seperti CU tidak mencukupi, kunci tabel sumber, bottleneck lebar pita jaringan, atau kesalahan konfigurasi, serta memberikan kesimpulan yang jelas.

• Remediation recommendations with one-click execution: Setelah akar penyebab diidentifikasi, Agent memberikan saran pemulihan yang dapat ditindaklanjuti, seperti scaling out kelompok sumber daya, me-restart instans, atau menyesuaikan konkurensi. Eksekusi satu klik didukung setelah Anda mengonfirmasi.

• Automatic knowledge accumulation: Setiap hasil diagnosis secara otomatis diarsipkan sebagai entri basis pengetahuan. Saat masalah serupa terjadi lagi, solusi yang ada langsung dicocokkan.

Contoh penggunaan

1. Setelah alert dipicu, buka antarmuka percakapan Agent dan jelaskan masalah tersebut atau tempel pesan alert.

2. Agent secara otomatis mengagregasi informasi multidimensi termasuk log tugas, metrik pemantauan sumber daya, dan status sisi sumber.

3. Agent menghasilkan laporan analisis akar penyebab (misalnya, CU tidak mencukupi menyebabkan laju konsumsi turun di bawah laju produksi).

4. Agent memberikan rekomendasi perbaikan (misalnya, menaikkan kuota CU kelompok sumber daya atau me-restart instans yang gagal). Setelah Anda mengonfirmasi, perbaikan tersebut dieksekusi.

Ikhtisar kemampuan

DI Agent mendukung pemindaian proaktif terhadap semua pipa sinkronisasi pada interval yang dapat dikonfigurasi, mengubah model O&M dari respons reaktif menjadi tata kelola proaktif. Hasil inspeksi disajikan sebagai laporan terstruktur dengan tugas berisiko tinggi diprioritaskan berdasarkan cakupan dampak dan urgensi, masing-masing disertai rekomendasi pemulihan spesifik dan penilaian manfaat yang diharapkan. Kemampuan utama meliputi:

• Configurable inspection intervals: Mendukung empat frekuensi — per jam, harian, mingguan, dan manual saja — untuk mengakomodasi kebutuhan bisnis berbeda terkait ketepatan waktu pemeriksaan kesehatan.

• Full-pipeline proactive scanning: Agent secara otomatis memindai semua pipa sinkronisasi pada setiap interval yang dikonfigurasi untuk mengidentifikasi potensi risiko secara proaktif tanpa pemeriksaan manual item per item.

• Structured daily health report: Hasil inspeksi mencakup ikhtisar metrik utama, daftar tugas anomali, dan penilaian tingkat risiko, memungkinkan tim O&M memahami status kesehatan keseluruhan dalam waktu 3 menit.

• Prioritization and remediation recommendations: Tugas berisiko tinggi diprioritaskan berdasarkan cakupan dampak dan urgensi, dengan setiap item disertai rekomendasi pemulihan spesifik dan penilaian manfaat yang diharapkan.

Contoh penggunaan

1. Buka halaman konfigurasi inspeksi cerdas dan pilih interval inspeksi (per jam, harian, atau mingguan).

2. Konfigurasikan cakupan inspeksi (semua pipa, atau ruang kerja/kelompok sumber daya tertentu).

3. Agent secara otomatis menjalankan inspeksi pada interval yang dikonfigurasi dan menghasilkan laporan terstruktur.

4. Tinjau ikhtisar metrik utama dan daftar tugas berisiko tinggi dalam laporan, lalu atasi item risiko berdasarkan prioritas.