DataWorks:Data Integration Agent

Deskripsi

DI Agent memungkinkan Anda membuat dan mengelola empat jenis tugas sinkronisasi melalui bahasa alami: batch single-table, real-time single-table, batch full-database, dan real-time full-database. Alih-alih mengisi bidang formulir satu per satu untuk sumber data, pemetaan bidang, dan kebijakan penjadwalan, Anda hanya perlu menjelaskan kebutuhan sinkronisasi Anda dan Agent akan menyelesaikan seluruh proses mulai dari pemahaman maksud hingga penerapan. Kemampuan utama meliputi:

• Natural-language task creation: Jelaskan kebutuhan sinkronisasi Anda dalam satu kalimat (misalnya, "Sinkronkan seluruh database order RDS ke Hologres secara real time, dipartisi berdasarkan hari"), dan Agent secara otomatis menyelesaikan identifikasi sumber data, deteksi skema, pemetaan bidang, penugasan kelompok sumber daya, dan konfigurasi kebijakan penjadwalan.

• Intent understanding and multi-turn conversations: Agent dapat memahami deskripsi kebutuhan yang samar atau tidak lengkap dan mengajukan pertanyaan lanjutan untuk melengkapi parameter kunci (seperti strategi partisi dan kondisi inkremental) guna memastikan konfigurasi tugas yang dihasilkan akurat dan dapat digunakan.

• Full task lifecycle management: Anda dapat mengedit, menjeda, melanjutkan, menghapus, dan menjalankan ulang tugas melalui percakapan, mencakup siklus hidup lengkap dari pembuatan hingga penghentian tugas.

• Batch task operations: Anda dapat membuat atau memodifikasi beberapa tugas sinkronisasi dalam satu percakapan, cocok untuk skenario seperti migrasi database penuh dan penyesuaian kebijakan penjadwalan massal.

Contoh

Contoh berikut menunjukkan cara membuat tugas sinkronisasi melalui percakapan:

1. Buka antarmuka percakapan DI Agent.

2. Masukkan kebutuhan sinkronisasi Anda. Misalnya: "Sinkronkan seluruh database order RDS ke Hologres secara real time, dipartisi berdasarkan hari".

3. Agent secara otomatis mendeteksi skema sumber, menampilkan daftar tabel yang akan disinkronkan, dan melanjutkan setelah Anda mengonfirmasi.

4. Agent secara otomatis menyelesaikan pemetaan bidang, penugasan kelompok sumber daya, dan konfigurasi kebijakan penjadwalan.

5. Pratinjau ringkasan konfigurasi tugas dan terapkan tugas setelah memastikan semuanya benar.

6. Periksa status tugas yang sedang berjalan dan verifikasi bahwa data telah disinkronkan dengan benar.

Deskripsi

DI Agent memungkinkan Anda menyisipkan inferensi model bahasa besar sebagai operator ETL dalam pipa data untuk melakukan pemrosesan AI batch pada data terstruktur dan tidak terstruktur (gambar, video, file audio, dokumen, dan lainnya) dari sumber apa pun. Operasi pemrosesan mencakup pengenalan, klasifikasi dan pelabelan, transkripsi, terjemahan, ringkasan, vektorisasi, dan logika pemrosesan kustom. Hasilnya dituliskan langsung ke tujuan apa pun yang didukung oleh integrasi data (seperti MaxCompute, Hologres, atau Data Lake Formation (DLF)), sehingga semua jenis data dapat masuk ke sistem aset data perusahaan dalam format yang sesuai. Kemampuan utama meliputi:

• Natural-language processing logic definition: Jelaskan maksud pemrosesan Anda dalam bahasa alami (misalnya, "Identifikasi kategori produk dalam gambar dan keluarkan label"), dan Agent secara otomatis menghasilkan konfigurasi pipa pemrosesan yang sesuai.

• Three-stage pipeline orchestration: Agent secara otomatis mengatur pipeline Sumber → Transformasi (inferensi model besar) → Tujuan tanpa perlu menulis skrip atau menyiapkan layanan inferensi.

• Direct result writing to various destinations: Misalnya, hasil pemrosesan dituliskan langsung ke MaxCompute, Hologres, atau data lake DLF tanpa transfer data tambahan.

• Data embedding: Vektorisasi data yang telah diproses dan tulis ke destinasi penyimpanan yang ditentukan untuk penggunaan RAG selanjutnya.

• Batch and periodic execution: Mendukung pemrosesan batch jutaan file dan dapat dikonfigurasi untuk eksekusi berkala terjadwal guna terus-menerus memproses data inkremental.

Contoh

Contoh berikut menunjukkan cara memproses gambar produk di OSS dan menuliskan hasilnya ke MaxCompute:

1. Buka titik masuk pemrosesan data AI.

2. Masukkan kebutuhan pemrosesan Anda. Misalnya: "Baca gambar produk dari bucket AWS S3 → Panggil model besar untuk mengidentifikasi label klasifikasi → Tulis hasilnya ke tabel MySQL".

3. Agent secara otomatis mengatur pipeline tiga tahap: Sumber (S3) → Transformasi (inferensi model besar) → Tujuan (MySQL).

4. ChatDB secara otomatis mengidentifikasi tabel target dan menghasilkan pernyataan SQL yang sesuai.

5. Lihat hasil grafik yang dikembalikan (grafik garis, grafik batang, dan jenis grafik lainnya dicocokkan secara otomatis).

6. Jika Anda perlu melakukan vektorisasi data di database rekayasa fitur ke Hologres untuk penggunaan RAG, Anda dapat mendefinisikan penyematan dalam bahasa alami: "Lanjutkan dengan penyematan → Panggil model besar untuk vektorisasi → Tulis hasilnya ke tabel Hologres".

7. Agent secara otomatis mengatur pipeline tiga tahap: Sumber (MySQL) → Transformasi (vektorisasi model besar) → Tujuan (Hologres).

8. ChatDB secara otomatis mengidentifikasi tabel target dan menghasilkan pernyataan SQL yang sesuai.

9. Lihat hasil yang dikembalikan.

Query data source schemas and business semantics

ChatDB memungkinkan Anda menjelajahi metadata database dan menginterpretasikan semantik bisnis menggunakan bahasa alami. Setelah Anda menentukan sumber data target, Agent secara otomatis terhubung dan menelusuri struktur lengkap database, tabel, dan bidang, termasuk nama tabel, tipe bidang, hubungan kunci primer dan kunci asing, kendala indeks, dan detail metadata lainnya. Agent juga menginterpretasikan semantik bisnis database dan tabel berdasarkan nama tabel, konvensi penamaan bidang, dan karakteristik data, membantu Anda memahami dengan cepat tujuan setiap tabel, konsep bisnis yang diwakili oleh bidang, serta hubungan antar tabel.

Kasus penggunaan: Memahami lanskap data secara menyeluruh dengan cepat saat mengambil alih sistem yang tidak familier, dan membantu anggota tim non-teknis memahami struktur data selama kolaborasi lintas tim.

Data source sample data preview

ChatDB memungkinkan Anda melihat data sampel dari tabel mana pun menggunakan bahasa alami. Setelah Anda menentukan tabel target, Agent secara otomatis mengambil sampel data representatif beserta penjelasannya, sehingga Anda dapat memverifikasi secara visual konten dan format data yang disimpan dalam tabel tanpa menulis SQL.

Kasus penggunaan: Memverifikasi isi data dan memahami nilai bidang aktual dengan cepat, dan membantu anggota tim non-teknis memahami semantik data selama kolaborasi lintas tim.

Statistical analysis with chart visualization

ChatDB mendukung analisis data dan visualisasi berbasis bahasa alami. Jelaskan maksud analisis Anda (seperti "tampilkan tren penjualan berdasarkan kategori selama tiga bulan terakhir" atau "bandingkan proporsi pesanan antar wilayah"), dan Agent secara otomatis menemukan sumber data, menghasilkan logika kueri, dan menyajikan hasil analisis sebagai grafik garis, grafik batang, diagram lingkaran, atau jenis grafik lainnya — tanpa perlu SQL atau alat visualisasi khusus.

Kasus penggunaan: Tim bisnis memvalidasi hipotesis operasional dengan cepat, dan tim teknis memperoleh data tren saat itu juga selama pemecahan masalah.

Schema diagnostics and optimization recommendations

ChatDB mendukung diagnostik cerdas skema database dan tabel untuk sumber data tertentu. Agent secara otomatis memindai desain skema tabel database target dan meninjau dari berbagai dimensi, termasuk konvensi penamaan, pemilihan tipe bidang, cakupan indeks, integritas kunci primer dan kunci asing, bidang redundan, dan strategi partisi. Agent mengidentifikasi potensi cacat desain dan memberikan rekomendasi optimasi spesifik serta arahan perbaikan.

Kasus penggunaan: Tinjauan desain untuk database dan tabel yang baru dibuat, penilaian utang teknis untuk sistem yang ada, dan analisis akar penyebab untuk masalah performa database.

Database performance troubleshooting and optimization

ChatDB mendukung diagnostik kinerja database dan analisis akar penyebab SQL lambat. Setelah Anda menggambarkan masalah kinerja atau menentukan sumber data target, Agent secara otomatis menganalisis faktor-faktor yang menyebabkan kueri lambat, termasuk pemindaian tabel penuh, ketidakberlakuan indeks, urutan JOIN yang tidak optimal, subkueri bersarang yang dalam, konversi implisit tipe data, statistik usang, persaingan lock, dan tabel panas. Agent menjelaskan akar penyebab setiap pernyataan SQL lambat berdasarkan rencana eksekusi aktual dan memberikan rekomendasi optimasi yang ditargetkan seperti penyesuaian indeks, penulisan ulang kueri, dan refaktoring skema tabel.

Kasus penggunaan: Pemecahan masalah darurat untuk insiden performa produksi yang mendadak, dan pengelolaan proaktif potensi kueri lambat selama pemeriksaan rutin.

Deskripsi

Setelah menerima peringatan tugas sinkronisasi, jelaskan masalahnya atau tempel informasi peringatan di antarmuka percakapan Agent. Agent secara otomatis mengagregasi informasi multidimensi seperti log tugas, metrik pemantauan sumber daya, dan status database sumber, mengidentifikasi akar penyebab, dan memberikan rencana pemulihan — mengurangi waktu troubleshooting dari hitungan jam menjadi menit. Setiap hasil diagnostik secara otomatis diarsipkan sebagai entri basis pengetahuan, sehingga saat masalah serupa terjadi lagi, solusi yang ada langsung dicocokkan, mencegah tim harus memulai dari awal saat terjadi pergantian personel. Kemampuan utama meliputi:

• Multi-dimensional information aggregation: Secara otomatis mengumpulkan dan mengorelasikan log tugas, metrik pemantauan sumber daya, status database sumber, lebar pita jaringan, dan informasi multidimensi lainnya, menyajikan konteks lengkap dalam satu tampilan.

• Root cause identification: Secara otomatis menganalisis akar penyebab berdasarkan informasi yang terkumpul (seperti CU tidak mencukupi, penguncian tabel di sisi sumber, bottleneck lebar pita jaringan, atau kesalahan konfigurasi) dan memberikan kesimpulan yang jelas.

• Remediation recommendations with one-click execution: Setelah mengidentifikasi akar penyebab, Agent memberikan saran pemulihan yang dapat ditindaklanjuti (seperti menambah kuota CU kelompok sumber daya, me-restart instans, atau menyesuaikan konkurensi). Setelah dikonfirmasi, Anda dapat mengeksekusi perbaikan dengan satu klik.

• Automatic knowledge accumulation: Setiap hasil diagnostik secara otomatis diarsipkan sebagai entri basis pengetahuan, sehingga saat masalah serupa terjadi lagi, solusi yang ada langsung dicocokkan.

Contoh

1. Setelah peringatan dipicu, buka antarmuka percakapan Agent dan jelaskan masalahnya atau tempel informasi peringatan.

2. Agent secara otomatis mengagregasi informasi multidimensi seperti log tugas, metrik pemantauan sumber daya, dan status sisi sumber.

3. Agent menghasilkan laporan analisis akar penyebab (misalnya: CU tidak mencukupi menyebabkan laju konsumsi turun di bawah laju produksi).

4. Agent memberikan rekomendasi pemulihan (misalnya: menambah kuota CU kelompok sumber daya atau me-restart instans yang gagal). Setelah Anda mengonfirmasi, perbaikan dieksekusi.

Deskripsi

DI Agent menyediakan tugas inspeksi cerdas otomatis yang dibuat dan dikelola oleh AI Agent. Anda tidak perlu menulis skrip pemantauan atau mengonfigurasi aturan peringatan. Setelah membuat tugas inspeksi dan mengaktifkan penjadwalan otomatis, Agent secara proaktif memeriksa status berjalan tugas sinkronisasi sesuai frekuensi yang dikonfigurasi dan menghasilkan laporan hasil detail setelah setiap eksekusi, mengubah model O&M dari respons reaktif menjadi tata kelola proaktif. Kemampuan utama meliputi:

• Configurable run frequency: Frekuensi eksekusi dikonfigurasi menggunakan ekspresi Cron, mendukung jadwal sekali, per jam, harian, mingguan, bulanan, dan Cron kustom. Default-nya adalah pukul 08.00 setiap hari. Anda harus mengonfigurasi frekuensi eksekusi sebelum mengaktifkan penjadwalan otomatis.

• Full-pipeline proactive scanning: Agent secara otomatis memindai status berjalan semua pipeline sinkronisasi secara berkala, secara proaktif mengidentifikasi potensi risiko tanpa pemeriksaan manual item per item.

• Detailed result reports: Setelah setiap inspeksi, laporan hasil detail dihasilkan. Anda dapat melihat laporan di riwayat eksekusi tugas. Laporan dapat dibuka di jendela baru atau diunduh untuk berbagi dan pengarsipan tim.

• Priority ranking and action recommendations: Tugas berisiko tinggi diperingkat berdasarkan cakupan dampak dan urgensi, dengan setiap item disertai rekomendasi tindakan spesifik dan penilaian manfaat yang diharapkan.

Contoh

1. Login ke Konsol Data Integration. Di panel navigasi kiri, klik Intelligent Inspection Tasks di bawah AI Native.

2. Buat tugas inspeksi. Klik Create Intelligent Inspection Task dan pilih Create via Agent Chat atau Create Manually dari menu tarik-turun. Atau, klik kartu skenario yang direkomendasikan di bagian atas halaman untuk segera membuat tugas dari templat skenario bawaan. Untuk membuat tugas secara manual, tentukan nama tugas, deskripsi, kelompok sumber daya, frekuensi eksekusi, dan konten tugas (jelaskan konten inspeksi dalam bahasa alami).

3. Setelah Anda mengaktifkan Auto Scheduling, Agent secara otomatis menjalankan inspeksi sesuai frekuensi yang ditentukan. Anda juga dapat memicu inspeksi sekali pakai secara manual dengan memilih More > Execute Now di daftar tugas.

4. Di halaman riwayat eksekusi tugas, lihat status dan Result Details Report setiap eksekusi. Laporan mendukung Open in New Tab dan Download.

Deskripsi

Inspeksi menangani pemeriksaan kesehatan berkala, sedangkan kemampuan watch menangani respons real time pada saat pengecualian terjadi. Fitur watch menggunakan skenario sebagai unit manajemen, di mana skenario adalah kumpulan event. Pertama-tama Anda menentukan jenis tugas yang berlaku untuk skenario tersebut, lalu mengonfigurasi event pemantauan dan ambang batas pemicunya dalam skenario tersebut. Setelah skenario diterapkan ke tugas tertentu, Anda dapat mengganti ambang batas untuk setiap tugas. Saat tugas cocok dengan suatu event, Agent secara otomatis mengumpulkan informasi waktu proses, menganalisis akar penyebab, dan terus melacak status pemulihan tugas tersebut. Kemampuan utama meliputi:

• Built-in watch scenarios: Tersedia tiga skenario bawaan: real-time sync latency watch, real-time sync runtime watch, dan batch sync runtime watch. Anda dapat langsung menerapkan skenario ini ke tugas sinkronisasi jenis yang sesuai.

• Event-level threshold management: Sebuah skenario dapat berisi beberapa event pemantauan, masing-masing dengan ambang batas pemicu yang dikonfigurasi secara independen. Setelah skenario diterapkan ke tugas, Anda dapat mengganti ambang batas untuk tugas individual guna menyesuaikan pemantauan untuk tugas kritis.

• Trigger-based analysis: Saat latensi bisnis terus-menerus melebihi ambang batas, Agent secara otomatis menganalisis sumber, pipeline sinkronisasi, dan tujuan untuk mengidentifikasi potensi bottleneck kinerja. Saat tugas gagal atau mengalami failover berulang, Agent secara otomatis menganalisis akar penyebab. Saat tugas sinkronisasi batch atau instans inkremental batch gagal, Agent secara otomatis mengumpulkan informasi waktu proses dan memberikan saran pemulihan.

• Recovery tracking and watch records: Setelah menyelesaikan analisis, Agent terus melacak status pemulihan tugas. Setiap event yang dipicu dicatat sebagai catatan watch yang menunjukkan waktu pemicu, tugas yang cocok dengan event, event spesifik yang cocok, kesimpulan analisis, dan apakah tugas telah pulih. Hal ini membentuk buku besar O&M yang dapat dilacak.