Seri Qoder CN:Penggunaan komputer

Kemampuan inti

• Screen perception: Membaca konten yang terlihat pada jendela aplikasi target untuk memahami informasi visual seperti tata letak, teks tombol, dan status formulir. Selama menjalankan tugas, sistem terus-menerus mengambil screenshot guna memverifikasi keberhasilan langkah sebelumnya sebelum menentukan aksi berikutnya.

• Mouse and keyboard control: Mendukung berbagai metode input manusia, termasuk klik, klik ganda, seret, entri teks, dan pintasan keyboard. Sistem beroperasi dengan presisi tingkat piksel untuk mengklik elemen UI kecil secara akurat.

• Autonomous background execution: Mengoperasikan fungsi mouse, keyboard, dan pengambilan screenshot di latar belakang tanpa mengambil alih fokus utama Anda. Anda dapat terus menggunakan komputer untuk tugas lain sementara AI bekerja secara diam-diam.

• Cross-application workflow: Beralih antar aplikasi desktop untuk menggabungkan operasi multi-langkah menjadi alur kerja yang lengkap. Sistem secara dinamis menyesuaikan langkah berikutnya berdasarkan umpan balik real-time, bukan mengikuti skrip tetap.

Kasus penggunaan

• Mengotomatiskan aplikasi desktop tanpa API—Ketika aplikasi target tidak memiliki command-line interface atau plugin, AI berinteraksi langsung dengan GUI-nya, misalnya menyesuaikan parameter di alat desain atau memodifikasi pengaturan secara batch di panel admin.

• Cross-application workflows—Ketika suatu tugas mencakup beberapa aplikasi, AI secara otomatis beralih antar jendela, menyalin data, dan mengisi formulir untuk menyelesaikan proses dari awal hingga akhir.

• GUI validation and testing—Memverifikasi bahwa perubahan UI berfungsi sesuai harapan, mereproduksi masalah yang hanya muncul di GUI, atau memeriksa respons aplikasi terhadap urutan operasi tertentu.

• Information collection and consolidation—Mengekstraksi data dari aplikasi yang tidak memiliki fitur ekspor, atau mengumpulkan informasi yang tersebar di berbagai aplikasi.

Persyaratan sistem

• macOS 14 atau versi lebih baru

• Memerlukan izin aksesibilitas dan perekaman layar.

Penggunaan

Jelaskan tugas GUI yang ingin Anda selesaikan secara langsung dalam obrolan, dan QoderWork CN akan secara otomatis mengenali kebutuhan tersebut serta mengaktifkan Computer Use:

Buka System Settings dan ambil screenshot konfigurasi jaringan saat ini untuk saya

Buka Finder dan temukan file Excel yang paling baru dimodifikasi di folder Documents

Buka 'Budget.xlsx' di Numbers dan ubah format kolom B menjadi mata uang

Aktifkan penggunaan komputer

Sebelum menggunakan Computer Use, aktifkan "Computer Control" di Connectors:

Beri izin sistem

Saat pertama kali menggunakan Computer Use setelah mengaktifkan connector, QoderWork CN akan memandu Anda memberikan dua izin sistem:

Setelah Anda memberikan izin, QoderWork CN akan meminta konfirmasi setiap kali hendak mengontrol sebuah aplikasi. Anda dapat memilih kebijakan eksekusi di pengaturan:

Cara kerja

Saat QoderWork CN menjalankan tugas Computer Use, sistem menampilkan proses yang sepenuhnya transparan dalam obrolan:

1. Screenshot: AI mengambil screenshot layar saat ini untuk memahami kondisi antarmuka.

2. Action description: Sebelum setiap langkah, AI menjelaskan apa yang akan dilakukan.

3. Eksekusi: Menjalankan aksi, seperti klik, input teks, atau gulir.

4. Result verification: Setelah aksi, AI mengambil screenshot lagi untuk memastikan aksi berhasil.

Skenario khas

Buka Activity Monitor di Mac saya, temukan 5 proses teratas yang paling banyak menggunakan CPU dan memori, lalu susun hasilnya dalam bentuk tabel

Periksa apakah pembaruan otomatis diaktifkan di pengaturan sistem saya. Jika belum, mohon aktifkan

Periksa kalender saya untuk semua rapat hari ini, lalu buat catatan di aplikasi Notes bernama "Persiapan Rapat Hari Ini" dan cantumkan waktu setiap rapat beserta hal yang perlu saya siapkan

Praktik terbaik

Tentukan aplikasi target dan jalurnya

Memberi tahu QoderWork CN aplikasi mana yang harus digunakan dan ke mana harus dinavigasi jauh lebih jelas daripada hanya mengatakan, "Bantu saya dengan pengaturannya."

Berikan instruksi kompleks secara bertahap

Untuk operasi kompleks, berikan instruksi satu per satu. Biarkan AI menyelesaikan satu langkah, verifikasi hasilnya, lalu berikan instruksi berikutnya.

Raih otomatisasi dengan Skill

Simpan alur kerja GUI yang sering diulang sebagai Skill agar seluruh proses dapat dipicu dengan satu perintah di kemudian hari.

Catatan penting

• Beberapa aksi tidak dapat dikembalikan. Aksi yang dilakukan AI di aplikasi desktop, seperti mengirim pesan atau menghapus file, mungkin tidak dapat dikembalikan. Untuk skenario berisiko tinggi, gunakan kebijakan "Ask every time".

• Konten di layar akan ditangkap. Untuk memahami antarmuka, AI mengambil screenshot. Artinya, semua konten yang terlihat, termasuk informasi sensitif, mungkin ikut tertangkap. Sebelum menjalankan otomatisasi, tutup jendela yang berisi kata sandi atau data pribadi.

• Berhati-hatilah dengan aksi jaringan. Jika AI berinteraksi dengan aplikasi tempat Anda login, ia dapat mengirim email, mengirimkan formulir, atau melakukan tindakan lain atas nama Anda. Waspadai operasi semacam ini.

Batasan

• CAPTCHA dan verifikasi dua langkah: AI tidak dapat menyelesaikan tugas yang melibatkan CAPTCHA, kode verifikasi SMS, atau pengenalan wajah. Anda harus menangani langkah-langkah tersebut secara manual.

• Kecepatan: Computer Use memerlukan pengambilan dan analisis screenshot, sehingga lebih lambat dibandingkan operasi berbasis teks saja.

• Presisi: Presisi klik AI bisa rendah pada antarmuka yang kompleks atau padat. Jika suatu operasi gagal, coba jelaskan targetnya lebih spesifik.

Langkah selanjutnya

• Connectors: Terhubung ke sistem eksternal seperti browser, kalender, Microsoft 365, dan DingTalk.

• Application snapshot: Gunakan screenshot aplikasi foreground sebagai konteks untuk percakapan Anda.