QoderWork CN は、対話を通じてファイルやデータを処理するだけでなく、お使いのコンピューター画面を直接「見て」「制御」し、ボタンのクリック、フォームの入力、アプリケーションの切り替えを行うこともできます。この機能はコンピューター操作と呼ばれ、グラフィカルユーザーインターフェイス (GUI) の操作が必要なタスクを QoderWork CN が完了できるようにします。
主要な機能
画面認識：ターゲットアプリケーションウィンドウの可視コンテンツを読み取り、レイアウト、ボタンのテキスト、フォームの状態などの視覚情報を理解します。タスク中に継続的にスクリーンショットを撮り、前のステップが成功したことを確認してから、次のアクションを決定します。
マウスとキーボードの制御：クリック、ダブルクリック、ドラッグ、テキスト入力、キーボードショートカットなど、幅広いヒューマン入力メソッドをサポートします。ピクセルレベルの精度で動作し、小さな UI 要素を正確にクリックします。
自律的なバックグラウンド実行：フォアグラウンドのフォーカスを奪うことなく、バックグラウンドでマウス、キーボード、スクリーンショット機能を操作します。AI が静かに作業している間、ユーザーはコンピューターで他のタスクを続けることができます。
クロスアプリケーションワークフロー：デスクトップアプリケーション間を切り替えて、複数のステップからなる操作を完全なワークフローにまとめます。固定されたスクリプトに従うのではなく、リアルタイムのフィードバックに基づいて次の操作を動的に調整します。
ユースケース
API を持たないデスクトップアプリケーションの自動化：ターゲットアプリケーションにコマンドラインインターフェイスやプラグインがない場合、AI はその GUI と直接対話し、例えばデザインツールでパラメーターを調整したり、管理パネルで設定を一括変更したりします。
クロスアプリケーションワークフロー：タスクが複数のアプリケーションにまたがる場合、AI は自動的にウィンドウを切り替え、データをコピーし、フォームを入力して、プロセスをエンドツーエンドで完了します。
GUI の検証とテスト：UI の変更が期待どおりに機能することを確認したり、GUI でのみ現れる問題を再現したり、特定の操作シーケンスに対するアプリケーションの応答をチェックしたりします。
情報の収集と集約：エクスポート機能を持たないアプリケーションからデータを抽出したり、複数のアプリに散在する情報を収集したりします。
Web ベースのタスクには、コンピューター操作よりも高速で正確な ブラウザー自動化 を使用してください。
システム要件
macOS 14 以降
アクセシビリティと画面収録の権限が必要です。
使用方法
完了したい GUI タスクをチャットで直接記述すると、QoderWork CN が自動的に必要性を判断し、コンピューター操作を有効にします：
Open System Settings and take a screenshot of the current network configuration for meOpen Finder and find the most recently modified Excel file in the Documents folderOpen 'Budget.xlsx' in Numbers and change the format of column B to currencyコンピューター操作の有効化
コンピューター操作を使用する前に、コネクタで [コンピューター制御] を有効にします：
ステップ 1：コネクタを開く
[拡張機能] → [コネクタ] に移動し、[コンピューター制御] カードを見つけて有効にします。
ステップ 2：機能の確認
ダイアログボックスが表示され、コネクタの機能が説明されます：
AI 拡張ツール：クリック、タイピング、スクロール、スクリーンショット撮影などのデスクトップ自動化機能を提供します。
権限認識：コンピューター操作は、実行時に必要に応じてシステム権限を処理します。
完全な制御：このコネクタはいつでも無効にできます。
システム権限の付与
コネクタを有効にした後、初めてコンピューター操作を使用する際に、QoderWork CN は 2 つのシステム権限を付与するよう案内します：
アクセシビリティ権限
この権限により、QoderWork CN はアプリケーションの UI 要素ツリーを読み取り、クリックやタイピングなどのアクションを実行できるようになります。システムのプロンプトで [Allow] をクリックしてください。
画面収録権限
この権限により、QoderWork CN はアプリケーションウィンドウのスクリーンショットをキャプチャできるようになり、AI が現在のインターフェイスの状態を「見る」ことが可能になります。[システム設定] の [Privacy & Security] → [画面収録] で QoderWork CN を追加してください。
権限を付与した後、QoderWork CN はアプリケーションを制御しようとするたびに確認を求めます。設定で実行ポリシーを選択できます：
ポリシー | 説明 |
毎回確認 (デフォルト) | AI はデスクトップを制御する必要があるたびに、確認を求めます。 |
自動的に実行 | AI は毎回確認を求めることなく、直接デスクトップ操作を実行します。 |
無効 | コンピューター操作機能を完全に無効にします。 |
仕組み
QoderWork CN がコンピューター操作タスクを実行する際、チャットに完全に透明なプロセスが表示されます：
スクリーンショット：AI は現在の画面のスクリーンショットを撮り、インターフェイスの状態を理解します。
アクションの説明：各ステップの前に、何を実行しようとしているかを説明します。
実行：クリック、テキスト入力、スクロールなどのアクションを実行します。
結果の検証：アクションの後、再度スクリーンショットを撮り、アクションが成功したことを確認します。
コンピューター操作の実行中は、AI が制御しているアプリケーションやウィンドウを手動で操作しないでください。ユーザーの操作が AI の操作と競合する可能性があります。介入する前に、AI が現在のステップを完了するのを待ってください。
一般的なシナリオ
アプリケーションからのデータ抽出
Open Activity Monitor on my Mac, find the top 5 processes using the most CPU and memory, and organize the results into a tableシステム設定の調整
Check if automatic updates are enabled in my system settings. If not, please turn them on複数アプリケーションにまたがる情報の集約
Check my calendar for all meetings today, then create a note in the Notes app called "Today's Meeting Prep" and list each meeting's time and what I need to prepareベストプラクティス
ターゲットアプリケーションとパスの指定
単に「Help me with the settings.」と言うよりも、どのアプリケーションを使用し、どこに移動するかを QoderWork CN に伝える方がはるかに明確です。
複雑な指示はステップごとに行う
複雑な操作の場合は、一度に 1 つのステップずつ指示を与えてください。AI にステップを完了させ、結果を検証させてから、次の指示を提供してください。
スキルによる自動化の実現
頻繁に繰り返される GUI ワークフローを スキル として保存すると、後で単一のコマンドでプロセス全体をトリガーできます。
重要な注意事項
アクセスを許可することは、制御を許可することを意味します。有効にすると、AI はユーザーに代わって、まるでユーザー自身が操作しているかのように、コンピューター上の他のアプリケーションを操作できます。使用しないときは、設定でこの機能を無効にしてください。
一部のアクションは元に戻せません。AI がデスクトップアプリケーションで実行するアクション (メッセージの送信やファイルの削除など) は、元に戻せない場合があります。リスクの高いシナリオでは、「毎回確認」ポリシーを使用してください。
画面上のコンテンツがキャプチャされます。インターフェイスを理解するために、AI はスクリーンショットを撮ります。これは、機密情報を含む表示されているすべてのコンテンツがキャプチャされる可能性があることを意味します。自動化を実行する前に、パスワードや個人データを含むウィンドウを閉じてください。
ネットワークアクションには注意してください。AI がログインしているアプリケーションと対話する場合、ユーザーに代わってメールを送信したり、フォームを送信したり、その他のアクションを実行したりする可能性があります。このような操作には注意を払ってください。
制限事項
CAPTCHA と 2 段階認証：AI は、CAPTCHA、SMS 認証コード、顔認証を含むタスクを完了できません。これらのステップは手動で処理する必要があります。
速度：コンピューター操作はスクリーンショットの撮影と分析を必要とするため、テキストのみの操作よりも低速です。
精度：複雑または高密度のインターフェイスでは、AI のクリック精度が低くなる可能性があります。操作が失敗した場合は、ターゲットをより具体的に記述してみてください。
次のステップ
コネクタ：ブラウザー、カレンダー、Microsoft 365、DingTalk などの外部システムへの接続
アプリケーションスナップショット：フォアグラウンドアプリケーションのスクリーンショットを会話のコンテキストとしての使用