O QoderWork CN vai além do processamento de arquivos e dados por conversa. Ele também "vê" e "controla" diretamente a tela do seu computador para clicar em botões, preencher formulários e alternar entre aplicativos. Esse recurso, chamado Computer Use, permite que o QoderWork CN execute tarefas que exigem interação com a interface gráfica do usuário (GUI).
Principais capacidades
Percepção de tela: Lê o conteúdo visível da janela do aplicativo alvo para compreender informações visuais, como layout, texto de botões e status de formulários. Captura screenshots continuamente durante uma tarefa para verifique se a etapa anterior foi bem-sucedida antes de decidir a próxima ação.
Controle de mouse e teclado: Oferece suporte a diversos métodos de entrada humana, incluindo cliques, cliques duplos, arrastar, digitação e atalhos de teclado. Opera com precisão no nível de pixel para clique em com exatidão em pequenos elementos da UI.
Execução autônoma em segundo plano: Controla o mouse, o teclado e as funções de screenshot em segundo plano sem assumir o foco do primeiro plano. Você continua usando o computador para outras tarefas enquanto a IA trabalha silenciosamente.
Fluxo de trabalho entre aplicativos: Alterna entre aplicativos de desktop para combinar operações de várias etapas em um fluxo de trabalho completo. Ajusta dinamicamente a próxima ação com base em feedback em tempo real, em vez de seguir um script fixo.
Casos de uso
Automação de aplicativos de desktop sem APIs: Quando o aplicativo alvo não possui interface de linha de comando ou plugins, a IA interage diretamente com sua GUI. Exemplos incluem ajustar parâmetros em ferramentas de design ou modificar configurações em lote em um painel administrativo.
Fluxos de trabalho entre aplicativos: Para tarefas que abrangem vários aplicativos, a IA alterna janelas automaticamente, copia dados e preenche formulários para concluir o processo de ponta a ponta.
Validação e teste de GUI: Verifique se as alterações na UI funcionam conforme o esperado, reproduza problemas que aparecem apenas na GUI ou valide a resposta de um aplicativo a uma sequência específica de operações.
Coleta e consolidação de informações: Extraia dados de aplicativos sem recurso de exportação ou reúna informações dispersas em vários aplicativos.
Para tarefas baseadas na web, utilize a automação de navegador, pois é mais rápida e precisa do que o Computer Use.
Requisitos do sistema
macOS 14 ou posterior
Requer permissões de acessibilidade e gravação de tela.
Uso
Descreva a tarefa de GUI que deseja concluir diretamente no chat. O QoderWork CN identificará automaticamente a necessidade e ativará o Computer Use:
Open System Settings and take a screenshot of the current network configuration for meOpen Finder and find the most recently modified Excel file in the Documents folderOpen 'Budget.xlsx' in Numbers and change the format of column B to currencyAtive o Computer Use
Antes de usar o Computer Use, ative o "Computer Control" nos Connectors:
Etapa 1: Abrir os conectores
Acesse Extensions → Connectors, localize o cartão "Computer Control" e ative-o.
Etapa 2: Revisar as capacidades
Uma caixa de diálogo é exibida com a descrição das capacidades do conector:
AI-Enhanced Tools: Fornece capacidades de automação de desktop, como clique em, digitar, rolar e capturar screenshots.
Permission-Aware: O Computer Use gerencia as permissões do sistema conforme necessário durante a execução.
Full Control: Desative este conector a qualquer momento.
Conceder permissões do sistema
Ao usar o Computer Use pela primeira vez após ativar o conector, o QoderWork CN orienta você a conceder duas permissões do sistema:
Permissão de acessibilidade
Essa permissão permite que o QoderWork CN leia a árvore de elementos da UI dos aplicativos e execute ações como clique em e digitar. Clique em Allow no prompt do sistema.
Permissão de gravação de tela
Essa permissão permite que o QoderWork CN capture screenshots das janelas dos aplicativos, possibilitando à IA "ver" o estado atual da interface. Adicione o QoderWork CN nas System Settings, em "Privacy & Security" → "Screen Recording".
Após conceder as permissões, o QoderWork CN solicitará confirmação sempre que tentar controlar um aplicativo. Escolha uma política de execução nas configurações:
|
Política |
Descrição |
|
Ask every time (padrão) |
A IA solicita sua confirme sempre que precisar controlar o desktop. |
|
Run automatically |
A IA executa operações no desktop diretamente, sem solicitar confirme a cada vez. |
|
Disabled |
Desativa completamente o recurso Computer Use. |
Como funciona
Quando o QoderWork CN execute uma tarefa de Computer Use, ele exibe um processo totalmente transparente no chat:
Screenshot: A IA captura uma screenshot da tela atual para compreender o estado da interface.
Descrição da ação: Antes de cada etapa, descreve o que está prestes a fazer.
Execução: Realiza a ação, como um clique em, entrada de texto ou rolagem.
Verificação do resultado: Após a ação, captura outra screenshot para confirme se a operação foi bem-sucedida.
Enquanto o Computer Use estiver em execução, evite interagir manualmente com o aplicativo ou janela que a IA está controlando. Suas ações podem entrar em conflito com as operações da IA. Aguarde a conclusão da etapa atual pela IA antes de intervir.
Cenários típicos
Extrair dados de um aplicativo
Open Activity Monitor on my Mac, find the top 5 processes using the most CPU and memory, and organize the results into a tableAjustar configurações do sistema
Check if automatic updates are enabled in my system settings. If not, please turn them onConsolidar informações entre aplicativos
Check my calendar for all meetings today, then create a note in the Notes app called "Today's Meeting Prep" and list each meeting's time and what I need to prepareMelhores práticas
Especifique o aplicativo alvo e o caminho
Informar ao QoderWork CN qual aplicativo usar e onde navegar é muito mais claro do que apenas dizer "Ajude-me com as configurações".
Divida instruções complexas em etapas
Para operações complexas, forneça instruções uma de cada vez. Deixe a IA concluir uma etapa, verifique o resultado e só então forneça a próxima instrução.
Alcance a automação com Skill
Salve fluxos de trabalho de GUI frequentemente repetidos como uma Skill para acionar todo o processo com um único comando posteriormente.
Observações importantes
Conceder acesso significa conceder controle. Quando ativado, a IA pode operar outros aplicativos no seu computador em seu nome, como se você mesmo estivesse executando as ações. Desative este recurso nas configurações quando não estiver em uso.
Algumas ações são irreversíveis. Ações executadas pela IA em aplicativos de desktop, como enviar mensagens ou excluir arquivos, podem ser irreversíveis. Para cenários de alto risco, utilize a política "Ask every time".
O conteúdo da tela é capturado. Para compreender a interface, a IA captura screenshots. Isso significa que qualquer conteúdo visível, incluindo informações confidenciais, pode ser capturado. Antes de execute uma automação, feche janelas que contenham senhas ou dados privados.
Tenha cautela com ações de rede. Se a IA interagir com um aplicativo onde você está conectado, ela poderá enviar e-mails, envie formulários ou execute outras ações em seu nome. Mantenha-se vigilante quanto a essas operações.
Limitações
CAPTCHA e verificação em duas etapas: A IA não consegue concluir tarefas que envolvam CAPTCHA, códigos de verificação por SMS ou reconhecimento facial. Realize essas etapas manualmente.
Velocidade: O Computer Use requer a captura e análise de screenshots, o que é mais lento do que operações baseadas apenas em texto.
Precisão: A precisão dos clique em da IA pode ser baixa em interfaces complexas ou densas. Se uma operação falhar, tente descrever o alvo de forma mais específica.
Próximas etapas
Connectors: Conecte-se a sistemas externos, como seu navegador, calendário, Microsoft 365 e DingTalk.
Application snapshot: Utilize uma screenshot do aplicativo em primeiro plano como contexto para sua conversa.