电脑操控

​

核心能力

​

使用场景

• 操作没有 API 的桌面应用 — 当目标应用没有命令行或插件时，AI 直接操作图形界面。比如在设计工具中调参数、在管理后台批量修改设置。
• 跨应用工作流 — 任务跨越多个应用时，AI 自动切换窗口、复制数据、填写表单，端到端完成。
• GUI 验证与测试 — 确认界面变更是否按预期工作，复现仅在 GUI 中出现的问题，或检查应用对特定操作序列的响应。
• 信息收集整合 — 从没有导出功能的应用中提取数据，或汇总散落在多个应用中的信息。

​

系统要求

• macOS 14 或更高版本
• 需要授予辅助功能和屏幕录制权限

​

使用方式

打开系统偏好设置，截个屏让我看看当前的网络配置

打开 Finder，在 Documents 文件夹中找到最近修改的 Excel 文件

帮我在 Numbers 中打开"预算表.xlsx"，把 B 列的数字格式改为货币

​

开启电脑操控

1

打开连接器

进入 扩展 → 连接器，找到「计算机控制」卡片并点击开启。

2

确认权限说明

弹窗会显示该连接器的能力说明：

• AI 增强工具 — 提供桌面自动化能力：点击、输入、滚动、截图等桌面操控工具
• 始终遵守权限 — Computer Use 运行时会在需要时自行处理系统权限
• 一切由你掌控 — 你可以随时在此弹窗关闭该连接器

​

系统权限授权

​

操作过程

1. 截屏 — AI 截取当前屏幕画面来了解界面状态
2. 操作描述 — 每一步操作前说明即将做什么
3. 实际操作 — 执行点击、输入、滚动等动作
4. 结果确认 — 操作后再次截屏确认结果是否符合预期

​

典型场景

​

从应用中提取数据

打开 Mac 的活动监视器，帮我查看当前占用 CPU 和内存最多的 5 个进程，
把结果整理成表格

​

系统设置调整

帮我检查一下系统是否开启了自动更新，
如果没有就帮我打开

​

跨应用信息整合

查看我的日历中今天的所有会议安排，
然后在备忘录中创建一个"今日会议准备"笔记，
列出每个会议的时间和我需要准备的内容

​

使用建议

​

注意事项

• 部分操作不可撤销 — AI 在桌面应用中执行的操作（如发送消息、删除文件）可能无法撤回。对于高风险场景，建议使用「每次询问」策略。
• 屏幕内容会被截取 — AI 通过截屏感知界面，屏幕上可见的任何内容（包括敏感信息）都可能被捕获。运行自动化前请关闭含密码或私密数据的窗口。
• 网络操作谨慎 — 如果 AI 操作了含有你登录状态的应用，它可以代你发送邮件、提交表单等。对此类操作保持警惕。

​

使用限制

• 验证码和二步验证 — AI 无法完成 CAPTCHA、短信验证码、人脸识别等操作，需要你手动介入。
• 速度 — 电脑操控需要截屏和分析画面，比纯文本操作慢。
• 精确度 — 界面复杂或元素密集时，AI 的点击精度可能不够高。如果操作失败，尝试描述得更具体。

​

下一步