Software Development

Computer Use

构建 GUI 自动化 Agent、让 Agent 像人一样看屏幕并用鼠标键盘操作桌面或浏览器软件时使用。 覆盖感知-思考-行动循环、动作空间(GUI/bash/文件编辑)、视觉定位 Grounding 三条路线 (结构化元素索引、Set-of-Mark、纯坐标预测)、分辨率坐标缩放、关键帧观察接口、世界模型与移动端生态壁垒。 触发词:Computer Use、GUI 自动化、截图、Grounding、browser-use、Set-of-Mark、视觉定位、坐标缩放、OSWorld。

Publisher / source
bojieli/ai-agent-book (found on GitHub top repositories)
Upstream record
bojieli/ai-agent-book
Version
Version 1
Published
Publication review
Approved for publication · recorded passed scan 2026-11-03
Content fingerprint
aa65a04de8cb10412e57638810f7eecbd4e2ef20d2b189cba6db15cb15399e3e