UI-TARS Desktop：自然语言控制电脑的GUI自动化

UI-TARS Desktop自然语言控制电脑的GUI自动化【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop重复点击操作不想再写自动化脚本你肯定遇到过这种活一个流程要点三十下鼠标界面稍微改版之前写的自动化脚本就全废了。自己维护坐标和选择器比手动点还累。UI-TARS Desktop 是一个基于视觉语言模型的 GUI 自动化桌面应用它直接看你的屏幕截图用一句自然语言就替你操作电脑。3 条命令跑通 UI-TARS Desktop系统依赖备注macOS / WindowsNode.js ≥ 20pnpm目前仅支持单显示器浏览器操作器Chrome / Edge / Firefox三选一用浏览器场景才需要git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop # 获取源码 cd UI-TARS-desktop pnpm install # 安装依赖 pnpm dev:ui-tars # 开发模式启动应用不想编译的话也可以直接下载官方 release 安装包macOS 用户一行命令就能装brew install --cask ui-tars。macOS 首次运行要授权两项权限系统设置 → 隐私与安全性 → 辅助功能、屏幕录制都打开 UI TARS 的开关否则它既看不见也动不了。核心链路截图 → 视觉模型 → 动作执行它的工作方式像一个会看屏幕的实习生。你输入一条指令应用截屏发给视觉语言模型模型回一句点这里操作器就去执行点击和键盘输入然后再次截屏循环往复直到模型判断任务完成。整条链路在 packages/ui-tars/sdk/ 里桌面应用只是给它接上了本地电脑。桌面端关键模块的位置apps/ui-tars/src/main/ ├── agent/operator.ts # 本地电脑操作器 ├── services/runAgent.ts # Agent 运行入口 └── remote/operators.ts # 远程电脑/浏览器操作器三个高频玩法从第一次任务到 SDK 集成入门部署 UI-TARS-1.5 模型跑第一个任务用途拿到一个可用的视觉模型端点让 Agent 完成第一个桌面任务。在 Hugging Face 部署 UI-TARS-1.5-7B拿到 Base URL、API Key、Model Name 三样东西打开应用设置Provider 选Hugging Face for UI-TARS-1.5填入三样配置点 Check Model Availability点开始新对话操作器选 Computer Operator输入指令比如打开 VS Code 的设置把自动保存延迟设为 500 毫秒预期效果模型每轮看着截图逐步执行点击和输入任务结束后还能导出 HTML 格式的完整操作报告。进阶切到 Browser Operator 做网页任务用途把 GUI 自动化从桌面移到浏览器里适合查资料、填网页表单这类活。装一个稳定版 Chrome或 Edge、Firefox设置里把操作器切到 Browser Operator顺手选一下搜索引擎Google / Bing / Baidu输入指令比如打开某个项目主页查看最新的 issue执行过程中随时可以接管鼠标键盘手动纠偏预期效果浏览器里的每一步操作都被模型截图驱动你全程旁观随时接管。集成用 SDK 在自己的项目里组一个 GUI Agent用途不装桌面应用用代码把 GUI 自动化能力嵌进自己的工具里。先试玩npx ui-tars/cli start输入 baseURL、apiKey、model 后直接控制电脑引入自己的工程import { GUIAgent } from ui-tars/sdk; import { NutJSOperator } from ui-tars/operator-nut-js; const agent new GUIAgent({ model: { baseURL, apiKey, model }, operator: new NutJSOperator(), }); await agent.run(打开 Chrome 并访问新闻页面);预期效果换设备或平台时只需实现操作器的screenshot()和execute()两个方法模型侧完全不用动。避坑手册模型不生效的 5 个常见问题1. Check Model Availability 报错症状点检查模型可用性直接失败原因Base URL 没以/v1/结尾或 Provider 与模型版本不匹配解法核对 Base URL 结尾是/v1/UI-TARS-1.5 模型必须配Hugging Face for UI-TARS-1.5火山引擎配VolcEngine Ark for Doubao-1.5-UI-TARS2. 点了没反应或点击位置漂移macOS症状模型说执行了点击屏幕上没动静原因屏幕录制或辅助功能权限没给解法系统设置 → 隐私与安全性在屏幕录制和辅助功能里都启用 UI TARS然后重启应用3. 任务走到一半就停了症状状态显示 MAX_LOOP任务没做完原因步数超过 maxLoopCount默认 100可调 25~200解法设置里调大 Max Loop如果页面加载慢导致截图没等稳把 Loop Wait Time 从默认 1000ms 往上加4. Browser Operator 提示浏览器不可用症状报错Browser is not available原因没装 Chrome、Edge 或 Firefox解法装一个稳定版浏览器后重启应用5. 多显示器下任务频繁失败症状双屏时部分任务执行异常原因官方目前仅支持单显示器以仓库实际文档为准解法临时断开副屏切回单显示器再跑下一步三个延伸入口两条模型部署路线Hugging Face 与火山引擎的完整步骤docs/quick-start.mdSDK 完整配置项与自定义操作器写法docs/sdk.md一份可直接导入的设置预设示例examples/presets/default.yaml先把模型端点配好让 Agent 在你桌面上跑完一个真实任务再谈其他。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考