让 AI Agent 真正操作浏览器ego (lite) 两分钟快速上手与技术原理解析

导语AI Agent 很擅长写代码、分析文本和调用 API但一旦任务进入需要登录、需要点击、需要填写表单的真实网页传统“搜索网页并总结”的能力就不够用了。ego (lite) 提供了一条不同的路径让 Codex、Claude Code、Cursor 或自定义 Agent 连接到一款真实的 Chromium 浏览器在保留登录状态和浏览器使用习惯的同时通过独立 Space 完成网页任务。本文以 ego (lite) 官方快速开始为基础带你从零跑通第一个任务并进一步解释ego-browser、Space、Snapshot、N引用和权限边界背后的技术逻辑。一、为什么 AI Agent 还需要一款“真实浏览器”很多 AI 工具已经能够搜索网页但“搜索”与“操作”是两件不同的事。普通网页搜索通常适合获取公开信息阅读无需登录的文章搜索文档和新闻对公开页面进行摘要。真实工作场景却经常包含登录 CRM、邮箱、招聘平台和企业后台使用已有 Cookie、扩展程序和浏览器配置点击筛选项、翻页、填写表单、上传文件下载报表、截取结果、检查提交前页面在验证码、支付和授权环节交还给用户确认。这类任务很难仅靠 API 完成。一方面许多 SaaS 平台没有开放完整 API另一方面即使存在 API也可能拿不到浏览器中已经登录的个人上下文。ego (lite) 的核心价值就是让 Agent 不只“阅读互联网”还能够在用户授权范围内操作真实网页。二、ego (lite) 到底是什么ego (lite) 是一款基于 Chromium 的浏览器同时面向人和 AI Agent 设计。它可以继承已有浏览器中的扩展程序、浏览记录、登录状态、Cookie 和个人资料使 Agent 能够进入那些必须登录后才能使用的网站。图 1ego (lite) 官方快速开始页面。图片来源ego (lite) 官方文档。从产品分工上看可以把它拆成三层层级组件主要职责任务层Codex、Claude Code、Cursor、自定义 Agent理解用户目标、规划步骤、生成自动化流程自动化层ego-browserSkill提供浏览器操作 Helper、Snapshot、Space 和 CDP 能力浏览器层ego (lite)承载真实 Chromium 会话、登录状态、扩展和网页标签页这与传统“Agent 启动一个全新的无头浏览器”不同。ego (lite) 更强调复用本机真实浏览器环境并将 Agent 的任务放在独立 Space 中执行。三、核心技术架构Agent 如何操作网页图 2ego (lite) 的 Agent—Skill—CDP—浏览器协作链路。完整链路可以概括为用户任务 ↓ Codex / Claude Code / Cursor ↓ ego-browser Skill ↓ Chrome DevTools Protocol ↓ ego (lite) 真实 Chromium 会话 ↓ Space 中的目标网页其中有两个关键机制。1. Space给每个 Agent 任务一个独立工作区Space 是 ego (lite) 为 Agent 划出的并行工作区。Agent 可以在自己的 Space 中打开网页、点击、填写、下载文件而用户继续在自己的标签页中工作。它不是新启动一个完全独立的浏览器云端浏览器会话一套新的 Chrome 用户资料抢占用户鼠标和焦点的远程控制。它更接近“同一个浏览器进程中的独立 BrowserContext”任务之间的页面、Cookie 和 Storage 可以隔离但底层浏览器基础设施能够复用。官方文档给出的 6 并发对照测试显示独立浏览器实例加资料副本约增加 15 GB 内存、84 个进程启动约 2.5 秒Space 模式约增加 0.9 GB 内存、6 个进程启动约 0.6 秒。实际开销仍会受到网页复杂度、扩展和并发量影响。2. Snapshot把网页变成 Agent 能理解的语义快照网页完整 HTML 往往包含大量脚本、样式和隐藏节点。直接把整页 DOM 交给大模型不但 Token 消耗高还会让 Agent 难以找到真正可操作的元素。Snapshot 会基于网页的语义结构为按钮、输入框、链接等元素生成临时引用例如1 [input] 搜索 2 [button] 提交 3 [link] 下一页Agent 可以执行awaitfillInput(1,AI Agent 浏览器)awaitclick(2,{label:提交搜索})页面跳转、刷新、弹窗或局部重渲染后旧的N引用可能失效因此可靠流程是页面发生变化后重新获取 Snapshot。四、开始前的准备根据官方快速开始页面目前入门流程从 macOS 安装包开始。准备工作包括一台能够安装 ego (lite) 的 Mac已安装 Codex、Claude Code、Cursor 或其他支持 Skill 的 Agent允许 Agent 启动本机应用的权限一个适合测试、风险较低的网页任务。第一次上手不建议直接测试付款、发布或删除操作。先从“读取公开信息”“整理登录后的列表”“生成摘要”开始。五、安装 ego (lite)官方流程非常接近普通 Mac 应用安装下载 DMG 文件打开安装包将 ego (lite) 拖入 Applications启动应用并完成 Onboarding。Onboarding 阶段ego (lite) 会询问是否迁移已有浏览器资料。迁移后浏览记录、Cookie、登录状态、扩展程序和 Chrome 个人资料能够被继承。需要注意的是迁移浏览器资料时系统可能要求输入密码这是为了访问并迁移本机浏览器相关数据并不是把密码直接交给 Agent。官方文档说明首次启动时还会扫描机器上已经安装的 Agent并将ego-browserSkill 写入常见目录例如~/.agents/skills ~/.claude/skills如果自动安装没有生效也可以尝试单独安装 Skillnpx skillsaddgithub:CitroLabs/ego-lite/skills/ego-browser六、两分钟跑通第一个任务图 3从安装到获得任务结果的完整流程。下面以 Codex 为例。第一步激活 ego-browser Skill在 Agent 对话框中输入/ego-browser然后从 Skill 选择器中选择 ego-browser。图 4在 Codex 中输入/ego唤出 Skill。图片来源ego (lite) 官方文档。第二步设置运行权限ego-browser 需要启动本机的 ego (lite) 应用。对于带有沙箱或权限控制的 Agent需要允许它执行沙箱外应用。在 Codex 中可以将当前任务权限设置为 Full access。图 5Codex 的 Full access 权限选项。图片来源ego (lite) 官方文档。Full access 不代表可以忽略风险边界。正确做法是只在确实需要启动本机浏览器时开启对支付、发布、删除、转账等操作明确要求暂停给测试任务使用低风险账号或测试环境任务完成后检查 Space 中访问过的网页。第三步发送第一个任务可以输入下面这段提示词使用 ego-browser 打开 OpenAI 和 Anthropic 的博客 检查最近发布的文章找出值得关注的新信息。 要求 1. 分别列出最新文章标题、发布时间和核心内容 2. 对共同趋势进行归纳 3. 返回 Markdown 表格 4. 只读取信息不要登录、发布或修改任何内容。Agent 会创建一个 Space在里面打开目标网站读取页面、筛选文章并返回总结。七、如何查看 Agent 的执行过程任务运行时点击 ego (lite) 右上角的 Space 按钮可以进入 Space 管理面板。图 6Space 管理面板。带有运行状态提示的空间表示 Agent 正在工作。图片来源ego (lite) 官方文档。Space 的意义不仅是“隐藏窗口”而是建立一种更合理的人机协作方式Agent 在自己的空间中工作用户继续使用原有标签页Agent 遇到验证码、扫码、支付确认时暂停用户可以进入 Space 接管任务结束后页面保留方便复核访问路径和最终状态。对于企业后台、CRM、数据平台和招聘系统这种可查看、可接管、可复核的工作区尤其重要。八、理解 ego-browser 的编程模型自然语言提示词最终会被 Agent 转换成浏览器自动化脚本。ego-browser 通过 Node.js heredoc 接收一段完整流程并在脚本作用域中预注入 Helper。下面是一个经过简化的示例ego-browser nodejsEOF const task await useOrCreateTaskSpace(collect latest ai articles) await openOrReuseTab( https://openai.com/news/, { wait: true, timeout: 20 } ) // 读取当前页面的语义快照 const snapshot await snapshotText() cliLog(snapshot) // 根据最近一次 Snapshot 中的引用进行操作 // await click(12, { label: 打开最新文章 }) // 输出最终结果 cliLog({ status: page opened, title: (await pageInfo()).title }) EOF典型循环是useOrCreateTaskSpace()创建或复用任务空间openOrReuseTab()打开目标页面snapshotText()读取语义快照click()、fillInput()、scroll()执行操作页面变化后重新snapshotText()cliLog()输出最终结果。常用 HelperawaitlistTabs()awaitcurrentTab()awaitpageInfo()awaitsnapshotText()awaitcaptureScreenshot(result.png)awaitclick(21,{label:打开详情})awaitfillInput(2,keyword)awaitpressKey(Enter)awaitscrollBy(900)awaituploadFile(input[typefile],/absolute/path/report.pdf)awaitwaitForNetworkIdle()对于普通表单页面应优先使用 Snapshot 中的N、loc或 CSS Selector对于 Canvas、复杂可视化和无障碍树不完整的页面则可能需要截图与坐标操作配合。九、三个可以直接复制的实战任务场景一读取登录后的 CRM 待办使用 ego-browser 打开我的 CRM 待办页面。 请筛选状态为“待跟进”、负责人为我的记录 返回客户名称、最近联系时间、下一步计划和详情链接。 只读取不要修改字段不要新增跟进记录。场景二整理需要 Review 的 GitHub PR打开我的 GitHub Notifications 筛选需要我 Review 的 Pull Request。 按仓库名称分组返回 - PR 标题 - 作者 - 更新时间 - 链接 - 是否存在失败的检查 不要归档通知不要标记已读不要提交 Review。场景三下载后台报表打开数据后台的订单报表页面 筛选昨天 00:00 至 23:59 的订单并准备导出 CSV。 在点击最终“确认导出”之前暂停 告诉我当前筛选条件和预计记录数 等待我确认后再继续。这些提示词有一个共同结构目标网站 具体任务 过滤条件 禁止动作 暂停条件 输出格式任务描述越清楚Agent 越不需要猜测。十、权限与安全不要把 Full access 理解为“无限授权”图 7适合自动执行的任务以及必须由用户确认的高风险操作。浏览器 Agent 能够复用真实登录状态因此安全边界必须比普通问答更加严格。适合自动执行搜索和读取页面筛选列表整理结构化信息下载报表生成草稿保存截图检查后台状态。应当暂停并交给用户验证码、扫码和硬件密钥支付、下单、转账和退款发送邮件、发布内容和提交表单删除、归档和批量修改授权第三方应用任何不可逆或高影响操作。推荐在提示词中明确加入只读不要修改任何数据。 遇到登录验证、发布、提交、支付、删除或授权操作时立即停止 说明当前页面状态并等待我确认。十一、ego (lite) 与其他浏览器方案有什么不同方案典型用途是否复用真实登录状态是否适合 Agent 临时任务主要特点普通 Web Search公开信息检索否是轻量但不能完成真实交互Playwright / Puppeteer稳定的自动化测试和脚本需要专门配置可以工程化强适合开发者维护代码云浏览器 Agent远程网页任务通常需要重新登录是易扩展但数据与会话在云端ego (lite) ego-browser本机真实浏览器 Agent是是本地会话、Space 隔离、可查看与接管这并不意味着 ego-browser 要替代 Playwright 或 Puppeteer。稳定、重复、需要 CI 的自动化测试Playwright 仍然非常合适公开资料检索普通 Web Search 更轻需要登录状态、人工接管和临时工作流时ego (lite) 更有优势。正确选择取决于任务而不是工具之间简单的“谁更强”。十二、常见问题与排查方法1. Agent 中找不到/ego-browser检查是否已经完成 ego (lite) Onboarding~/.agents/skills或~/.claude/skills是否存在 SkillAgent 是否需要重启才能重新扫描 Skill是否可以使用独立安装命令。npx skillsaddgithub:CitroLabs/ego-lite/skills/ego-browser2. Agent 无法启动 ego (lite)通常与沙箱权限有关。检查 Agent 是否允许启动本机应用访问网络执行 ego-browser 命令访问任务所需文件路径。在 Codex 中可为当前任务启用 Full access但仍要用提示词限制高风险动作。3. 出现Unknown ref或元素引用失效N只属于最近一次 Snapshot。页面跳转、刷新或重新渲染后应重新执行constlatestawaitsnapshotText()cliLog(latest)需要长期稳定引用时优先使用 Snapshot 中的loc或 CSS Selector。4. 页面是 CanvasSnapshot 找不到按钮可以改用captureScreenshot()坐标点击js()读取页面运行时数据原始 CDP 命令人工进入 Space 确认。5. 登录状态没有迁移成功建议确认Onboarding 时选择了正确的浏览器资料系统密码授权是否完成目标网站是否要求重新验证Cookie 是否已经过期网站是否限制新浏览器或新设备登录。十三、给技术团队的落地建议1. 从只读任务开始第一阶段只做信息读取列表筛选报表下载截图结果汇总。等任务路径稳定后再逐步增加表单填写和修改操作。2. 把“确认点”写进任务模板企业场景可以统一定义读取动作自动执行 草稿动作自动执行 提交动作等待确认 删除动作禁止执行 支付动作禁止执行 权限变更禁止执行3. 为重要任务保留证据输出结果时要求 Agent 同时提供访问过的页面关键筛选条件记录数量详情链接截图路径下载文件路径未完成或等待确认的动作。4. 使用测试账号和测试环境涉及 CRM、财务和内部管理系统时优先使用测试账号最小权限账号Staging 环境可恢复的数据副本只读角色。5. 将高频流程沉淀为 Skill一次性任务可以直接描述重复任务应逐步沉淀为固定任务模板稳定 Selector站点经验校验规则输出结构失败回退策略。这样才能从“偶尔能跑”升级为“可复用的生产流程”。十四、总结ego (lite) 展示了一种值得关注的 Agent 产品形态AI 不再只停留在聊天窗口中而是通过真实浏览器进入用户已经登录的工作环境。它的关键不是简单的“自动点击”而是几项能力的组合复用真实 Chromium 会话通过 Skill 连接主流 AI Agent使用 Space 隔离任务工作区用 Snapshot 降低网页理解成本在验证码、支付和不可逆操作前交还用户保留页面和执行过程便于人工复核。对于开发者和技术团队最合理的上手方式不是立刻追求全自动而是先选择一个明确、只读、可验证的小任务跑通“打开网页—读取 Snapshot—执行操作—返回结果—人工复核”的闭环。当这条闭环稳定之后浏览器 Agent 才真正有机会从演示工具成长为日常工作流的一部分。参考资料ego (lite) 官方快速开始https://lite.ego.app/document/zh/docs/quick-startSpace 文档https://lite.ego.app/document/zh/docs/spaceSnapshot 文档https://lite.ego.app/document/zh/docs/snapshotego-browser 文档https://lite.ego.app/document/zh/docs/ego-browser