Codex Computer Use 完整指南:AI 自动操控 Mac 与 Windows 桌面实战详解
先说结论。
看屏、点按、打字
后台
前台接管

Computer Use 到底是什么
先把它和Codex里几个容易混淆的东西分清楚。
Computer Use
Codex CLI
屏幕上的GUI
Computer Use
Chrome扩展
整个桌面
官方对它的描述很直白:让Codex“seeing, clicking, and typing”——看见、点击、输入。它截屏理解界面,决定点哪里、输入什么,再执行。macOS和Windows的关键差别在于,这套动作跑在前台还是后台:macOS上官方明确任务可以在
后台
同一轮4月16日的更新,还给Codex桌面app加了内置浏览器(能在渲染出的页面上直接批注);再早一点(3月25日)上线的插件系统,把skills、app集成、MCP server打包成可安装的bundle。这些本文都不展开,只聚焦Computer Use。
三条能力线和时间线
Computer Use不是一次性全部发布的,分三次上线,能力边界各不相同。搞清楚你手头版本能用到哪一步,很重要:
| 能力 | 上线日期 | 版本 | 平台 | 特点 |
|---|---|---|---|---|
| 后台 Computer Use | 2026-04-16 | v26.415 | macOS | 后台运行,不占用你的输入设备 |
| 锁屏后继续(Locked / Remote) | 2026-05-21 | v26.519 | macOS | Mac锁屏后仍能操作,可从Codex Mobile远程触发 |
| Windows Computer Use | 2026-05-29 | v26.527 | Windows | 前台接管 |
macOS和Windows的体验差别,是这套功能里最值得记住的一条:
- :官方明确任务可以在后台运行,你同时能在别处干活。Codex在后台操作,不占用你的鼠标键盘,你在前台照常写代码。
macOS后台模式
- :Codex直接接管当前会话,你会亲眼看着指针自己动、字自己敲。任务期间,这台机器基本就交出去了,别去抢鼠标——一抢就会打断。
Windows前台接管
Locked Computer Use
需要注意
区域
2026年6月16日起,这三地也已开通
安装与授权(macOS)
安装Computer Use分两步:装插件,给系统权限。
第一步,装插件。
Settings → Computer Use → Install
第二步,给macOS系统权限。
- :让Codex能“看见”目标app的画面。没有这个,它就是瞎的。
屏幕录制(Screen Recording)
- :让Codex能代替你点击、输入、导航。没有这个,它看得见但动不了。
辅助功能(Accessibility)
第一次触发时,macOS会弹出授权请求,跟着授权即可;如果当时点了拒绝,之后需要手动去“系统设置 → 隐私与安全性”里把Codex勾上,再重启app。注意,这两个是
系统层的权限
使用时如何指定操作对象。
@Computer 打开 Keynote,把第 3 页的标题字号调到 40
@Safari 帮我把这几个 tab 里的报价整理成一张表
@Computer 是泛指桌面,@具体app名 是点名某个应用。Codex每碰一个新app,都会先问你要不要放行;对信任的app,可以勾选
Always allow
Windows侧
$CODEX_HOME/computer-use/config.toml
在这里维护白名单/黑名单,比一个个弹窗点更适合批量管理。
什么活适合交给它,什么活别交
Computer Use擅长的是“有GUI、没API、重复、可回退”的活。典型的适合场景:
- :在设计工具、老旧内部客户端里批量改配置、导出文件。
没有API的桌面软件里的重复操作
- :从一个app读数据,填到另一个没有集成的app里。
跨app的搬运
- :配合内置浏览器,在渲染出来的页面上直接指着说“这个按钮往左挪”。
前端/游戏的“看着改”
- (仅macOS后台模式):把重复的GUI操作丢给它在后台跑,你继续写自己的代码。
后台批量跑的杂活
反过来,下面这些事别用Computer Use,有更好的路子:
- :这是Codex CLI的主场,别绕到GUI里点。
纯代码改动
- :能调接口就别截屏点按钮。GUI自动化是“没有更好接口时的兜底”,不是首选——它慢、脆、认界面。
有API/MCP的事
- :删库、批量改生产数据、点“确认支付”。Computer Use擅长无人值守地把活干完,但不擅长判断“这一步该不该点”。
不可回退的高危操作
安全模型:它做不到的事,和随时叫停
这块是Computer Use敢于在后台/锁屏下运行的底气,也是你敢放手的前提。
硬边界(官方写死的,改设置也绕不开):
- ,也
不能自动化终端类app
——防止用GUI自动化去跑命令绕过sandbox。不能操作Codex自己
- ,
不能以管理员身份认证
——防止提权。遇到admin弹窗,它会停下等你。不能替你点掉系统的安全/隐私授权弹窗
你手里的闸:
任务期间,
;Codex盯错窗口了,直接取消。随时能接管或叫停
macOS锁屏使用(Locked Computer Use)的安全设计:Codex装一个 Apple授权插件参与解锁流程,任务期间临时解锁,但
,授权窗口短暂且只绑定当前这次操作;所有显示器保持被锁屏画面盖住
并停掉自动解锁。没有长期授权这回事。你一碰本机键盘/触控板/鼠标,Mac立刻重新锁上
文件编辑和shell命令仍然走Codex原有的审批和sandbox设置,Computer Use不给它们开后门。
实操上就一条原则:
把任务切窄,一次只盯一个目标
国内的三道墙
Computer Use是Codex桌面app的功能,需要用ChatGPT账号登录桌面app才能开启,运行Codex任务需要ChatGPT Plus(20美元/月起)或Pro订阅。这意味着国内用户会连续撞到三个独立卡点,任何一个出问题都用不了。
第一道墙:ChatGPT账号。
第二道墙:海外支付。
第三道墙:网络。
api.openai.com、chatgpt.com 这些域名发送握手请求。这些域名在境内出口不稳定,落到Computer Use这种连续、实时的操作上,就是“点到一半卡住、光标停在那不动”。而且Computer Use每一步决策都需要一次模型往返,网络抖动会被放大得比纯CLI更明显。
第三道墙最隐蔽:前两道墙在安装之前就能知道过不过得去,第三道墙是装完跑了半小时,才发现线路不稳。
凑不齐三件套:能替代到哪一步
先把话说清楚,免得白折腾:
“让AI拿光标接管你本机所有GUI app”这件事,目前没有任何第三方的等价替代。
能替代的是这两块:
一、编程能力走Codex CLI + 网关。
npm install -g @openai/codex
codex --version
然后写 ~/.codex/config.toml:
model = "openai/gpt-5.3-codex"
model_provider = "ofoxai"
preferred_auth_method = "apikey"
[model_providers.ofoxai]
name = ""
base_url = ""
env_key = "API_KEY"
wire_api = "responses"
API_KEY 在控制台里Create new key获得,export API_KEY=sk-... 放进shell。wire_api = "responses" 不是可选项——Codex CLI早已把 chat 标记为弃用,现在只认 responses。配置细节不熟悉的话,先把基础跑通更省事。
二、浏览器类自动化走CLI + Browser MCP。
剩下真正替代不了的,是“操作没有API、也不在浏览器里的原生桌面app”这一类活。这种就得凑齐三件套走官方,或者接受它暂时做不了。
Computer Use(app)vs API侧的computer工具
还有个容易混淆的点:OpenAI有两套“computer use”。
- :Codex桌面app的Computer Use,面向个人用户,装插件、给系统权限、@一下就能用,不写代码。
本文讲的这套
- :走Responses API,给开发者自己在应用里搭建computer-use循环用的,需要你写代码接管截屏→模型决策→执行动作的整个循环。
API侧的
computer工具
两者别混。想要“开箱即用地让AI操作我的电脑”,是app这套;想“在自己产品里嵌一个能操作虚拟机/浏览器的agent”,才是API那套。
怎么挑下一步
按你手头条件和真实需求对号入座:
- → 直接走官方Computer Use,macOS后台模式不占你的输入设备,最省心。
有Plus/Pro + 海外卡 + 稳定海外网络出口
- ,其实用不上桌面接管 → Codex CLI + 网关,链路不碰openai.com,成本是订阅的零头。
只想让Codex写代码
- → CLI + Browser MCP,能替代到八成。
要的是浏览器自动化
- → 暂时没有等价方案,要么补齐三件套,要么等区域/渠道放开。
必须操作原生桌面app,且凑不齐三件套
如果你还在Codex、Claude Code、Cursor之间犹豫,可以看看相关的横评对比——Computer Use这种“接管整个桌面”的能力,目前是Codex相对其他几家的一张独有牌。
常见问题速查
装了插件但Codex说看不到屏幕/点不动
重启Codex app
@Computer没反应,Codex只回文字
$CODEX_HOME/computer-use/config.toml)。
Windows上Codex一跑就抢我鼠标
锁屏后任务停了
旧版本在欧盟/英国看不到Computer Use
CLI替代方案报401
API_KEY 没export,或值是占位符。echo $API_KEY 确认有值,还不行就去控制台重新生成一个key。
参考信息来源
Computer Use — Codex App(官方文档)
Codex Changelog(官方发布记录)
Codex App — 官方下载与说明