首页 > 教程攻略 > ai资讯 >Codex Computer Use 完整指南:AI 自动操控 Mac 与 Windows 桌面实战详解

Codex Computer Use 完整指南:AI 自动操控 Mac 与 Windows 桌面实战详解

来源:互联网 时间:2026-07-14 13:18:04

先说结论。

OpenAI 在4月16日给Codex桌面app推送了Computer Use功能——Codex现在能

看屏、点按、打字

,直接接管你桌面上的任意GUI应用,不再局限于浏览器。macOS上它在

后台

运行,不占用你的鼠标键盘,你可以同时用电脑做别的事;Windows上则是

前台接管

(5月29日的v26.527版本才补上)。从“聊天框里的编程助手”变成“会自己动手操作整台电脑的agent”,这次更新真正跨过了那道线。国内照例卡在三道墙——ChatGPT账号、海外支付、网络——凑齐了就走官方;凑不齐,桌面接管这一刀没有等价替代,但编程模型可以用Codex CLI加网关本地化。

Codex Computer Use 完整指南:AI 自动操控 Mac 与 Windows 桌面实战详解

Computer Use 到底是什么

先把它和Codex里几个容易混淆的东西分清楚。

Computer Use

Codex CLI

:CLI是终端里的编程agent,负责读写文件、跑命令,作用域是你的代码仓库。Computer Use是桌面app的能力,作用域是

屏幕上的GUI

——它看的是像素,点的是按钮。

Computer Use

Chrome扩展

:Chrome扩展(5月7日发布)接管的是你已登录的真实Chrome,作用域限制在浏览器内;Computer Use的作用域是

整个桌面

,浏览器只是它能操作的众多app之一,原生应用、系统设置、设计软件都在射程内。如果你只需要跨tab操作网页、调DevTools,读Codex Chrome扩展教程那篇更对症;要的是“操作整台电脑”,才用Computer Use。

官方对它的描述很直白:让Codex“seeing, clicking, and typing”——看见、点击、输入。它截屏理解界面,决定点哪里、输入什么,再执行。macOS和Windows的关键差别在于,这套动作跑在前台还是后台:macOS上官方明确任务可以在

后台

运行,你同时能在别处干活,不占用你的鼠标键盘;Windows则是前台接管(下一节展开)。

同一轮4月16日的更新,还给Codex桌面app加了内置浏览器(能在渲染出的页面上直接批注);再早一点(3月25日)上线的插件系统,把skills、app集成、MCP server打包成可安装的bundle。这些本文都不展开,只聚焦Computer Use。

三条能力线和时间线

Computer Use不是一次性全部发布的,分三次上线,能力边界各不相同。搞清楚你手头版本能用到哪一步,很重要:

能力 上线日期 版本 平台 特点
后台 Computer Use 2026-04-16 v26.415 macOS 后台运行,不占用你的输入设备
锁屏后继续(Locked / Remote) 2026-05-21 v26.519 macOS Mac锁屏后仍能操作,可从Codex Mobile远程触发
Windows Computer Use 2026-05-29 v26.527 Windows

前台接管

,任务期间占用当前桌面会话

macOS和Windows的体验差别,是这套功能里最值得记住的一条:

  • macOS后台模式

    :官方明确任务可以在后台运行,你同时能在别处干活。Codex在后台操作,不占用你的鼠标键盘,你在前台照常写代码。

  • Windows前台接管

    :Codex直接接管当前会话,你会亲眼看着指针自己动、字自己敲。任务期间,这台机器基本就交出去了,别去抢鼠标——一抢就会打断。

Locked Computer Use

是为“设个目标、锁上电脑、明早看结果”这类长任务准备的:Mac锁屏后,Codex仍能驱动桌面app,还能用Codex Mobile从手机远程发任务给你留在工位的Mac。它的安全模型比功能本身更值得关注,下面单独讲。

需要注意

区域

:Computer Use初期(4月16日macOS首发时)在欧盟经济区(EEA)、英国、瑞士不开放;

2026年6月16日起,这三地也已开通

(官方changelog)。这跟国内的墙是两码事——国内没进白名单也没进黑名单,卡的是下面要讲的三道墙。

安装与授权(macOS)

安装Computer Use分两步:装插件,给系统权限。

第一步,装插件。

在Codex桌面app里:

Settings → Computer Use → Install

第二步,给macOS系统权限。

这是最容易卡住的地方。Codex需要在“系统设置 → 隐私与安全性”里获得两个权限:

  • 屏幕录制(Screen Recording)

    :让Codex能“看见”目标app的画面。没有这个,它就是瞎的。

  • 辅助功能(Accessibility)

    :让Codex能代替你点击、输入、导航。没有这个,它看得见但动不了。

第一次触发时,macOS会弹出授权请求,跟着授权即可;如果当时点了拒绝,之后需要手动去“系统设置 → 隐私与安全性”里把Codex勾上,再重启app。注意,这两个是

系统层的权限

,和Codex内部“允许操作哪个app”是两回事——系统权限管的是“Codex能不能看和动”,app授权管的是“Codex具体能碰哪个应用”。

使用时如何指定操作对象。

在prompt里用mention圈定范围:

@Computer 打开 Keynote,把第 3 页的标题字号调到 40
@Safari 帮我把这几个 tab 里的报价整理成一张表

@Computer 是泛指桌面,@具体app名 是点名某个应用。Codex每碰一个新app,都会先问你要不要放行;对信任的app,可以勾选

Always allow

,免得每次都要弹窗。放行清单开之前要想清楚——Always allow等于把那个app的操作权长期交出去了。

Windows侧

的差别:除了前台接管这个体验区别,允许/拒绝的app清单是写在配置文件里的:

$CODEX_HOME/computer-use/config.toml

在这里维护白名单/黑名单,比一个个弹窗点更适合批量管理。

什么活适合交给它,什么活别交

Computer Use擅长的是“有GUI、没API、重复、可回退”的活。典型的适合场景:

  • 没有API的桌面软件里的重复操作

    :在设计工具、老旧内部客户端里批量改配置、导出文件。

  • 跨app的搬运

    :从一个app读数据,填到另一个没有集成的app里。

  • 前端/游戏的“看着改”

    :配合内置浏览器,在渲染出来的页面上直接指着说“这个按钮往左挪”。

  • 后台批量跑的杂活

    (仅macOS后台模式):把重复的GUI操作丢给它在后台跑,你继续写自己的代码。

反过来,下面这些事别用Computer Use,有更好的路子:

  • 纯代码改动

    :这是Codex CLI的主场,别绕到GUI里点。

  • 有API/MCP的事

    :能调接口就别截屏点按钮。GUI自动化是“没有更好接口时的兜底”,不是首选——它慢、脆、认界面。

  • 不可回退的高危操作

    :删库、批量改生产数据、点“确认支付”。Computer Use擅长无人值守地把活干完,但不擅长判断“这一步该不该点”。

安全模型:它做不到的事,和随时叫停

这块是Computer Use敢于在后台/锁屏下运行的底气,也是你敢放手的前提。

硬边界(官方写死的,改设置也绕不开):

  • 不能自动化终端类app

    ,也

    不能操作Codex自己

    ——防止用GUI自动化去跑命令绕过sandbox。

  • 不能以管理员身份认证

    不能替你点掉系统的安全/隐私授权弹窗

    ——防止提权。遇到admin弹窗,它会停下等你。

你手里的闸:

  • 任务期间,

    随时能接管或叫停

    ;Codex盯错窗口了,直接取消。

  • macOS锁屏使用(Locked Computer Use)的安全设计:Codex装一个 Apple授权插件参与解锁流程,任务期间临时解锁,但

    所有显示器保持被锁屏画面盖住

    ,授权窗口短暂且只绑定当前这次操作;

    你一碰本机键盘/触控板/鼠标,Mac立刻重新锁上

    并停掉自动解锁。没有长期授权这回事。

  • 文件编辑和shell命令仍然走Codex原有的审批和sandbox设置,Computer Use不给它们开后门。

实操上就一条原则:

把任务切窄,一次只盯一个目标

;不需要的敏感app提前关掉;账号、支付、凭证相关的操作,人留在现场看着。

国内的三道墙

Computer Use是Codex桌面app的功能,需要用ChatGPT账号登录桌面app才能开启,运行Codex任务需要ChatGPT Plus(20美元/月起)或Pro订阅。这意味着国内用户会连续撞到三个独立卡点,任何一个出问题都用不了。

第一道墙:ChatGPT账号。

Computer Use和Chrome扩展、cloud threads一样,属于消耗ChatGPT积分的那一档功能,必须用ChatGPT账号登录桌面app。账号免费可注册,但要跑任务得有Plus或Pro订阅。

第二道墙:海外支付。

ChatGPT订阅只收Visa/Master/AmEx这类海外发卡方,境内主流双标卡大多被风控。Apple ID改区加礼品卡,是社区里跑通较多的路径,但苹果这两年对跨区礼品卡也在收紧。

第三道墙:网络。

Codex桌面app是常驻进程,启动后持续向 api.openai.comchatgpt.com 这些域名发送握手请求。这些域名在境内出口不稳定,落到Computer Use这种连续、实时的操作上,就是“点到一半卡住、光标停在那不动”。而且Computer Use每一步决策都需要一次模型往返,网络抖动会被放大得比纯CLI更明显。

第三道墙最隐蔽:前两道墙在安装之前就能知道过不过得去,第三道墙是装完跑了半小时,才发现线路不稳。

凑不齐三件套:能替代到哪一步

先把话说清楚,免得白折腾:

“让AI拿光标接管你本机所有GUI app”这件事,目前没有任何第三方的等价替代。

Computer Use是Codex桌面app的原生系统级功能,依赖macOS/Windows的屏幕录制和辅助功能权限,不是一个能换API网关就搬过来的东西。

能替代的是这两块:

一、编程能力走Codex CLI + 网关。

如果你需要Computer Use,主要是为了让Codex帮你写代码、跑仓库任务,那GUI接管其实用不上,Codex CLI就够,而且模型可以本地化。Codex CLI支持自定义base_url,改向兼容网关后,整条链路不再碰openai.com。先确认CLI装好:

npm install -g @openai/codex
codex --version

然后写 ~/.codex/config.toml

model = "openai/gpt-5.3-codex"
model_provider = "ofoxai"
preferred_auth_method = "apikey"

[model_providers.ofoxai]
name = ""
base_url = ""
env_key = "API_KEY"
wire_api = "responses"

API_KEY 在控制台里Create new key获得,export API_KEY=sk-... 放进shell。wire_api = "responses" 不是可选项——Codex CLI早已把 chat 标记为弃用,现在只认 responses。配置细节不熟悉的话,先把基础跑通更省事。

二、浏览器类自动化走CLI + Browser MCP。

如果你需要Computer Use,其实是为了操作网页——填表、爬数据、跑端到端测试——那用Codex CLI配Playwright MCP或chrome-devtools MCP,能替代到八成,登录态、DevTools都能用。这条路的具体配置,在Codex Chrome扩展教程里已经讲透了,这里不重复。

剩下真正替代不了的,是“操作没有API、也不在浏览器里的原生桌面app”这一类活。这种就得凑齐三件套走官方,或者接受它暂时做不了。

Computer Use(app)vs API侧的computer工具

还有个容易混淆的点:OpenAI有两套“computer use”。

  • 本文讲的这套

    :Codex桌面app的Computer Use,面向个人用户,装插件、给系统权限、@一下就能用,不写代码。

  • API侧的 computer 工具

    :走Responses API,给开发者自己在应用里搭建computer-use循环用的,需要你写代码接管截屏→模型决策→执行动作的整个循环。

两者别混。想要“开箱即用地让AI操作我的电脑”,是app这套;想“在自己产品里嵌一个能操作虚拟机/浏览器的agent”,才是API那套。

怎么挑下一步

按你手头条件和真实需求对号入座:

  • 有Plus/Pro + 海外卡 + 稳定海外网络出口

    → 直接走官方Computer Use,macOS后台模式不占你的输入设备,最省心。

  • 只想让Codex写代码

    ,其实用不上桌面接管 → Codex CLI + 网关,链路不碰openai.com,成本是订阅的零头。

  • 要的是浏览器自动化

    → CLI + Browser MCP,能替代到八成。

  • 必须操作原生桌面app,且凑不齐三件套

    → 暂时没有等价方案,要么补齐三件套,要么等区域/渠道放开。

如果你还在Codex、Claude Code、Cursor之间犹豫,可以看看相关的横评对比——Computer Use这种“接管整个桌面”的能力,目前是Codex相对其他几家的一张独有牌。

常见问题速查

装了插件但Codex说看不到屏幕/点不动

:屏幕录制或辅助功能权限没给全。去“系统设置 → 隐私与安全性”把Codex的两个权限都勾上,勾完

重启Codex app

(权限变更不重启不生效)。

@Computer没反应,Codex只回文字

:多半是目标app没放行。检查Codex的app授权提示有没有被忽略,或者手动把该app加进允许清单(Windows是 $CODEX_HOME/computer-use/config.toml)。

Windows上Codex一跑就抢我鼠标

:这是预期行为——Windows是前台接管,任务期间它就是要占用当前桌面。要后台并行,只有macOS有。

锁屏后任务停了

:Locked Computer Use是macOS专属(v26.519+),且你一碰本机输入设备,它就会重新锁屏并停掉自动解锁。确认版本够新,任务期间别去动键盘触控板。

旧版本在欧盟/英国看不到Computer Use

:EEA、英国、瑞士是2026年6月16日才开通的,比macOS首发(4月16日)晚。把Codex app升到最新版再看。

CLI替代方案报401

API_KEY 没export,或值是占位符。echo $API_KEY 确认有值,还不行就去控制台重新生成一个key。

参考信息来源

  • Computer Use — Codex App(官方文档)

  • Codex Changelog(官方发布记录)

  • Codex App — 官方下载与说明