网易首页 > 网易号 > 正文 申请入驻

Manus带火电脑使用,一文带你全面认知Computer Use Agent

0
分享至

文 | 王吉伟
  • 聊一聊 Computer Use Agent,Claude 3.5 Sonnet到Manus的技术演进
  • 什么是Computer Use Agent?都有哪些产品和项目?一篇文章看明白
  • 想要了解Computer Use Agent,看这一篇文章就够了
  • 从Claude 3.5 Sonnet到Operator到Manus,Computer Use Agent是个啥?
  • 一文读懂什么是Computer Use Agent,电脑使用智能体即将爆发

Manus的火爆带热了多个技术概念,Computer Use Agent就是其中之一。但要探讨这种“电脑使用”智能体,还得从Claude 3.5 Sonnet说起。

2024年10月,Anthropic发布了Claude 3.5 Sonnet,首次将“Computer Use”能力推向公众视野,掀起了一波关于“AI操作电脑”的热潮。当时,这一功能被描述为“突破性”的技术:开发人员可以通过API指导Claude像人类一样使用计算机——查看屏幕、移动光标、点击按钮、输入文本。

能操作电脑的智能体火了后,国内的智谱AutoGLM也火过一段时间,并且在二级市场成功催生了Computer Use相关的概念股。

只是热潮过后,讨论逐渐冷却。原因何在?一方面,这项功能仍处于公测阶段,体验上“笨拙且易出错”,需要开发者自行部署,普通用户难以直接上手;另一方面,其实际应用场景尚未完全打开,更多停留在概念验证阶段。


紧随其后,2025年1月,OpenAI推出了Operator及其核心模型Computer-Using Agent(CUA),将这一领域推向新高度。与Anthropic的“Computer Use”术语不同,OpenAI采用了“CUA”这一更具技术感的命名。

Operator被定义为“通过强化学习融合GPT-4o视觉能力与高级推理的模型”,能够直接与图形用户界面(GUI)交互,无需依赖特定API。OpenAI强调,CUA不仅能处理浏览器任务(如订票、购物),还具备扩展至桌面应用的潜力,展现了从“对话AI”向“行动AI”的转型趋势。但仅限$200/月的Pro用户使用门槛,仍然劝退了大部分人。

Operator的发布与CUA概念的推广,仍然没有激起多大水花。

直到2025年3月,Monica.im团队发布了号称“全球首款通用型 AI Agent”的Manus,进一步将Computer Use Agent的概念推向产品化。Manus 的宣传语更是直击用户痛点:独立思考、规划并执行复杂任务,覆盖40多个领域。 它不仅能处理文件、分析数据,还能创作内容,甚至在 GAIA 基准测试中以 86.5% 的准确率碾压竞品,成本却仅为对手的1/10。

相比Claude的实验性和Operator的高不可攀,Manus更注重用户体验与实用性,目前虽处于内测阶段,但已计划开源部分模型,显示出更大的野心。只是,大部分人到现在还拿不到邀请码。

需要说明的是,Computer Use Agent玩家已经有不少。比如Google DeepMind推出的基于Gemini 2的Project Mariner基于,主攻浏览器自动化;微软则通过Windows Agent Arena探索多模态OSAgent,同时微软还有UFO、OmniParser等多个开源项目。智谱的GLM-PC则以CogAgent为核心,支持跨平台任务。

扩展阅读:还拿不到Manus邀请码?试试这几款开箱即用的computer use智能体,附教程

这些项目各有侧重,但都指向一个共同目标:让AI成为真正能够操作一切的数字助手。当然开源社区也不甘落后,像OpenInterpreter、OpenAdapt等早期项目层出不穷。而快速复刻Manus的OpenManus、OWL等项目也正在快速迭代中,并有更多项目正在开发。

这些进展不仅体现了AI从“理解”到“执行”的转变,也引发了我们对未来人机交互的想象。说了那么多,到底什么是Computer Use Agent?目前都有哪些产品和开源项目?有没有相关的学术论文可以学习?这篇文章,王吉伟频道就给大家聊聊这些,也欢迎大家在文末留言讨论。

从Claude 3.5 Sonnet谈起

Anthropic在2024年10月发布发布Claude 3.5 Sonnet的时候,重点介绍了它的computer use能力。当时“能够操作电脑的模型”火了很长一段时间,但后来就偃旗息鼓了。这是为什么呢?主要在于大家对它的感知并不强,因为需要部署,不懂点代码的人都体验不了。

在Claude 3.5的发布中,Anthropic对computer use做了以下介绍:

公开测试版中引入了一项突破性的新功能:计算机使用(computer use)。今天在应用编程接口上,开发人员可以指导克劳德像人们一样使用计算机——通过看屏幕、移动光标、点击按钮和键入文本。

Claude 3.5 Sonnet是第一个在公开测试版中提供计算机使用的前沿人工智能模型。在现阶段,它仍处于试验阶段——有时很麻烦,容易出错。我们将提前发布计算机使用情况,以供开发人员反馈,并预计随着时间的推移,该功能将迅速改进。


作为首款支持此能力的前沿模型,Claude 3.5 Sonnet在OSWorld基准测试中取得了14.9%的成功率,虽然远低于人类的70-75%,但已显著领先同类AI的7.8%。

其实Anthropic到目前推出的还只是CUA的demo体验项目,王吉伟频道在去年11月体验过,它需要通过docker进行部署。懂点代码感兴趣的小伙伴,可以部署体验一下。

项目地址:https://github.com/anthropics/anthropic-quickstarts

而OpanAI在发布Operator以后,重点介绍了计算机使用Agent。在用词方面,OpanAI与Anthropic稍有区别,用的是 Computer-Using Agent (CUA)。原文如下:

Operator(opens in a new window)是一个可以转到Web为用户执行任务的Agent,而为它提供动力的正是CUA,这是一种过强化学习将GPT-4o的视觉能力与高级推理相结合的模型。CUA 经过训练,可以像人类一样与图形用户界面(GUI) 交互,即人们在屏幕上看到的按钮、菜单和文本字段。这使它能够灵活地执行数字任务,而无需使用特定于作系统或 Web 的 API。

CUA建立在多模态理解和推理交叉点的多年基础研究之上。通过将高级GUI感知与结构化问题解决相结合,它可以将任务分解为多步骤计划,并在出现挑战时自适应地自我纠正。此功能标志着 AI 开发的下一步,允许模型使用人类每天依赖的相同工具,并为大量新应用打开大门。

在官方介绍中,这种设计让CUA在OSWorld中拿下38.1%的成功率,在WebVoyager中更是高达87%,接近人类水平。OpenAI强调,CUA不仅能处理浏览器任务(如订票、购物),还具备扩展至桌面应用的潜力,展现了从“对话AI”向“行动AI”的转型趋势。不过,Operator目前仅限$200/月的Pro用户使用,门槛依然不低。


CUA依赖视觉模型和高级推理模型,两种能力也决定了CUA的能力。所以Manus发布之后,很多复刻它的开源项目比如OpenManus等目前在体验上还有所欠缺,在于大家在模型的选择上使用兼容OpenAI Function Call的模型,但在推理方面要差一些。

最近OpenAI还发布了集成至Responses API的工具包Computer Use Tool,允许开发者调用模型生成的鼠标/键盘操作,覆盖网页和部分桌面应用场景。

Manus是由Monica.im团队开发的一款通用型AI智能体,于2025年3月发布,旨在通过自主任务闭环能力直接交付复杂任务成果,而非仅提供建议。它采用多Agent架构,将任务拆解为子任务并执行,覆盖办公提效、数据分析、跨平台工具集成等多种场景,支持高精度动作捕捉和团队协作功能。

其规划Agent使用蒙特卡洛树搜索优化任务拆解效率,执行Agent调用多种工具完成任务,验证Agent则确保结果准确性。Manus在GAIA基准测试中表现卓越,基础任务得分86.5分,中等难度任务得分70.1分,高难度任务得分57.7分,单任务成本仅为竞品的 1/10,展现了强大的任务执行能力,并且远超同期竞品。

Manus的出现标志着AI智能体技术的新高度,其低代码化设计使用户无需编程即可搭建自动化流程。由于其强大的功能,开源社区迅速推出了多个复刻项目,如OpenManus和OWL,它们分别由MetaGPT团队和CAMEL AI团队开发,支持网页浏览、文件操作、代码编写等任务,且在GAIA测试中表现优异。

Manus及其复刻项目在办公效率提升、生活服务升级和专业领域支持等方面具有广泛的应用前景,有望在更多场景中发挥重要作用,推动AI技术的进一步发展。

从Claude 3.5 Sonnet到Operator,再到Manus,Computer Use Agent的进化路径逐渐清晰。Claude开启了这一领域的探索,强调视觉感知与GUI交互;CUA则在推理与适应性上迈出关键一步;而Manus通过多Agent协作与成本优化,试图将技术落地到日常场景。

通过上面的介绍,相信大家对computer use已经有了初步认识。

CUA 的定义与工作原理

结合各种文献以及科技博文,可以为Computer Use Agent下一个简单的定义。

Computer Use Agent是一种能够过其图形用户界面 (GUI) 与计算机应用程序交互的AI系统。旨在通过计算机应用程序的GUI控制计算机应用程序并与之交互。这些Agent可以模仿人类用户操作计算机的行为,执行单击按钮、填写表单、单击按钮、导航菜单和滚动等任务。

这些Agent由高级AI模型提供支持,通常将大型语言模型 (LLM) 与多模态视觉功能相结合,使用屏幕感知、通过语言模型做出决策以及模拟鼠标/键盘输入来执行任务。例如,OpenAI 的Operator 由其计算机使用Agent (CUA) 模型提供支持,可以通过处理屏幕截图并与 Web 浏览器交互来在线预订音乐会门票或订购杂货。


它的工作原理,如下:

CUA处理屏幕截图中的原始像素数据,以了解屏幕上发生的情况。这使它能够像人类用户一样与按钮、菜单和文本字段交互,无需特定于平台的 API。其过程可分为三个步骤:

  • 感知:CUA 截取计算机屏幕的屏幕截图,以将数字环境的内容置于上下文中。这些视觉输入构成了决策的基础。
  • 推理:利用思维链推理,CUA 评估其观察结果并跟踪中间步骤的进度。通过分析过去和当前的屏幕截图,该系统可以动态地适应新的挑战和不可预见的变化。
  • 行动:CUA 使用虚拟鼠标和键盘执行键入、单击和滚动等任务。对于敏感任务,例如处理登录凭证或解决 CAPTCHA 质询,系统会寻求用户确认以确保安全性。

这种结构化的工作流程使 CUA 能够处理复杂的多步骤任务,并在遇到错误时进行自我纠正,使其成为数字问题解决的强大工具。

在主要功能和基准方面,OpenAI对CUA在计算机使用和基于浏览器的任务方面都树立了新的基准,证明了它在不同环境中的灵活性。它的性能已经使用 OSWorld、WebArena 和 WebVoyager 等平台进行了评估:

  • OSWorld:CUA 在一般计算机使用任务中取得了 38.1% 的成功率,远超之前 22.0% 的先进 (SOTA) 结果。
  • WebArena:在这个模拟电子商务和内容管理中实际任务的基准测试中,CUA 得分为 58.1%,优于之前的 SOTA 36.2%。
  • WebVoyager:测试实时网站交互(例如 Amazon、GitHub),CUA 与人类表现相匹配,成功率为 87%。


这些基准测试突出了 CUA 使用屏幕、鼠标和键盘的单一通用界面在数字环境中有效运行的能力。但是,在更复杂的场景中仍有改进的空间,例如人类成功率更高的 WebArena 任务。

CUA 最引人注目的方面之一是它能够将任务分解为多步骤计划并在面临挑战时动态适应。例如,如果网页无法正确加载或任务偏离预期路径,CUA 可以实时调整其策略。这种灵活性通过将 GUI 感知与结构化问题解决相结合而变得很有价值。

需要说明的是,Computer Use Agent和GUI Agent经常被混淆。两种智能体各有其独特的优势和适用场景:Computer Use Agent 更适合处理复杂的多任务和跨平台操作,GUI Agent则在图形用户界面交互和精准操作方面表现出色。还有一些项目,则是两种技术融合型的智能体。关于GUI Agent,我会在后面的文章中跟大家介绍。

CUA相关的产品

除了前文提到的Claude的Computer Use 、Operator、Manus ,目前对外公布的已经产品化\应用化的CUA产品,还有以下几个。

1、Project Mariner

Google DeepMind推出的Project Mariner,构建于Google的Gemini 2模型之上。该公司在12月展示了Mariner,但称其为 “早期研究原型”,并表示目前仅向 “受信任的测试人员” 提供该工具。


Project Mariner目前仅在 Chrome 浏览器中运行,并且仅在活动选项卡中运行,用户执行其他任务时,它不会在后台运行。虽然这个要求似乎在某种程度上违背了拥有一个节省时间的 AI 助手的目的,但它可能只是这个早期开发阶段的临时条件。

2、Flowith

Flowith是一款类似Manus的AI Agent产品,旨在通过其独特的节点式交互方式和强大的AI功能,为用户提供高效、多线程的AI交互体验。它不仅支持多种先进的AI模型,还提供了知识管理、内容创作、自动化任务执行等功能,适合内容创作者、研究人员、企业员工等多类用户

https://flowith.io


3、Google AI Studio

Google AI Studio是一个集成了多种 AI 功能且易于使用的 AI 开发平台,专注于简化 AI 模型的创建、优化和部署流程。该应用旨在降低 AI 开发的门槛,使开发者无需深厚的机器学习背景也能快速上手,同时为专业开发者提供强大的工具支持,以满足复杂项目的需求,快速实现 AI 驱动的创新项目。

Google AI Studio有一个功能是与程序互动,通过文字或者语音让Google AI Studio通过浏览器或者电脑做一些自动化的操作。

体验地址:https://aistudio.google.com/prompts/new_chat

4、Midscene.js

Midscene.js是一个Web 自动化开源项目,旨在让AI成为浏览器操作员。用户只需用自然语言描述需求,AI就能操作网页、验证内容和提取数据。它支持多种模型,包括UI-TARS和Qwen2.5-VL等开源模型,适用于UI自动化场景。

Midscene Chrome 扩展还支持一种桥接模式,允许用户使用本地脚本来控制 Chrome的桌面版本。下面是关于桥接模式的说明文档,感兴趣的小伙伴可以自行探索。

https://midscenejs.com/bridge-mode-by-chrome-extension.html


5、智谱GLM-PC

GLM-PC是智谱公司推出的一款基于多模态大模型CogAgent的电脑智能体。它能够像人类一样“观察”和“操作”计算机,协助用户高效完成各类电脑任务,如文档处理、网页搜索、信息整理、社交互动等。

目前GLM-PC 已经迭代升级到基于智谱多模态大模型 CogAgent的1.1.1版本,推出“深度思考”模式,同时支持 Windows和Mac 系统。大家可以通过以下网址,访问GLM-PC官网,下载适合自己系统的软件版本,这里也附上安装指南。

下载:https://cogagent.aminer.cn/home#/downloads

CUA相关的开源项目

事实上,在Manus火爆之前已经有不少CUA相关的开源项目,这里列举一些。


1、OpenInterpreter

OpenInterpreter是一个自然语言接口工具,允许大型语言模型在本地运行代码,支持Python、JavaScript等多种语言。用户可以通过类似ChatGPT的界面与计算机互动,执行文件编辑、浏览器控制和数据分析等任务。

项目链接:https://github.com/OpenInterpreter/open-interpreter

2、OpenAdapt

OpenAdapt是一个开源的行为克隆和模仿学习框架,旨在帮助AI通过观察人类行为来学习任务。它支持多种应用,包括自动化任务和复杂操作的简化。

项目链接:https://github.com/llamafactory/openadapt

3、OpenInterface

OpenInterface是一个开源项目,提供简洁的API接口,支持多种编程语言和框架,帮助开发者快速实现功能集成和自动化任务。

项目链接:https://github.com/OpenInterface

4、OmniParser

OmniParserV2,能够将大型语言模型(LLM)转化为具备计算机操作能力的智能Agent。通过视觉解析技术,将用户界面(UI)的屏幕截图转换为结构化数据,使 LLM 能够理解和操作图形用户界面(GUI),从而实现跨平台的自动化任务。

项目链接:https://github.com/microsoft/OmniParser


5、E2B Desktop Sandbox

E2B Desktop Sandbox是一个桌面沙盒环境,专为开发者设计,提供安全的测试和开发平台,支持多种操作系统和开发工具。

项目链接:https://github.com/E2B-Cloud/E2B-Desktop-Sandbox

6、Claude Computer Use Demo

该项目为MacOS提供了Claude计算机使用的演示工具,帮助用户快速上手AI驱动的计算机操作。

项目链接:https://github.com/AnthropicComputerUse

7、Computer Use - OOTB

提供开箱即用的计算机使用体验,支持多种操作系统,旨在简化用户与计算机的交互。

项目链接:https://github.com/AnthropicComputerUse

8、claude-minecraft-use

将Claude集成到Minecraft中,提供AI辅助功能,帮助玩家在游戏中实现自动化任务和复杂操作。

项目链接:https://github.com/ObservedObserver/claude-minecraft-use


9、Grunty

Grunty是一个开源的AI工具,支持多种任务自动化,适用于简单和复杂的操作。

项目链接:https://github.com/Grunty

10、Self-Operating Computer Framework

一个自运行计算机框架,支持自动化操作,适用于需要低干预的复杂任务。

项目链接:https://github.com/SelfOperatingComputerFramework

11、Anthropic Computer Use (for Mac)

Anthropic为Mac设计的计算机使用工具,提供AI驱动的交互体验。

项目链接:https://github.com/anthropics/anthropic-quickstarts

12、Cybergod

一个开源的AI驱动工具,支持多种应用,包括自动化任务和复杂操作。

项目链接:https://github.com/Cybergod

13、Bytebot

一个轻量级的AI机器人框架,适用于快速开发和部署,高级计算机控制。

项目链接:https://github.com/Bytebot


14、UI-Act

提供用户界面自动化操作的工具,支持多种操作系统和应用。

项目链接:https://github.com/UIAct

15、Upsonic

支持MCP的可靠Agent框架,集成浏览器使用和计算机使用。

项目链接:https://github.com/upsonic/upsonic

16、Grunty

计算机控制Agent,任务自动化焦点。

项目链接:https://github.com/suitedaces/computer-agent

17、Cua

计算机使用接口和Agent

项目链接:https://github.com/trycua

18、ScreenAgent

一个由视觉语言模型驱动的计算机控制Agent项目。它创建了一个与真实计算机屏幕交互的环境,Agent可通过鼠标和键盘操作观察屏幕截图并控制GUI。

项目链接:https://github.com/niuzaisheng/ScreenAgent

19、OpenManus

由MetaGPT团队开发的开源复刻版 Manus,旨在复刻并改进 Manus 的核心功能,提供无需邀请码、可本地化部署的智能体解决方案。该项目基于模块化设计,支持多种语言模型(如 GPT-4、Claude 3.5、Qwen VL Plus 等)和工具链。采用 ReAct(推理与行动)框架,将复杂任务分解为可执行的子步骤,并动态协调工具调用。提供实时反馈机制,用户可以直观地看到 AI 的思考过程和任务执行进度。

项目链接:https://github.com/OpenManus/OpenManus


20、OWL

OWL(Optimized Workforce Learning for General Multi-Agent Assistance in Real-World Task Automation)是由CAMEL-AI团队开发的开源多智能体协作框架,旨在复刻并超越Manus的核心功能。OWL专注于通过多智能体协作实现任务自动化,其目标是彻底变革AI智能体解决现实任务的方式。

项目链接:https://github.com/camel-ai/owl

21、OpenHands

OpenHands是一个由AI驱动的软件开发代理平台,核心定位是“让AI智能体成为全栈开发者”。它能够执行代码修改、命令运行、网页浏览、API调用,甚至可以从StackOverflow复制代码片段。

项目链接:https://github.com/All-Hands-AI/OpenHands

22、Open-Computer-Use

由E2B桌面沙盒支持并由开源 LLMs 控制的

安全云 Linux 计算机。它通过键盘、鼠标和 shell 命令操作计算机,支持 10 + LLMs,并可直播沙盒显示。

项目链接:https://github.com/e2b-dev/open-computer-use

23、Clevrr Computer

Anthropic 的 Computer Use 的开源实现,旨在使用 PyAutoGUI 库代表用户执行精确高效的系统作。它可以自动化键盘、鼠标和屏幕交互,同时确保每项任务的安全性和准确性。

项目链接:https://github.com/Clevrr-AI/Clevrr-Computer

Computer Use相关的论文

本文,王吉伟频道精选了以下几篇论文,供大家参考。


1、计算机使用的人工智能Agent:基于指令的计算机控制、GUI自动化和运算符助手综述

AI Agents for Computer Use: A Review of Instruction-based Computer Control, GUI Automation, and Operator Assistants

从环境、交互和Agent的角度建立计算机控制Agent(CCA)分类法的综合综述,分析了86个CCA和33个数据集

论文地址:https://arxiv.org/abs/2501.16150

2、OS Agent:关于用于一般计算设备的基于 MLLM 的Agent的调查

OS Agents: A Survey on MLLM-based Agents for General Computing Devices Use

论文地址:https://openreview.net/pdf/ed2f5ee6b84c3b118cb953b6e750486dbd700419.pdf

3、UFO:用于 Windows作系统交互的以UI为中心的Agent

UFO: A UI-Focused Agent for Windows OS Interaction

UFO是一种以UI为中心的创新Agent,利用GPT-Vision功能满足Windows操作系统上应用程序的用户请求。满足用户请求方面表现出色,首个为Windows任务完成定制的UIAgent。

论文地址:https://arxiv.org/abs/2402.07939

项目地址:https://github.com/microsoft/UFO


4、PC Agent:当你睡觉时,AI 工作 -- 进入数字世界的认知之旅

PC Agent: While You Sleep, AI Works -- A Cognitive Journey into Digital World

通过 PC Tracker 收集高质量人机交互轨迹,经两阶段认知完成管道转化,再由多Agent系统结合决策规划与视觉接地,实现复杂数字工作能力。

论文地址:https://arxiv.org/abs/2412.17589

5、OS-Copilot:迈向具有自我提升能力的通才计算机Agent

OS-Copilot: Towards Generalist Computer Agents with Self-Improvement

OS-Copilot框架,旨在构建能与操作系统中多种元素交互的通用Agent。

论文地址:https://arxiv.org/abs/2402.07456

6、OSWorld:在真实计算机环境中为开放式任务对多模式Agent进行基准测试

OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments

用于多模式Agent的可扩展真实计算机环境,支持跨多种操作系统(如 Ubuntu、Windows 和 macOS)的任务设置、基于执行的评估和交互式学习。

论文地址:https://arxiv.org/abs/2404.07972


7、Windows Agent Arena:大规模评估多模式 OS Agent

Windows Agent Arena: Evaluating Multi-Modal OS Agents at Scale

一个专注于Windows操作系统的可复现通用环境,旨在评估多模态操作系统Agent的性能。

8、ScreenAgent:Vision Language 模型驱动的计算机控制Agent

ScreenAgent: A Vision Language Model-driven Computer Control Agent

一个由视觉语言模型(VLM)驱动的计算机控制Agent。研究团队构建了一个让Agent与真实计算机屏幕交互的环境,Agent可通过鼠标和键盘操作观察屏幕并操控图形用户界面。

论文地址:https://arxiv.org/abs/2402.07945

项目地址:https://github.com/niuzaisheng/ScreenAgent

后记:机遇和挑战并存

聊到这里,相信大家对Computer Use Agent已经有了全面的认知。从Claude 3.5 Sonne 电脑使用的推出,到OpenAI CUA的性能飞跃,再到Manus的通用化落地,毫无疑问这个领域将在2025年迎来快速增长。越来越多产品和项目的出现,意味着它们不再是实验性项目,而是正在走进我们的数字生活。

未来几年,你可能只需说一句“帮我订明天去旧金山的机票”,一个智能体就会流畅地自动打开浏览器、搜索航班、填写信息,甚至在付款前提醒你确认。这种便利背后,是多模态 AI、链式推理和 GUI 交互技术的融合。Manus的86.5% GAIA准确率和OpenAI在WebVoyager上87%的成功率,意味着AI正在从“听懂人话”走向“干人活”。

但这条路才刚刚开始,挑战依然存在。现阶段的Computer Use Agent虽已能在浏览器中订票、在桌面上整理文件,但距离真正无缝接管复杂工作流仍有距离。比如,OSWorld中人类72.4%的基准,提醒我们AI在通用场景下的鲁棒性仍需加强;WebArena中58.1%的得分,也暴露了其在动态任务中的局限。即便是 Manus,其多智能体架构在面对极端场景时是否稳定,仍需更多实战检验。

隐私与安全问题更是不容忽视。这些智能体需要频繁截屏和操作用户界面,如何确保敏感数据不被滥用?OpenAI和Anthropic都强调了用户确认机制和不训练用户数据的承诺,但随着技术普及,这类问题可能会成为公众关注的焦点。还有成本与门槛:Operator 的 $200/月订阅和Manus的内测限制,都提醒我们,真正全民化的Computer Use Agent还需要时间。

成功率与人类差距明显、部署复杂性高、隐私安全等问题亟待解决。当然,这些问题也正是未来突破的方向。


即便如此,Computer Use Agent的市场潜力令人振奋。Manus的多Agent架构或许只是个开始,结合自适应学习和更强的多模态能力,下一代Agent可能实现真正的“自主性”——无需用户确认,就能独立完成从计划到执行的全流程。

开源社区的活跃(如Midscene.js、OpenInterpreter)也将加速这一进程,更多开发者正在参与到技术迭代中。随着边缘计算和隐私保护技术的进步,Agent有望在本地运行,降低成本与安全风险。

五年后,你的电脑或者手机可能就会由一个安全、快速、稳定的Agent全权管理,从日程安排到数据分析,只需一句话即可搞定。

最后,放一个Anthropic Computer Use的演示视频动图,视频速度为三倍速。


王吉伟频道新书《一本书读懂AI Agent:技术、应用与商业》已出版,轻松读懂系统掌握AI Agent技术原理、行业应用、商业价值及创业机会,欢迎大家关注。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/

ZARA在南京开出全新亚洲旗舰店,逛累了还可以喝咖啡

返回网易首页 下载网易新闻客户端
相关推荐
热点推荐
菲律宾政变风暴:总统府深夜激战,杜特尔特命运牵动国家未来

菲律宾政变风暴:总统府深夜激战,杜特尔特命运牵动国家未来

蛋蛋说事儿
2025-03-22 18:22:54
俄媒:美中东问题特使称俄罗斯“100%”不想入侵欧洲,此类担忧很“荒谬”

俄媒:美中东问题特使称俄罗斯“100%”不想入侵欧洲,此类担忧很“荒谬”

环球网资讯
2025-03-22 19:55:11
北京专机顺利返回,大局基本已定,港媒趁热打铁,李嘉诚变相发声

北京专机顺利返回,大局基本已定,港媒趁热打铁,李嘉诚变相发声

蓝色海边
2025-03-22 11:35:10
就在刚刚,北京迎来一位贵客,中方以高规格接待,特朗普万没料到

就在刚刚,北京迎来一位贵客,中方以高规格接待,特朗普万没料到

趣观速评
2025-03-22 12:58:31
27岁男子想和干妈约会,巧遇干妈和情夫偷情,2013年杀干妈的情夫

27岁男子想和干妈约会,巧遇干妈和情夫偷情,2013年杀干妈的情夫

汉史趣闻
2025-03-21 17:32:55
论司马南的倒掉

论司马南的倒掉

廖保平
2025-03-22 09:25:59
网友:炒房投资客哭死了!句容房子单价1万跌至3千多,还送车位…

网友:炒房投资客哭死了!句容房子单价1万跌至3千多,还送车位…

明月杂谈
2025-03-22 19:51:45
央妈变相放水救市!3月23日,今晨的三大重要消息持续发酵

央妈变相放水救市!3月23日,今晨的三大重要消息持续发酵

风口招财猪
2025-03-23 02:23:11
命大!广东一小孩出海钓鱼睡着,一天一晚漂到三亚,救人的都懵了

命大!广东一小孩出海钓鱼睡着,一天一晚漂到三亚,救人的都懵了

访史
2025-03-23 00:19:32
银发红衣惊艳全场!华晨宇长沙演唱会新造型亮相,湖南卫视连发12条动态

银发红衣惊艳全场!华晨宇长沙演唱会新造型亮相,湖南卫视连发12条动态

潇湘晨报
2025-03-22 21:41:22
13战12胜直奔历史第7,多队主帅心态被打崩!最大悬念已无悬念?

13战12胜直奔历史第7,多队主帅心态被打崩!最大悬念已无悬念?

阿浪的篮球故事
2025-03-22 16:31:51
93岁强奸犯被顶格判罚却未能收监,子女怨其晚节不保,称“随便怎么处置”

93岁强奸犯被顶格判罚却未能收监,子女怨其晚节不保,称“随便怎么处置”

新民周刊
2025-03-22 20:29:45
97岁香港巨富李兆基,生前住太平山顶豪宅,葬于广东顺德飞鹅墓园

97岁香港巨富李兆基,生前住太平山顶豪宅,葬于广东顺德飞鹅墓园

疯说时尚
2025-03-22 09:56:57
特朗普命名的美第六代战机F-47,千亿大订单为何“花落”陷入困境的波音?

特朗普命名的美第六代战机F-47,千亿大订单为何“花落”陷入困境的波音?

红星新闻
2025-03-22 18:54:27
台岛立委也恰李嘉诚这碗饭!仅一天就由“力挺”变成“最恨”

台岛立委也恰李嘉诚这碗饭!仅一天就由“力挺”变成“最恨”

大风文字
2025-03-22 11:19:08
起底司马南、陈平、王维维、金灿荣等“爱国生意人”

起底司马南、陈平、王维维、金灿荣等“爱国生意人”

老郭在学习
2025-03-22 09:16:46
熊猫强势出手!尼日尔惹僵后被断电停油,投资全撤企业合同终止

熊猫强势出手!尼日尔惹僵后被断电停油,投资全撤企业合同终止

柠檬观世界
2025-03-22 20:57:41
余承东回应被骂:说话不是很严谨,情商也比较低

余承东回应被骂:说话不是很严谨,情商也比较低

每日经济新闻
2025-03-22 09:39:47
乌小将军是世上最狠角色!他制定了所有摧毁核电站的“玉碎计划”

乌小将军是世上最狠角色!他制定了所有摧毁核电站的“玉碎计划”

大风文字
2025-03-22 17:53:35
69岁一级演员高英去世,曾出演《人民的名义》,最后露面照曝光

69岁一级演员高英去世,曾出演《人民的名义》,最后露面照曝光

180°视角
2025-03-22 16:59:55
2025-03-23 06:32:49
钛媒体APP incentive-icons
钛媒体APP
独立财经科技媒体
115660文章数 860096关注度
往期回顾 全部

科技要闻

蔚来一年巨亏224亿!李斌解释了一个半小时

头条要闻

女生直播间打赏200万把母亲气进医院 退款遭平台拒绝

体育要闻

生涯突破!皮亚斯特里夺F1中国站杆位

娱乐要闻

大S遗愿曝光!汪小菲曾打电话咆哮S妈

财经要闻

财报里的电商三巨头:AI豪赌

汽车要闻

艾瑞泽8 PRO 10.39万起 动力拉满豪华平权

态度原创

教育
游戏
健康
数码
军事航空

教育要闻

难度再次提升,现在的小学数学题大学毕业的家长都汗颜了!

当代最惨烈的修仙界血战,在一个水产佬的鱼缸里上演"/> 主站 商城 论坛 自运营 登录 注册 当代最惨烈的修仙界血战,在一个水产佬的鱼缸里上演 泥头车 ...

护龈工具大PK,冠军会花落谁家?

数码要闻

NVIDIA GeForce RTX 5060 Ti 16GB和8GB GPU将于4月16日推出

军事要闻

F-47的千亿大订单"花落"波音