☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

机智客AIxiv专栏持续发布前沿学术与技术内容。多年来，已报道2000余篇来自全球顶尖高校和企业实验室的成果，有力推动学术交流与传播。欢迎优秀研究者投稿或联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

共同一作孙秋实，香港大学博士生，新加坡国立大学硕士毕业，研究方向涵盖LLM Agents和神经代码智能。共同一作金川杨，约翰霍普金斯大学博士生，纽约大学专业第一毕业，其开发的心智能力测试MMToM-QA荣获ACL 2025杰出论文奖。上海人工智能实验室吴志勇团队此前已发布OS-Copilot、OS-Atlas、SeeClick等系列成果。

• 论文题目：OS-Genesis：基于逆向任务合成自动构建GUI Agent轨迹
• 项目地址：https://www.php.cn/link/ad20360c1ad60f8f5d9223a28907d7ba
• 研究机构：上海人工智能实验室，香港大学，上海交通大学，约翰霍普金斯大学，牛津大学，香港科技大学

1. 研究背景与动机

高效的数字代理需要具备两项关键能力：（1）规划能力：将高级指令分解成可执行的子目标；（2）执行能力：根据当前目标执行相应操作。

高质量GUI代理的构建依赖于丰富的GUI轨迹数据，但此类数据极其稀缺，成为该领域的核心挑战。典型的GUI轨迹数据包含：

• 高级指令：例如，“将Broccoli应用中的‘Avocado Toast with Egg’添加到收藏夹”。
• 低级指令：例如，“点击‘Avocado Toast with Egg’查看更多选项”。
• 动作：例如，“CLICK [Avocado Toast with Egg]”。
• 状态：动作前后界面截图及GUI的a11ytree结构。

现有轨迹数据采集方法依赖人工标注或基于预定义任务的合成数据，存在局限性：

• 人工采集成本高昂：需要手动设计指令并记录每一步操作。
• 合成数据局限性：基于模型生成的轨迹数据依赖预定义任务，限制了数据多样性，且容易与真实环境脱节。

因此，高效低成本地构建GUI Agent轨迹数据至关重要。为此，本文提出OS-Genesis：一个无需人工监督的高质量GUI数据合成框架。

2. OS-Genesis框架

OS-Genesis的核心思想是通过探索性地交互GUI环境，捕捉动作及其前后状态变化。

然后，基于这些变化逆向生成高质量的低级指令（例如，“点击Calendar应用”），并根据环境推导出高级指令（例如，“添加日程：阅读本站文章”）。模型执行这些合成指令，无需人工干预和预定义任务，实现高效多样化的GUI轨迹数据生成。具体方法如下：

2.1 逆向任务合成

逆向任务合成是OS-Genesis的核心，它摆脱了对人工/机器预定义任务的依赖。流程如下：

• 动作记录与状态捕捉: 系统性地执行基本动作（CLICK、TYPE、SCROLL等），生成大量三元组数据〈状态前，动作，状态后〉 (〈spre, action, spost〉)。
• 低级指令生成: 利用GPT-4模型将三元组转换为低级指令，例如将“点击下拉菜单以显示选项”。
• 高级任务生成: 结合低级步骤和GUI环境，生成高级指令，例如，“配置应用程序设置”。

2.2 轨迹构建与奖励模型

逆向任务合成生成的高级指令用于探索GUI环境，构建完整轨迹数据。奖励模型（Trajectory Reward Model, TRM）评估和筛选轨迹质量：

Perplexity

Perplexity是一个ChatGPT和谷歌结合的超级工具，可以让你在浏览互联网时提出问题或获得即时摘要

302 查看详情

• 轨迹执行: GUI agent执行一系列动作完成任务，轨迹包含高级指令、低级指令、动作序列和状态信息。
• 轨迹奖励模型（TRM）: 根据完成度和一致性分配奖励分数。
• 奖励驱动的数据筛选: 高奖励分数的轨迹优先用于模型训练。

3. 实验结果

本文在动态环境（AndroidWorld、AndroidControl和WebArena）中进行了实验，评估OS-Genesis合成数据训练的agent性能。

3.1 模型与基线

• VLMs: InternVL2-4B/8B, Qwen2-VL-7B-Instruct, GPT-4o (作为强基线)
• 基线: Zero-Shot, Task-Driven, Self-Instruct

3.2 移动端实验结果

在AndroidWorld（域内实验）中，OS-Genesis显著提升了任务成功率。在AndroidControl（域外实验）中，OS-Genesis在高阶和低阶任务中均表现出色，展现了强泛化能力。

3.3 Web端实验结果

在WebArena中，OS-Genesis也显著优于基线方法，尤其在复杂交互式网页任务中。

4. 数据分析

本文将OS-Genesis生成的数据与人工标注数据进行了对比分析，包括高阶指令和完整轨迹对比。结果表明，OS-Genesis显著缩小了合成数据与人工标注数据之间的性能差距。

5. 总结与展望

OS-Genesis为构建GUI Agent提供了一种全新的方法，克服了以往数据构建中的关键瓶颈。实验结果证明了其在构建高质量GUI Agent上的有效性，为数字世界自动化提供了新的方向。

以上就是OS-Genesis来了，自动收集和标注Agent数据，高效且多样的详细内容，更多请关注其它相关文章！

# git  # 牛津大学  # 句话  # 网易  # 来了  # 约翰  # 高质量  # 神技  # Copilot  # Genesis  # Qwen  # 邮箱  # ai  # cad  # 工程  # Type  # 全国谷歌seo报价  # 纸巾营销推广图片大全集  # 郑州活动营销推广招聘信息  # 河北seo获客  # 江阳区做优化网站  # 展鹏网站建设  # 东莞品牌seo推广  # 大连网站建设开源  # 喝酒营销推广方案策划  # 万源商城网站建设  # 开源  # 上海  # 你该 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 春运抢票多久可以买到票  为什么夸克书架书单没了  市盈率回落是什么意思  8k是多少钱  typescript书籍哪个好  如何去除计算器的命令  安装固态硬盘如何设置  春运抢票到哪里抢票啊  固态硬盘如何消除缓存  typescript与es6学哪个  如何增加固态硬盘  华为交换机 配置 如何复制命令行  营收和gmv区别_营收和gmv有什么区别  如何编写一个linux命令  苹果16新增哪些功能  如何创建sql命令  如何寻找和修复无法在 AI 中找到文件的问题  typescript为什么能运行  华为的type-c接口是什么接口  命令控制台如何执行sql文件  苹果16粉色还有哪些机型  type-c输入接口是什么  电焊机power灯亮是什么意思  单片机计时程序怎么写  如何通过命令检测u盘启动  如何测固态硬盘芯片  舆论是什么意思  固态硬盘如何保存  如何开发typescript  win7如何打开命令行窗口  如何为服务器配置静态路由？服务器配置静态路由详细教程  买的5g手机但是没有5g网络怎么办  typescript中如何定义json  typescript怎么判断单选按钮  怎么在typescript写原型链  点焊机接触器上power是什么意思  虚拟机如何用命令清除垃圾  春运抢票可以抢几张  hive中datediff函数怎么用 Hive中DATEDIFF函数的使用指南  play的三人称单数和过去式  如何退出数据库命令行  电动车仪表盘上的power是什么意思  i5 6500怎么装win7  苹果16系统有哪些问题  ai如何重复使用上一命令  如何用固态硬盘做缓存  juice是什么意思  openwrt有什么用  抖音GMV是什么_抖音GMV是什么意思  hen是什么意思