新闻中心
用Vision Pro实时训练机器狗!MIT博士生开源项目火了
vision pro又现火爆新玩法,这回还和具身智能联动了~
就像这样,MIT小哥利用Vision Pro的手部追踪功能,成功实现了对机器狗的实时控制。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
不仅开门这样的动作能精准get:

也几乎没什么延时。

Demo一出,不仅网友们大赞鹅妹子嘤,各路具身智能研究人员也嗨了。
比如
这位准清华叉院博士生:

还有人大胆预测:这就是我们与下一代机器互动的方式。

项目如何实现,作者小哥朴英孝(Younghyo Park)已经在GitHub上开源。相关App可以直接在Vision Pro的App Store上下载。

用Vision Pro训练机器狗
具体来看看作者小哥开发的App——Tracking Steamer。
顾名思义,这个应用程序旨在利用Vision Pro追踪人类动作,并将这些动作数据实时传输到同一WiFi下的其他机器人设备上。

动作追踪的部分,主要依靠苹果的ARKit库来实现。
其中头部追踪调用的是queryDeviceAnchor。用户可以通过长按数字表冠来重置头部框架到当前位置。
手腕和手指追踪则通过HandTrackingProvider实现。它能够追踪左右手腕相对于地面框架的位置和方向,以及每只手25个手指关节相对于手腕框架的姿态。
刺鸟创客
一款专业高效稳定的AI内容创作平台
110
查看详情

网络通信方面,这个App使用gRPC作为网络通信协议来流式传输数据。这使得数据能被更多设备订阅,包括Linux、Mac和Windows设备。
另外,为了方便数据传输,作者小哥还准备了一个Python API,让开发者能够通过编程方式订阅和接收从Vision Pro流式传输的追踪数据。
API返回的数据是字典形式,包含头部、手腕、手指的SE(3)姿态信息,即三维位置和方向。开发者可以直接在Python中处理这些数据,用于对机器人的进一步分析和控制。

就像不少专业人士所指出的那样,别看机器狗的动作还是由人类控制,事实上,相比于“操控”本身,结合模仿学习算法,人类在这个过程中,更像是机器人的教练。
而Vision Pro通过追踪用户的动作,提供了一种直观、简单的交互方式,使得非专业人员也能够为机器人提供精准的训练数据。
作者本人也在论文中写道:
在不久的将来,人们可能会像日常戴眼镜一样佩戴Vision Pro这样的设备,想象一下我们可以从这个过程中收集多少数据!
这是一个充满前景的数据源,机器人可以从中学习到,人类是如何与现实世界交互的。
最后,提醒一下,如果你想上手试一试这个开源项目,那么除了必备一台Vision Pro之外,还需要准备:
- 苹果开发者账户
- Vision Pro开发者配件(Developer Strap,售价299美元)
- 安装了Xcode的Mac电脑
嗯,看样子还是得先让苹果赚一笔了(doge)。
项目链接:https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file
以上就是用Vision Pro实时训练机器狗!MIT博士生开源项目火了的详细内容,更多请关注其它相关文章!
# 的是
# 枣庄网站建设排名前十
# 五家渠银川网站推广
# 马尾区网络推广营销招聘
# 徐州优化网站建设价格
# 廊坊网站建设的市场费用
# 老友新邻策略营销推广
# 青海推广计划网站
# 简单网站建设加盟代理
# 网络营销线上推广行业
# 东莞网站主机平台优化
# 训练
# 怎么处理
# 过程中
# 相对于
# 可以直接
# 腾讯
# 就像
# 小哥
# 火了
# 开源
# 机器狗
相关栏目:
【
行业资讯67740 】
【
技术百科0 】
【
网络运营39195 】
相关推荐:
虽千万人吾往矣什么意思
苹果16要升级哪些功能
系统如何装在固态硬盘
市盈率当中17A 18E是什么意思
typescript需要学多久
夸克*免费吗
ensp命令如何提示
单身交友必备软件
买的5g手机但是没有5g网络怎么办
如何以命令符运行程序
如何修改cad命令
固态硬盘损坏如何修复
学typescript需要什么基础么
命令不执行如何处理
春运抢票哪里最火热
开机如何进入命令行模式
更换固态硬盘如何检查
如何区别固态硬盘
bored是什么意思
cron表达式在线工具有哪些
新买的固态硬盘如何查
typescript参数怎么用
51单片机贴片怎么*
在遥控器中power是什么意思
i5 6500怎么装win7
春运抢票准备什么
品道音响上的power键是什么意思
电脑显示屏上power是什么意思
位置控制单片机怎么用的
如何用命令行连接本地数据库
typescript是什么时候出来的
如何看固态硬盘型号
市盈率3.2是什么意思
直接gmV是什么意思?直接GMV:定义和概念
输入命令如何换行
typescript为什么能运行
a股等权平均市盈率是什么意思
得物上怎么样申请退换货 得物上退换货详细指南(包含海外)
固态硬盘如何外接
怎么在typescript定义集合
typescript什么意思
夸克搜题的原理是什么
如何通过命令检测u盘启动
如何查询固态硬盘序列
typescript能开发什么
怎么把手机里爱奇艺的视频下载到u盘里
vivo手机爱奇艺怎么投屏到电视操作步骤
点焊机接触器上power是什么意思
夸克缺什么登录不了
如何查看固态硬盘分区


2024-03-11
浏览次数:次
返回列表