MoSculp:MIT CSAIL用AI创建3D打印“运动雕塑”

简介:

很多人都听说过雕塑,也看过一两部3D电影,但对3D动画雕塑(3D motion sculptures)可能就没那么熟悉了。这一术语是由麻省理工学院计算机科学与人工智能实验室,谷歌研究所和加州大学伯克利分校的研究人员已共同提出的,他们试图通过人工智能系统来展示人体是如何运动的。

这一系统被称为MoSculp,在论文《MoSculp:形状和时间的交互式可视化》(MoSculp: Interactive Visualization of Shape and Time)中有所描述,该论文将于下个月在德国柏林的UIST会议上发布。Xiuming Zhang是一名博士生,也是论文的第一作者,他认为这可以帮助想要提高技能的运动员进行详细的运动研究。

4cae11e6deef3cac63817ae19a7c00c8d0a77c0f

“想象一下,你有一个关于Roger Federer 在网球比赛中投球的视频,以及一个自己学习网球的视频。”Zhang说,“然后你可以建立两种情景的动作雕塑来比较它们,并更全面地研究你需要改进的地方。”

其在实践中的工作原理如下:将视频加载到系统后,MoSculp将检测到的关键点覆盖在输入帧上,并通过几个随机选择的帧确认它们。 (内置的校正工具可以让用户在必要时进行调整。)在校正“暂时不一致的检测”后,它会生成运动雕塑并将其加载到自定义界面中。

这是一个多步骤的过程。首先,MoSculp会首先自动检测拍摄对象身体上的2D关键点,例如芭蕾舞女演员的髋关节,膝关节和踝关节,同时进行复杂的舞蹈序列。然后,它将这些点的最佳姿势转化为3D“骨架”。

24cf8bb71af03e9f42544fe0e3ccd5910a42ca97

之后,将这些骨架拼接在一起后,系统会生成一个可以3D打印的运动雕塑,显示主体追踪的平滑,连续的运动路径。用户可以在雕塑周围导航并定制他们的图形以聚焦于不同的身体部位,分配不同的材料以区分部件,甚至自定义照明,然后使用3D打印机进行打印。

在试验期间,研究人员发现超过75%的受试者认为MoSculp提供了比标准摄影技术更详细的运动学习可视化。据悉,这一系统最适合较大的动作,比如在舞蹈序列中抛球或进行一次飞跃。它也适用于可能阻碍或复杂运动的情况,像穿着宽松衣服或携带物品的人。

另外,目前,MoSculp仅适用于单一主题发热视频,但团队希望将其扩展到多个人。在未来,他们相信它可以用于研究社会障碍,团队动态以及人际交往等事情。

“舞蹈和高技能运动通常看起来像'移动雕塑',但它们只会形成稍纵即逝的短暂形状,”Adobe传播负责人Courtney Brigham表示。“这项工作展示了如何采取动作并将其转化为具有客观运动可视化的真实雕塑,为运动员提供了一种分析他们的训练动作的方式。”



原文发布时间为:2018-09-20

本文作者:Sandy

本文来自云栖社区合作伙伴“人工智能观察”,了解相关信息可以关注“人工智能观察”。

相关文章
|
12天前
|
人工智能 安全 API
AI数据荒雪上加霜!MIT:网页数据的公开共享正走向衰落
【9月更文挑战第7天】麻省理工学院的一项新研究表明,尽管人工智能(AI)领域迅速发展,但网页数据的公开共享正在减少,加剧了AI数据短缺的问题。AI模型训练依赖大量数据,而网页数据是关键来源之一,其共享减少将影响AI进步,并引发数据隐私和安全方面的担忧。然而,这也推动了对数据隐私保护的关注及新型数据获取方式的探索。研究详情参见:[论文链接](https://www.dataprovenance.org/consent-in-crisis-paper)。
45 9
|
19天前
|
机器学习/深度学习 人工智能
AI模型提早5年预警乳腺癌,MIT研究登Science获LeCun转发
【9月更文挑战第1天】麻省理工学院(MIT)研究人员开发的深度学习AI模型,在乳腺癌早期预警方面取得突破性进展,相比传统方法提前5年预警癌症,准确率超过90%。此成果不仅在医学界引起轰动,还获得了人工智能领域知名学者Yann LeCun的高度评价。尽管面临准确性和可解释性的挑战,但该研究展示了AI在医疗领域的巨大潜力,有望革新乳腺癌的早期筛查和诊断方式。论文详情见[链接]。
22 3
|
1月前
|
机器学习/深度学习 人工智能 编解码
|
19天前
|
机器学习/深度学习 人工智能 自然语言处理
3D智能导诊系统源码,基于AI引擎,针对患者的病情及症状,结合性别年龄特征,智能推荐医院科室
智能导诊系统是一款基于AI技术的医疗辅助工具,利用自然语言处理和机器学习分析患者病情,精准推荐科室和医生。系统支持按性别分类导诊,设有3D人体模型辅助定位症状,界面简洁易操作。采用B/S架构,可无缝对接HIS数据库,支持多种接入形式,包括公众号、小程序和App,有效提升就诊效率并减轻医护人员负担。
|
3月前
|
人工智能 图形学
【制作100个unity游戏之24】unity制作一个3D动物AI生态系统游戏2(附项目源码)
【制作100个unity游戏之24】unity制作一个3D动物AI生态系统游戏2(附项目源码)
53 1
【制作100个unity游戏之24】unity制作一个3D动物AI生态系统游戏2(附项目源码)
|
1月前
|
机器学习/深度学习 人工智能 算法
|
3月前
|
人工智能 图形学
【制作100个unity游戏之24】unity制作一个3D动物AI生态系统游戏1(附项目源码)
【制作100个unity游戏之24】unity制作一个3D动物AI生态系统游戏1(附项目源码)
43 2
|
3月前
|
机器学习/深度学习 人工智能
可控核聚变新里程碑,AI首次实现双托卡马克3D场全自动优化,登Nature子刊
【6月更文挑战第4天】AI在可控核聚变研究中实现双托卡马克装置3D磁场全自动优化,助力抑制边缘能量爆发(ELMs),提升核聚变性能90%,成果登上《自然通讯》。虽有ELMs少量出现及装置适应性问题,但这一突破为经济可行的核聚变能源发展迈出重要步伐。[论文链接](https://www.nature.com/articles/s41467-024-48415-w)
68 1
|
3月前
|
人工智能 图形学
【unity小技巧】使用动画状态机脚本实现一个简单3d敌人AI功能
【unity小技巧】使用动画状态机脚本实现一个简单3d敌人AI功能
33 0
|
3月前
|
人工智能 定位技术 图形学
【Unity小技巧】一个脚本实现控制3D远程/近战敌人AI
【Unity小技巧】一个脚本实现控制3D远程/近战敌人AI
34 0