Genesis:卡内基梅隆大学联合 20 多所研究机构开源生成式物理引擎,能够模拟各种材料、物体和物理运动现象

本文涉及的产品
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,视频资源包5000点
简介: Genesis是由卡内基梅隆大学联合20多所研究机构开源的生成式物理引擎,能够模拟世界万物,具有高度的物理准确性和快速的模拟速度,适用于机器人仿真、游戏开发、电影特效制作等多个领域。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 物理模拟:支持多种材料和物理现象的精确模拟,包括物体运动、流体动力学等。
  2. 机器人仿真:提供轻量级、超快速的机器人仿真平台,支持多种机器人类型。
  3. 照片级渲染:拥有强大的照片级写实渲染系统,生成高质量视觉输出。

正文(附运行示例)

Genesis 是什么

公众号: 蚝油菜花 - Genesis

Genesis是由卡内基梅隆大学、马里兰大学、斯坦福大学、麻省理工学院等研究机构联合推出的开源生成式物理引擎,能够模拟世界万物。Genesis能够通过简单的语言描述,快速生成精确的物理模拟,包括物体运动、人物动作和机器人策略等。

该引擎的特点在于高度的物理准确性、快速的模拟速度(比现实世界快约430000倍),以及用户友好的Python化设计。Genesis能够模拟各种材料和物理现象,提供一个轻量级、超快速的机器人仿真平台,以及一个强大而快速的照片级写实渲染系统。

Genesis 的主要功能

  • 物理模拟:模拟各种材料和物理现象,包括物体的运动、碰撞、流体动力学等。
  • 机器人仿真:提供轻量级、超快速的机器人仿真平台,支持多种机器人类型,如机械臂、腿式机器人、无人机、软体机器人等。
  • 照片级渲染:拥有强大而快速的照片级写实渲染系统,能生成高质量的视觉输出。
  • 生成式数据引擎:将用户的自然语言描述转换为数据模式,用于生成模拟场景。
  • 交互式3D场景:支持完全交互式的3D场景生成,包括家居室内场景、游戏环境等。
  • 开放世界物体生成:能生成开放世界中的铰接式物体,提供高质量的mesh资产。
  • 软体机器人模拟:针对软性机器人实现逼真的模拟,如蠕虫、柔软的抓手等。
  • 面部动画和语音同步:生成面部动作和表情,与语音同步,实现逼真的面部动画。

Genesis 的技术原理

  • 通用物理引擎:从头开始构建,集成各种物理求解器,如刚体、MPM(物质点方法)、SPH(光滑粒子流体动力学)、FEM(有限元方法)、PBD(位置基动力学)等,实现精确的物理模拟。
  • 生成Agent框架:在核心物理引擎之上运行,用于自动化数据生成,包括视频、摄像机运动、角色动作、机器人策略等。
  • 可微分仿真:支持可微分仿真,让仿真过程与机器学习算法结合,用于训练和优化。
  • 多模态集成:将物理模拟与视觉渲染、动作捕捉、语音合成等多模态技术集成,实现全面的模拟体验。
  • 跨平台兼容性:设计为可在不同操作系统和计算后端(如CPU、Nvidia GPU、AMD GPU、Apple Metal)上运行。

如何运行 Genesis

快速安装

Genesis 可以通过 PyPI 安装:

pip install genesis-world  # 需要 Python >=3.9

此外,还需要按照安装 PyTorch。

文档

有关详细的安装步骤、教程和API参考,请访问 文档站点

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
4月前
|
人工智能
合成生物学:设计生命的新时代
【9月更文挑战第19天】合成生物学作为21世纪新兴交叉学科,融合基因工程、系统生物学与计算机科学,通过工程化设计理念改造生物体遗传物质,开创人工生命体新时代。它旨在构建自然界中不存在的生物系统,应对能源、材料、健康和环保等全球挑战。核心技术包括基因编辑(如CRISPR/Cas9)、基因合成及系统生物学方法。应用领域涵盖医药、化学品与生物材料、农业及食品,展现出巨大潜力。预计到2025年,其经济价值将达1000亿美元。尽管面临法律、伦理等挑战,但合成生物学正引领创新未来,助力人类可持续发展。
|
6月前
|
自然语言处理 算法 图形学
几分钟生成四维内容,还能控制运动效果:北大、密歇根提出DG4D
【7月更文挑战第25天】北京大学与密歇根大学合作提出DreamGaussian4D (DG4D),解决四维内容生成中的挑战,如长时间优化、运动控制及细节质量。DG4D结合几何变换与Gaussian Splatting,大幅减少优化时间至几分钟,并增强了运动的可控性与细节质量。此框架包括Image-to-4D GS模块和Video-to-Video Texture Refinement模块,分别负责高质量四维内容生成和纹理精细化。[论文](https://arxiv.org/abs/2312.17142)
60 1
|
6月前
|
传感器 自动驾驶 算法
自动驾驶理论新突破登Nature子刊!清华、密歇根联合提出三条技术路线,剑指稀疏度灾难
【7月更文挑战第6天】清华大学与密歇根大学研究团队在Nature子刊发表突破性成果,针对自动驾驶的“稀疏度灾难”提出三条技术路线:数据驱动、模型驱动及混合驱动,旨在提升系统应对罕见场景的能力,确保安全性和鲁棒性。这一进展为解决自动驾驶在复杂环境中的决策难题开辟了新途径。[论文链接](https://doi.org/10.1038/s41467-024-49194-0)**
60 3
|
8月前
|
人工智能 计算机视觉
CVPR 2024:跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式
【5月更文挑战第6天】南洋理工大学研究团队在CVPR 2024会议上提出SurMo,一种动态人体渲染新方法,能高度还原视频中的人物动作和细节,如飞扬的裙摆。SurMo通过4D运动建模,结合表面运动编码、物理运动解码和4D外观解码,实现动态图像的精确合成。尽管面临复杂动作捕捉和计算资源需求的挑战,SurMo在动态人体渲染任务上表现出色,展现了表面基运动三角平面的强大表达能力。[论文链接](https://arxiv.org/pdf/2404.01225.pdf)
169 1
|
传感器 机器学习/深度学习 人工智能
低能耗低时耗,中科院&香港大学团队使用新方法进行多任务学习的可穿戴传感器内储层计算
低能耗低时耗,中科院&香港大学团队使用新方法进行多任务学习的可穿戴传感器内储层计算
106 0
|
机器学习/深度学习 算法 机器人
CMU发表新型灵巧机器人算法,准确学习日常家具的操纵方法
CMU发表新型灵巧机器人算法,准确学习日常家具的操纵方法
133 0
|
机器学习/深度学习 人工智能 数据可视化
智源研究院发布仿真秀丽线虫天宝1.0:达到当前最高生物精度,走出生命智能到智能生命「关键一步」
智源研究院发布仿真秀丽线虫天宝1.0:达到当前最高生物精度,走出生命智能到智能生命「关键一步」
196 0
|
数据可视化 计算机视觉 智能硬件
人在房间里走了一圈,慕尼黑工业大学的研究推理出室内3D物体
人在房间里走了一圈,慕尼黑工业大学的研究推理出室内3D物体
132 0
|
机器学习/深度学习 算法 数据可视化
精准高效估计多人3D姿态,美图&北航分布感知式单阶段模型入选CVPR 2022
精准高效估计多人3D姿态,美图&北航分布感知式单阶段模型入选CVPR 2022
140 0
|
机器学习/深度学习 人工智能 监控
AI说长这样挣得多!Nature力证科学看相,3万张自拍揭露面相-性格关系,碾压算命先生
AI说长这样挣得多!Nature力证科学看相,3万张自拍揭露面相-性格关系,碾压算命先生
454 0

热门文章

最新文章