把你手机里的照片秒变3D!Facebook训练了一个CNN端到端系统

简介: Facebook研究人员,开发出一个卷积神经网络端到端系统,已经能实现几秒钟内,将任何设备上拍摄的2D图像转换成3D图像。

微信图片_20220109125100.jpg


现在人人都用手持设备(例如手机、平板)等拍照,并通过简单的修图应用对图片编辑处理。人们通过不同的修图工具,能轻松创造出不同风格的图片。

 

训练卷积神经网络,依托计算机视觉、图形学和机器学习


最近Facebook研究人员,通过Facebook AI开发的移动优化技术,训练卷积神经网络,在数百万的3D图像中,学习其附带的图像深度,可将任何设备拍摄的照片自动转换为3D图像。


       微信图片_20220109125104.gif      


系统根据输入的2D图像,自动进行深度估计,实现2D到3D的实时转换,仅需花费几秒钟即可完成处理。


该框架还结合了纹理修补,对输入的2D图像进行几何捕捉,以使得它能在转换为3D图像时更加生动逼真。每一个步骤都是自动的,直接在用户的移动设备中对2D图像进行各种各样的模型优化,没有设备内存和数据传输能力的限制。


输入图片:


      微信图片_20220109125107.png      

 

处理过程:


      微信图片_20220109125109.png  

输出图片:


      微信图片_20220109125111.png      

 

这项技术对设备没有要求,几乎可处理任何照片,此前Facebook 3D转换还需要照片是由双镜头摄像头拍摄完成。

 

实时转换,无需摄影技巧


Facebook团队将在SIGGRAPH 2020(计算机图形学和互动技术大会 2020)上展示。SIGGRAPH 2020将在今年8月17日线上举行,届时来自各个领域的专业人士,将展示他们从不同角度对计算机图形学和互动技术的研究。作为该领域最重要的行业会议之一,许多前瞻性想法和研究都会在会议中得到展示和讨论。

 

2018年底,Facebook为其「照片功能」引入了2D转3D的功能。但那时还需要Facebook用户用配有双镜头相机的手机拍照才能实现。

 

现在,Facebook团队为其增加了一种算法,可以自动为输入的2D图像深度估计,改良后的技术能直接应用于任何移动设备,不限于Facebook App,且无需是双镜头摄像头拍摄的图片。

 

「过去的一个世纪里,摄影经历了几次技术「升级」,提高了人们的沉浸感。起初所有的照片都是黑白和颗粒状的,后来出现了彩色照片,然后数码照片带给我们更高质量和高分辨率的图像」。


Facebook科学家,也是这项技术的主要研究者Johannes Kopf说,「现在有了3D图像,让照片更具生命力和真实感」。


        微信图片_20220109125113.gif      

 

3D图像为人们提供了「身临其境的图像体验」,依托于计算机视觉、图形学和机器学习的通力合作以及技术进步。


现在,Facebook研究小组正在研究机器学习方法,这种方法能够对移动设备拍摄的视频进行有效深度估计,未来将适用于视频的2D转换3D。


参考链接:


https://techxplore.com/news/2020-06-photos-d-mobile-device.html

相关文章
|
6月前
|
JavaScript Java 测试技术
Java项目基于ssm+vue.js的网上手机销售系统附带文章和源代码设计说明文档ppt
Java项目基于ssm+vue.js的网上手机销售系统附带文章和源代码设计说明文档ppt
66 0
|
2月前
|
移动开发 Android开发 数据安全/隐私保护
移动应用与系统的技术演进:从开发到操作系统的全景解析随着智能手机和平板电脑的普及,移动应用(App)已成为人们日常生活中不可或缺的一部分。无论是社交、娱乐、购物还是办公,移动应用都扮演着重要的角色。而支撑这些应用运行的,正是功能强大且复杂的移动操作系统。本文将深入探讨移动应用的开发过程及其背后的操作系统机制,揭示这一领域的技术演进。
本文旨在提供关于移动应用与系统技术的全面概述,涵盖移动应用的开发生命周期、主要移动操作系统的特点以及它们之间的竞争关系。我们将探讨如何高效地开发移动应用,并分析iOS和Android两大主流操作系统的技术优势与局限。同时,本文还将讨论跨平台解决方案的兴起及其对移动开发领域的影响。通过这篇技术性文章,读者将获得对移动应用开发及操作系统深层理解的钥匙。
|
3月前
|
存储 NoSQL Java
使用redis进行手机验证码的验证、每天只能发送三次验证码 (redis安装在虚拟机linux系统中)
该博客文章展示了如何在Linux虚拟机上使用Redis和Jedis客户端实现手机验证码的验证功能,包括验证码的生成、存储、验证以及限制每天发送次数的逻辑,并提供了测试结果截图。
使用redis进行手机验证码的验证、每天只能发送三次验证码 (redis安装在虚拟机linux系统中)
|
3月前
|
存储 数据可视化 C语言
【C语言】C语言 手机通讯录系统的设计 (源码+数据+论文)【独一无二】
【C语言】C语言 手机通讯录系统的设计 (源码+数据+论文)【独一无二】
|
5月前
|
PHP
驾校在线考试系统源码 手机+PC+平板自适应
Thinkphp在线考题源码 驾校在线考试系统 手机+PC+平板 自适应,机动车驾驶培训学校驾校类网站源码带手机端 运行环境:php+mysql
178 11
驾校在线考试系统源码 手机+PC+平板自适应
|
5月前
|
数据安全/隐私保护 SEO
蚂蚁分类信息系统二开仿么么街货源客模板微商货源网源码(带手机版)
网站采用蚂蚁分类信息系统二次开发,模板仿么么街货源客模板,微商货源网定制版。 模板设计风格简洁,分类信息采用列表形式发布,这种设计方式非常符合度娘 SEO 规则。收录效果是杠杠的。 这个网站风格目前是用来做货源推广使用的,但不仅限于货源网站。后台无加密,分类目录随意修改。 无论你是想做地方分类信息,二手市场,或者垂直行业信息分类平台都是不错的选择。
41 2
蚂蚁分类信息系统二开仿么么街货源客模板微商货源网源码(带手机版)
|
4月前
|
关系型数据库 MySQL 测试技术
基于SpringBoot+Vue华强北商城二手手机管理系统(源码+部署说明+演示视频+源码介绍+lw)(4)
基于SpringBoot+Vue华强北商城二手手机管理系统(源码+部署说明+演示视频+源码介绍+lw)
49 2
|
4月前
|
数据库
基于SpringBoot+Vue华强北商城二手手机管理系统(源码+部署说明+演示视频+源码介绍+lw)(3)
基于SpringBoot+Vue华强北商城二手手机管理系统(源码+部署说明+演示视频+源码介绍+lw)
66 2
|
4月前
|
存储 安全 Java
基于SpringBoot+Vue华强北商城二手手机管理系统(源码+部署说明+演示视频+源码介绍+lw)(2)
基于SpringBoot+Vue华强北商城二手手机管理系统(源码+部署说明+演示视频+源码介绍+lw)
82 1
|
4月前
|
JavaScript Java 关系型数据库
基于SpringBoot+Vue华强北商城二手手机管理系统(源码+部署说明+演示视频+源码介绍+lw)(1)
基于SpringBoot+Vue华强北商城二手手机管理系统(源码+部署说明+演示视频+源码介绍+lw)
92 1