现在人人都用手持设备(例如手机、平板)等拍照,并通过简单的修图应用对图片编辑处理。人们通过不同的修图工具,能轻松创造出不同风格的图片。
训练卷积神经网络,依托计算机视觉、图形学和机器学习
最近Facebook研究人员,通过Facebook AI开发的移动优化技术,训练卷积神经网络,在数百万的3D图像中,学习其附带的图像深度,可将任何设备拍摄的照片自动转换为3D图像。
系统根据输入的2D图像,自动进行深度估计,实现2D到3D的实时转换,仅需花费几秒钟即可完成处理。
该框架还结合了纹理修补,对输入的2D图像进行几何捕捉,以使得它能在转换为3D图像时更加生动逼真。每一个步骤都是自动的,直接在用户的移动设备中对2D图像进行各种各样的模型优化,没有设备内存和数据传输能力的限制。
输入图片:
处理过程:
输出图片:
这项技术对设备没有要求,几乎可处理任何照片,此前Facebook 3D转换还需要照片是由双镜头摄像头拍摄完成。
实时转换,无需摄影技巧
Facebook团队将在SIGGRAPH 2020(计算机图形学和互动技术大会 2020)上展示。SIGGRAPH 2020将在今年8月17日线上举行,届时来自各个领域的专业人士,将展示他们从不同角度对计算机图形学和互动技术的研究。作为该领域最重要的行业会议之一,许多前瞻性想法和研究都会在会议中得到展示和讨论。
2018年底,Facebook为其「照片功能」引入了2D转3D的功能。但那时还需要Facebook用户用配有双镜头相机的手机拍照才能实现。
现在,Facebook团队为其增加了一种算法,可以自动为输入的2D图像深度估计,改良后的技术能直接应用于任何移动设备,不限于Facebook App,且无需是双镜头摄像头拍摄的图片。
「过去的一个世纪里,摄影经历了几次技术「升级」,提高了人们的沉浸感。起初所有的照片都是黑白和颗粒状的,后来出现了彩色照片,然后数码照片带给我们更高质量和高分辨率的图像」。
Facebook科学家,也是这项技术的主要研究者Johannes Kopf说,「现在有了3D图像,让照片更具生命力和真实感」。
3D图像为人们提供了「身临其境的图像体验」,依托于计算机视觉、图形学和机器学习的通力合作以及技术进步。
现在,Facebook研究小组正在研究机器学习方法,这种方法能够对移动设备拍摄的视频进行有效深度估计,未来将适用于视频的2D转换3D。
参考链接:
https://techxplore.com/news/2020-06-photos-d-mobile-device.html