当「分割一切」遇上图像修补:无需精细标记,单击物体实现物体移除、内容填补、场景替换(2)

简介: 当「分割一切」遇上图像修补:无需精细标记,单击物体实现物体移除、内容填补、场景替换

填充一切实验结果


文本提示:a camera lens in the hand


文本提示:an aircraft carrier on the sea


文本提示:a sports car on a road


文本提示:a Picasso painting on the wall


替换一切实验结果


文本提示:sit on the swing


文本提示:breakfast


文本提示:a bus, on the center of a country road, summer


文本提示:crossroad in the city


总结


研究者建立这样一个有趣的项目,来展示充分利用现有大型人工智能模型所能获得的强大能力,并揭示「可组合人工智能」(Composable AI)的无限潜力。项目所提出的 Inpaint Anything (IA) 是一种多功能的图像修补系统,融合了物体移除、内容填补、场景替换等功能(更多的功能正在路上敬请期待)。


IA 结合了 SAM、图像修补模型(例如 LaMa)和 AIGC 模型(例如 Stable Diffusion)等视觉基础模型,实现了对用户操作友好的无掩码化图像修复,同时支持「点击删除,提示填充」的等「傻瓜式」人性化操作。此外,IA 还可以处理具有任意长宽比和 2K 高清分辨率的图像,且不受图像原始内容限制。


目前,项目已经完全开源。最后,欢迎大家分享和推广 Inpaint Anything (IA) ,也很期待看见更多基于 IA 所拓展的新项目。未来,研究者将进一步挖掘 Inpaint Anything (IA) 的潜力 以支持更多实用的新功能,如细粒度图像抠图、编辑等,并将其应用到更多现实应用中。


参考文献

[1] Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao,Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C Berg, Wan-Yen Lo, et al. Segment anything. arXiv preprint arXiv:2304.02643, 2023.

[2] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern

Recognition, pages 10684–10695, 2022.

[3] Roman Suvorov, Elizaveta Logacheva, Anton Mashikhin, Anastasia Remizova, Arsenii Ashukha, Aleksei Silvestrov, Naejin Kong, Harshith Goka, Kiwoong Park, and Victor Lempitsky. Resolution-robust large mask inpainting with fourier convolutions. In Proceedings of the IEEE/CVF winter conference on applications of computer vision, pages 2149–2159, 2022.

[4] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Doll´ar, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Computer Vision–ECCV 2014: 13th European Conference,

Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, pages 740–755. Springer, 2014.

相关文章
|
5月前
|
Web App开发 移动开发 前端开发
除了使用响应式布局,还有哪些方法可以适配H5页面在折叠屏上的显示?
除了使用响应式布局,还有哪些方法可以适配H5页面在折叠屏上的显示?
271 4
|
2月前
|
人工智能 前端开发 JavaScript
2025年主流Web自动化测试工具功能与性能深度对比
2025年主流Web自动化测试工具在功能、性能等方面差异显著。功能上,不同工具在元素定位、脚本兼容性等核心模块各有优劣;性能方面,执行效率与资源占用需平衡,分布式执行能力对高并发场景很重要。还介绍了智能化与生态扩展趋势,给出企业选型建议及不同规模团队适用方案。
|
2月前
|
安全 Linux iOS开发
Cisco Secure Client 5.1.14.145 发布,新增功能简介.
Cisco Secure Client 5.1.14.145 (macOS, Linux, Windows & iOS, Android) - 远程访问客户端
305 0
Cisco Secure Client 5.1.14.145 发布,新增功能简介.
|
2月前
|
存储 弹性计算 运维
阿里云轻量应用服务器升级换新介绍,预装热门应用+多场景适配,2核2G200M38元1年,快速搭应用
2025年阿里云对轻量应用服务器进行了全新的升级换新,预装热门应用,多场景适配,标配200Mbps峰值带宽,全球极速部署。现在购买轻量应用服务器2核2G 200M38.00/1年;2核0.5G200M357.00/1年;2核1G200M408.00/1年。云上的应用盒子,告别复杂运维,助力中小企业和开发者便捷高效的构建应用。
423 10
|
机器学习/深度学习 编解码 人工智能
RaptorX、AlphaFold、DeepAccNet、ESMFold…你都掌握了吗?一文总结生物制药必备经典模型(2)
RaptorX、AlphaFold、DeepAccNet、ESMFold…你都掌握了吗?一文总结生物制药必备经典模型
940 0
|
弹性计算 运维 自然语言处理
操作系统智能助手OS Copilot新功能测评
一文带你了解操作系统智能助手OS Copilot的三大新功能
545 10
|
存储 前端开发 JavaScript
vue+elementui+mysql实现个人博客系统
vue+elementui+mysql实现个人博客系统
|
固态存储 Python
正则表达匹配任意单个字符
正则表达匹配任意单个字符
682 4
|
人工智能 数据可视化 人机交互
一次性分割一切,比SAM更强,华人团队的通用分割模型SEEM来了
一次性分割一切,比SAM更强,华人团队的通用分割模型SEEM来了
468 0
|
机器学习/深度学习 编解码 人工智能
FCN、ReSeg、U-Net、ParseNet、DeepMask…你都掌握了吗?一文总结图像分割必备经典模型(一)(3)
FCN、ReSeg、U-Net、ParseNet、DeepMask…你都掌握了吗?一文总结图像分割必备经典模型(一)
499 0