一张照片,AI生成抽象画(CLIPasso项目安装使用) | 机器学习

简介: 一张照片,AI生成抽象画(CLIPasso项目安装使用) | 机器学习

前言

最近看到一个比较有意思的项目,可以将照片生成对应的抽象画。


项目地址:github地址


看一下项目提供的效果图。


image.png


是不是很有意思,我果断把项目弄下来自己玩了玩。下面我分享一下安装使用的过程,以供大家参考。


安装

我们先看一下作者给出的安装说明。


image.png


作者给出docker安装模式和pip安装模式,之前很多篇文章我都是使用pip进行安装部署的,这一次我决定偷懒使用docker方式。下面依次说下我的安装过程,给没有这么操作过的同学演示一下。


拉取镜像

按照作者的命令,在准备好的带显卡服务器上拉取镜像。


docker pull yaelvinker/clipasso_docker

这个命令耗时很长,你要多等等。


启动容器

镜像拉取完成后,我使用的启动命令如下:


docker run --name=hy-c -itd --restart=always --gpus all --shm-size 16G -p 2281:22 --log-opt max-size=50m --log-opt max-file=10 yaelvinker/clipasso_docker

没有按照作者提供的命令,我这里做一下说明。


1、主要将外部的显卡映射到容器内。


2、映射出22端口到外部的2281端口,是为了本地pycharm调试使用。如果有感兴趣的可以参考


Pycharm代码docker容器运行调试 | 机器学习系列_剑客阿良_ALiang的博客-CSDN博客_docker调试代码

介绍常规的本地化运行机器学习代码,安装Anaconda+cuda显卡驱动支持,许多文章都有介绍,不在此多做赘述了。本文主要是为了解决在工作环境中,本机电脑没有显卡,需要将程序运行在带显卡的远程服务器上。本文会介绍如何部署使用显卡的docker容器、如何使用pycharm连接docker容器运行机器学习代码。版本Pycharm: 2020.1.3docker:19.03.12python: 3.6.13demo算法: BackgroundMattingV2部署下面我会按照.

https://huyi-aliang.blog.csdn.net/article/details/120556923

如果不需要类似调试的话,可以去掉这部分的命令。


拉取项目

cd /home

git clone https://github.com/yael-vinker/CLIPasso.git

cd CLIPasso/

目录结构如下


image.png


使用

在使用之前我们先看一下作者给的一些参数解释。


Optional arguments:


--num_strokes Defines the number of strokes used to create the sketch, which determines the level of abstraction. The default value is set to 16, but for different images, different numbers might produce better results.

--mask_object It is recommended to use images without a background, however, if your image contains a background, you can mask it out by using this flag with "1" as an argument.

--fix_scale If your image is not squared, it might be cut off, it is recommended to use this flag with 1 as input to automatically fix the scale without cutting the image.

--num_sketches As stated in the paper, by default there will be three parallel running scripts to synthesize three sketches and automatically choose the best one. However, for some environments (for example when running on CPU) this might be slow, so you can specify --num_sketches 1 instead.

-cpu If you want to run the code on the cpu (not recommended as it might be very slow).

简单说明一下


1、第一个参数--num_strokes主要是用来标识笔画数等级的,默认为16。简而言之,数量越大,画面越详细,数量越小,画面越抽象。


2、第二个参数--mask_object是用来扣除背景的,如果需要的话,使用1。


3、第三个参数--fix_scale是用来配置是否需要切图的,如果不配置的话,项目会先将图片转化为1:1的分辨率,如果想要保持原来的分辨率,需要配置为1。


4、第四个参数--num_sketches,默认为跑3次选最好的一次,如果你只想要1次,配置1就行。


5、第五个参数是否使用CPU,就不细说了。


样例一

下面是准备的第一张图,背景为纯白色。


image.png


执行命令如下


python run_object_sketching.py --target_file "changjinglu.jpg"

执行结果


image.png


看一下效果


image.png


可以看出跑了3次。


image.png


还挺有意思的,大致的轮廓还是比较清晰的。


样例二

第二张图我挑了一张有背景的。


image.png


执行命令如下


python run_object_sketching.py --target_file "redainiao.jpg" --num_strokes 8 --num_sketches 1 --mask_object 1 --fix_scale 1

参数上,我减少了笔画数,并且需要扣除一下背景以及保留原比例。


执行结果


image.png


看一下效果


image.png

image.png




整体形象还是非常不错的,很清晰的看出鸟的轮廓。


样例三

第三幅图我找了一张蒙娜丽莎的画像,主要想看看不扣背景,油画的抽象画效果。


image.png


执行命令如下


python run_object_sketching.py --target_file "mengnalisha.jpg" --num_strokes 32 --num_sketches 1 --fix_scale 1

参数上,我增加了一些笔画,保留比例且不扣背景。


执行结果


image.png


看一下效果


image.png


哈哈哈,很有喜感,虽然效果不是很好,可能和我设置的笔画数太少有关。留个悬念,大家有兴趣可以加多一些笔画数看看效果。


补充(很关键)

注意看一下这部分代码。


image.png


在容器化部署安装过程中,镜像是带有该预处理模型的。如果pip安装的话,需要自己下载,google云盘,懂得都懂。所以我把模型放到我的百度云盘上,需要的也可以从下面的链接下载。


链接:https://pan.baidu.com/s/1sHDJu8XS9atyJdcNcfnfNw

提取码:TUAN


总结

很久没有写机器学习这个系列了,其实我自己在github上已经收藏了不少有意思的项目,有时间都会玩玩看。如果有时间还可以把项目改改变成工具分享出来,但是最近比较忙,在研究点新东西。分享:


       Yet high over the city our line of yellow windows must have contributed their share of human secrecy to the casual watcher in the darkening streets, and I was him too, looking up and wondering. I was within and without, simultaneously enchanted and repelled by the inexhaustible variety of life.——《了不起的盖茨比》


如果本文对你有帮助的话,点个赞吧,谢谢!


相关文章
|
5天前
|
机器学习/深度学习 人工智能 安全
探索AI的未来:从机器学习到深度学习
【10月更文挑战第28天】本文将带你走进AI的世界,从机器学习的基本概念到深度学习的复杂应用,我们将一起探索AI的未来。你将了解到AI如何改变我们的生活,以及它在未来可能带来的影响。无论你是AI专家还是初学者,这篇文章都将为你提供新的视角和思考。让我们一起探索AI的奥秘,看看它将如何塑造我们的未来。
31 3
|
1月前
|
机器学习/深度学习 数据采集 人工智能
AI与机器学习:从理论到实践
【10月更文挑战第2天】本文将深入探讨AI和机器学习的基本概念,以及它们如何从理论转化为实际的应用。我们将通过Python代码示例,展示如何使用机器学习库scikit-learn进行数据预处理、模型训练和预测。无论你是AI领域的初学者,还是有一定基础的开发者,这篇文章都将为你提供有价值的信息和知识。
|
2天前
|
存储 人工智能 文字识别
AI与OCR:数字档案馆图像扫描与文字识别技术实现与项目案例
本文介绍了纸质档案数字化的技术流程,包括高精度扫描、图像预处理、自动边界检测与切割、文字与图片分离抽取、档案识别与文本提取,以及识别结果的自动保存。通过去噪、增强对比度、校正倾斜等预处理技术,提高图像质量,确保OCR识别的准确性。平台还支持多字体识别、批量处理和结构化存储,实现了高效、准确的档案数字化。具体应用案例显示,该技术在江西省某地质资料档案馆中显著提升了档案管理的效率和质量。
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI的奥秘:机器学习入门指南
【10月更文挑战第30天】本篇文章是一份初学者友好的机器学习入门指南,旨在帮助读者理解并开始实践机器学习。我们将介绍机器学习的基本概念,包括监督学习、无监督学习和强化学习等。我们还将提供一些实用的代码示例,以帮助读者更好地理解和应用这些概念。无论你是编程新手,还是有一定经验的开发者,这篇文章都将为你提供一个清晰的机器学习入门路径。
19 2
|
10天前
|
人工智能 安全 网络安全
揭秘!大模型私有化部署的全方位安全攻略与优化秘籍,让你的AI项目稳如磐石,数据安全无忧!
【10月更文挑战第24天】本文探讨了大模型私有化部署的安全性考量与优化策略,涵盖数据安全、防火墙配置、性能优化、容器化部署、模型更新和数据备份等方面,提供了实用的示例代码,旨在为企业提供全面的技术参考。
36 6
|
8天前
|
机器学习/深度学习 数据采集 Python
从零到一:手把手教你完成机器学习项目,从数据预处理到模型部署全攻略
【10月更文挑战第25天】本文通过一个预测房价的案例,详细介绍了从数据预处理到模型部署的完整机器学习项目流程。涵盖数据清洗、特征选择与工程、模型训练与调优、以及使用Flask进行模型部署的步骤,帮助读者掌握机器学习的最佳实践。
31 1
|
12天前
|
机器学习/深度学习 数据采集 人工智能
揭秘AI的魔法:机器学习如何改变我们的世界
【10月更文挑战第22天】在这篇文章中,我们将深入探讨机器学习的奥秘,揭示它是如何在我们的日常生活中扮演着越来越重要的角色。从简单的数据分类到复杂的预测模型,机器学习的应用已经渗透到各个领域。我们将通过实例和代码示例,展示机器学习的基本概念、工作原理以及它如何改变我们的生活。无论你是科技爱好者还是对AI充满好奇的初学者,这篇文章都将为你打开一扇通往未来的大门。
|
22天前
|
机器学习/深度学习 存储 人工智能
揭秘机器学习背后的神秘力量:如何高效收集数据,让AI更懂你?
【10月更文挑战第12天】在数据驱动的时代,机器学习广泛应用,从智能推荐到自动驾驶。本文以电商平台个性化推荐系统为例,探讨数据收集方法,包括明确数据需求、选择数据来源、编写代码自动化收集、数据清洗与预处理及特征工程,最终完成数据的训练集和测试集划分,为模型训练奠定基础。
33 3
|
28天前
|
机器学习/深度学习 人工智能 自然语言处理
探索未来AI趋势:掌握Function Calling技巧,解锁大模型精度提升的秘密武器,让你的数据科学项目事半功倍!
【10月更文挑战第6天】随着深度学习技术的发展,神经网络模型日益复杂,Function Calling作为一种机制,在提升大模型准确度方面发挥重要作用。本文探讨Function Calling的概念及其在大模型中的应用,通过具体示例展示如何利用其优化模型性能。Function Calling使模型能在运行过程中调用特定函数,提供额外的信息处理或计算服务,增强模型表达能力和泛化能力。例如,在文本生成模型中,根据上下文调用词性标注或实体识别等功能模块,可使生成的文本更自然准确。通过合理设计条件判断逻辑和功能模块权重,Function Calling能显著提升模型整体表现。
31 3
|
6天前
|
人工智能 Anolis 开发者