python之爬取某网站图片附带源码,求精

简介: 爬取网站图片,自动保存命名,多次循环遍历

先上效果:

开始步骤:

1.百度找我喜欢的图片,太多了,慢慢来,哦哦哦——————-。终于黄天不负有心人,

2.找到了:

3.开搞:起来

   (1)伪装浏览器(俺用的FIDDLER抓包,模拟谷歌吧)

def hander_request1(url, page, i):

   url = url + str(i) + '.html'
   headers = {

       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36',


   }

   request = urllib.request.Request(url, headers=headers)

   return request


   # print(url)
   pass

   

2.正则拆分表单(这里写的复杂些)

part = re.compile(r'')

lt = part.findall(cont)

dirname = '美女'

# urllib.request.urlretrieve(str(lt), filepath)
print(lt)

url1 = str(lt).split('"')[1]

print(url1)

f1 = str(lt).split('"')[-2]

filename = f1

print(filename + ' 开始下载')

filepath = dirname + '/' + filename + '.jpg'
if not os.path.exists(dirname):

   os.mkdir(dirname)

# nt=mt.split()[0]


3.保存文件路径和名称

requset1 = urllib.request.Request(url=url1, headers=hd)

response1 = urllib.request.urlopen(requset1)

# urllib.request.urlretrieve(url1, filepath)
wenjianming = filename + '.jpg'
with open(wenjianming, 'wb') as fp:

   fp.write(response1.read())


# print(mt+'下载完成')
print(filename + ' 完成下载')


4.俺的图片都是分类的,套图得明白??

写了两个循环

def main():

   url = 'http://www.kantuba.net/guonei/'
   start_page = int(input('输入开始页码:'))

   end_page = int(input('请输入结束页码:'))

   #i网页计数器,可以用
   i = 0
   page = 0
   if start_page == 1:

       for i in range(10000, 10020):

           request = hander_request1(url, page, i)

           cont = urllib.request.urlopen(request).read().decode()

           download_image(cont)

           for page in range(start_page + 1, end_page):

               request = hander_request(url, page, i)

               cont = urllib.request.urlopen(request).read().decode()

               download_image(cont)

               # wenjianming = str(i) + str(page) + '.html'
               # with open(wenjianming, 'wb') as fp:
               #     fp.write(download_image(cont))
               #     # time.sleep(1)
               #     print(wenjianming + 'OK!')


   elif start_page != 1:

       for i in range(10000, 10020):

           for page in range(start_page, end_page):

               request = hander_request(url, page, i)

               cont = urllib.request.urlopen(request).read().decode()

               download_image(cont)


   pass


5.亲测效果杠杠的,拿走即可。拿回去只需要改正则表达式和URL。即可,被窝里看别忘了感谢我哦哦,啧啧啧!拿走不谢!

目录
相关文章
|
23天前
|
计算机视觉 Windows Python
windows下使用python + opencv读取含有中文路径的图片 和 把图片数据保存到含有中文的路径下
在Windows系统中,直接使用`cv2.imread()`和`cv2.imwrite()`处理含中文路径的图像文件时会遇到问题。读取时会返回空数据,保存时则无法正确保存至目标目录。为解决这些问题,可以使用`cv2.imdecode()`结合`np.fromfile()`来读取图像,并使用`cv2.imencode()`结合`tofile()`方法来保存图像至含中文的路径。这种方法有效避免了路径编码问题,确保图像处理流程顺畅进行。
122 1
|
23天前
|
Ubuntu Linux 数据安全/隐私保护
使用Cython库包对python的py文件(源码)进行加密,把python的.py文件生成.so文件并调用
本文介绍了在Linux系统(Ubuntu 18.04)下将Python源代码(`.py文件`)加密为`.so文件`的方法。首先安装必要的工具如`python3-dev`、`gcc`和`Cython`。然后通过`setup.py`脚本使用Cython将`.py文件`转化为`.so文件`,从而实现源代码的加密保护。文中详细描述了从编写源代码到生成及调用`.so文件`的具体步骤。此方法相较于转化为`.pyc文件`提供了更高的安全性。
33 2
|
23天前
|
数据安全/隐私保护 Python Windows
三种方法,Python轻松提取PDF中全部图片
三种方法,Python轻松提取PDF中全部图片
|
22天前
|
开发框架 Java 数据管理
我使用Python开发网站的3个主要框架库,强烈推荐
我使用Python开发网站的3个主要框架库,强烈推荐
|
23天前
|
存储 编解码 API
python多种方法压缩图片,opencv、PIL、tinypng、pngquant压缩图片
python多种方法压缩图片,opencv、PIL、tinypng、pngquant压缩图片
20 1
|
29天前
|
测试技术 Python
python自动化测试中装饰器@ddt与@data源码深入解析
综上所述,使用 `@ddt`和 `@data`可以大大简化写作测试用例的过程,让我们能专注于测试逻辑的本身,而无需编写重复的测试方法。通过讲解了 `@ddt`和 `@data`源码的关键部分,我们可以更深入地理解其背后的工作原理。
25 1
|
1月前
|
Python
Python 下载 html 中的 图片
Python 下载 html 中的 图片
21 2
|
1月前
|
Python
Python实现PowerPoint演示文稿到图片的批量转换
PowerPoint演示文稿作为展示创意、分享知识和表达观点的重要工具,被广泛应用于教育、商务汇报及个人项目展示等领域。然而,面对不同的分享场景与接收者需求,有时需要我们将PPT内容以图片形式保存与传播。 这样能够避免软件兼容性的限制,确保信息接收者无需安装特定软件即可查看内容,还便于在网络社交平台、博客、电子邮件中快速分享与嵌入。而用Python代码可以高效地实现PowerPoint演示文稿到图片的批量转换,从而提升工作效率。 本文将介绍如何使用Python实现PowerPoint演示文稿到图片的转换。
|
1月前
|
Python
Python——批量将PDF文件转为图片
Python——批量将PDF文件转为图片
29 2
|
23天前
|
数据可视化 Python
通过python建立一个web服务查看服务器上的文本、图片、视频等文件
通过python建立一个web服务查看服务器上的文本、图片、视频等文件
22 0