在 middlewares.py 文件中添加：
from selenium import webdriver
import time
from scrapy.http import HtmlResponse
class JSPageMiddleware(object):
# 通过selenium对接scrapy实现动态页面的爬取
def process_request(self, request, spider):
if spider.name == 'jobbole': # 只针对特定的网页实现selenium 爬取
self.browser.get(request.url)
time.sleep(5)
print('访问页面{}'.format(request.url))
# 不要让 Downloader 再次下载，直接返回给spider
return HtmlResponse(url=spider.browser.current_url,body=spider.browser.page_source,encoding='utf-8',request=request)
在 settings.py 文件中打开：
DOWNLOADER_MIDDLEWARES = {
#'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
# 'scrapydownloadertest.middlewares.RandomUserAgentMiddleware': 543,
'scrapydownloadertest.middlewares.JSPageMiddleware': 544,
}
在spider中配置以下代码，为了让爬虫结束的时候，关闭Chrome：
import scrapy
from selenium import webdriver
from scrapy.xlib.pydispatch import dispatcher
from scrapy import signals # scrapy的信号
class HttpbinSpider(scrapy.Spider):
name = 'httpbin'
allowed_domains = ['httpbin.org']
start_urls = ['http://httpbin.org/']
# 为了不让selenium每次请求网页都打开
def __init__(self):
self.browser = webdriver.Chrome()
super(HttpbinSpider,self).__init__() # 让上一行代码属于当前类。
dispatcher.connect(self.spider_closed,signals.spider_closed)
def spider_closed(self,spider):
# 当爬虫退出的时候关闭Chrome
print('关闭selenium打开的网页')
self.browser.quit()
def parse(self, response):
print(response.text)
通过劫持request发送给downloder middleware 的spider 实现对接selenium。
设置selenium 不加载图片
from selenium import webdriver
#设置selenium不加载图片,固定写法
chrome_opt = webdriver.ChromeOptions()
prefs = {'profile.managed_default_content_settings.images':2}
chrome_opt.add_experimental_option('prefs', prefs)
browser = webdriver.Chrome(chrome_options=chrome_opt)
browser.get('https://www.oschina.net/blog')
设置selenium操作cookies
'''selenium操作cookies'''
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
# 获取所有cookies
for cookie in browser.get_cookies():
print(cookie)
print('-'*30)
# 针对某个key获取到cookie信息
print(browser.get_cookie('PSTM'))
# 删除某个cookie
browser.delete_cookie('PSTM')
# 删除所有cookie
browser.delete_all_cookies()
设置selenium同时打开两个页面
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.baidu.com/')
# 若再打开豆瓣网，就会覆盖百度的页面
# browser.get('https://douban.com/')
# 利用JavaScript原生代码实现同时打开两个页面
browser.execute_script("window.open('https://www.douban.com/')")
获取窗口句柄
虽说打开了两个窗口，但是获取一下当前页面的url，还是会是百度：
print(browser.current_url)
控制台输出：
https://www.baidu.com/
Process finished with exit code 0
操作使切换到第二个窗口
# 查看当前句柄
print(browser.window_handles)
# 切换句柄，指向第二个窗口，即豆瓣
browser.switch_to_window(browser.window_handles[1])
# 检查一下
print(browser.current_url)
控制台输出：
['CDwindow-169F5808C8791EACD5D62597FB99AF68', 'CDwindow-DF461500B000E592D24C609BFF3E7A6E']
https://www.douban.com/
Process finished with exit code 0
在爬虫中，如果切换窗口爬虫，一定要设置selenium置于要爬取的页面。
phantomjs
- 无界面的浏览器
- 多进程情况下 phantomjs 性能下降严重
