天降攻城狮
天降攻城狮_个人页
天降攻城狮
文章
46
问答
0
视频
0
个人介绍
个人维信：zixuekaoshidian 个人QQ：798244092 学习交流QQ群：477287381
擅长的技术
- Python
- 前端开发
- 容器
- Linux
- 数据库
-
发表了文章 2019-07-30
24、Python快速开发分布式搜索引擎Scrapy精讲—爬虫和反爬的对抗过程以及策略—scrapy架构源码分析图
【百度云搜索:http://www.lqkweb.com】 【搜网盘:http://www.swpan.cn】 1、基本概念 2、反爬虫的目的 3、爬虫和反爬的对抗过程以及策略 scrapy架构源码分析图
-
发表了文章 2019-07-13
23、 Python快速开发分布式搜索引擎Scrapy精讲—craw母版l创建自动爬虫文件—以及 scrapy item loader机制
转： http://www.bdyss.cn http://www.swpan.cn 用命令创建自动爬虫文件 创建爬虫文件是根据scrapy的母版来创建爬虫文件的 scrapy genspider -l 查看scrapy创建爬虫文件可用的母版 Available templates:母版说明 ...
-
发表了文章 2019-07-12
22、Python快速开发分布式搜索引擎Scrapy精讲—scrapy模拟登陆和知乎倒立文字验证码识别
转自： http://www.bdyss.cn http://www.swpan.cn 第一步。首先下载，大神者也的倒立文字验证码识别程序 下载地址：https://github.com/muchrooms/zheye 注意：此程序依赖以下模块包 Keras==2.
-
发表了文章 2019-07-06
21、 Python快速开发分布式搜索引擎Scrapy精讲—爬虫数据保存
转： 【http://bdy.lqkweb.com】 【http://www.swpan.cn】 注意：数据保存的操作都是在pipelines.py文件里操作的 将数据保存为json文件 spider是一个信号检测 # -*- coding: utf-8 -*- # Define your it.
-
发表了文章 2019-07-05
20、 Python快速开发分布式搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—meta属性返回指定值给回调函数—Scrapy内置图片下载器
编写spiders爬虫文件循环抓取内容 Request()方法，将指定的url地址添加到下载器下载页面，两个必须参数， 参数： url='url' callback=页面处理函数 使用时需要yield Request() parse.
-
发表了文章 2019-07-05
19、 Python快速开发分布式搜索引擎Scrapy精讲—css选择器
【http://www.bdyss.cn】 【http://www.swpan.cn】 css选择器 1、 2、 3、 ::attr()获取元素属性，css选择器 ::text获取标签文本 举例： extract_first('')获取过滤后的数据，返回字符串，有一个默认参数，也就是如果没.
-
发表了文章 2019-07-04
18、 Python快速开发分布式搜索引擎Scrapy精讲—Scrapy启动文件的配置—xpath表达式
【百度云搜索:http://www.bdyss.cn】 【搜网盘:http://www.swpan.cn】 我们自定义一个main.py来作为启动文件 main.py #!/usr/bin/env python # -*- coding:utf8 -*- from scrapy.
-
发表了文章 2019-07-02
17、Python快速开发分布式搜索引擎Scrapy精讲—深度优先与广度优先原理
【http://www.lqkweb.com】 【http://www.swpan.cn】 网站树形结构 深度优先 是从左到右深度进行爬取的，以深度为准则从左到右的执行（递归方式实现）Scrapy默认是深度优先的 广度优先 是以层级来执行的，（列队方式实现） 【转载自：http://www.
-
发表了文章 2019-07-02
16、web爬虫讲解2—PhantomJS虚拟浏览器+selenium模块操作PhantomJS
【http://bdy.lqkweb.com】 【http://www.swpan.cn】 【转载自：http://www.lqkweb.com】 PhantomJS虚拟浏览器 phantomjs 是一个基于js的webkit内核无头浏览器 也就是没有显示界面的浏览器，利用这个软件，可以获取到网址js加载的任何信息，也就是可以获取浏览器异步加载的信息 下载网址：http://phantomjs.
-
发表了文章 2019-07-01
15、web爬虫讲解2—urllib库中使用xpath表达式—BeautifulSoup基础
在urllib中，我们一样可以使用xpath表达式进行信息提取，此时，你需要首先安装lxml模块，然后将网页数据通过lxml下的etree转化为treedata的形式 urllib库中使用xpath表达式 etree.
-
发表了文章 2019-07-01
14、web爬虫讲解2—Scrapy框架爬虫—豆瓣登录与利用打码接口实现自动识别验证码
打码接口文件 # -*- coding: cp936 -*- import sys import os from ctypes import * # 下载接口放目录 http://www.
-
发表了文章 2019-07-01
13、web爬虫讲解2—Scrapy框架爬虫—Scrapy爬取百度新闻，爬取Ajax动态生成的信息
crapy爬取百度新闻，爬取Ajax动态生成的信息，抓取百度新闻首页的新闻rul地址 有多网站，当你浏览器访问时看到的信息，在html源文件里却找不到，由得信息还是滚动条滚动到对应的位置后才...
-
发表了文章 2019-06-27
12、web爬虫讲解2—Scrapy框架爬虫—Scrapy模拟浏览器登录—获取Scrapy框架Cookies
模拟浏览器登录 start_requests()方法，可以返回一个请求给爬虫的起始网站，这个返回的请求相当于start_urls，start_requests()返回的请求会替代star...
-
发表了文章 2019-06-27
11、web爬虫讲解2—Scrapy框架爬虫—Scrapy使用
xpath表达式 //x 表示向下查找n层指定标签，如：//div 表示查找所有div标签 /x 表示向下查找一层指定的标签 /@x 表示查找指定属性的值,可以连缀如：@id @sr...
-
发表了文章 2019-06-27
10、web爬虫讲解2—Scrapy框架爬虫—Scrapy安装—Scrapy指令
Scrapy框架安装 1、首先，终端执行命令升级pip: python -m pip install --upgrade pip2、安装，wheel(建议网络安装) pip install...
-
发表了文章 2019-06-26
9、web爬虫讲解2—urllib库爬虫—实战爬取搜狗微信公众号—抓包软件安装Fiddler4讲解
封装模块 #!/usr/bin/env python # -*- coding: utf-8 -*- import urllib from urllib import request import json import random import re import urllib.
-
发表了文章 2019-06-26
8、web爬虫讲解2—urllib库爬虫—ip代理—用户代理和ip代理结合应用
使用IP代理 ProxyHandler()格式化IP，第一个参数，请求目标可能是http或者https,对应设置build_opener()初始化IPinstall_opener()将代...
-
发表了文章 2019-06-26
7、web爬虫讲解2—urllib库爬虫—状态吗—异常处理—浏览器伪装技术、设置用户代理
如果爬虫没有异常处理，那么爬行中一旦出现错误，程序将崩溃停止工作，有异常处理即使出现错误也能继续执行下去 1.
-
发表了文章 2019-06-26
6、web爬虫讲解2—urllib库爬虫—基础使用—超时设置—自动模拟http请求
利用python系统自带的urllib库写简单爬虫 urlopen()获取一个URL的html源码read()读出html源码内容decode("utf-8")将字节转化成字符串 #!/...
-
发表了文章 2019-06-11
5、web爬虫，scrapy模块,解决重复ur——自动递归url
一般抓取过的url不重复抓取，那么就需要记录url，判断当前URL如果在记录里说明已经抓取过了，如果不存在说明没抓取过 记录url可以是缓存，或者数据库，如果保存数据库按照以下方式： i...
-
发表了文章 2019-06-11
4、web爬虫，scrapy模块标签选择器下载图片，以及正则匹配标签
标签选择器对象 HtmlXPathSelector()创建标签选择器对象，参数接收response回调的html对象需要导入模块：from scrapy.
-
发表了文章 2019-06-11
3、web爬虫，scrapy模块介绍与使用
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。
-
发表了文章 2019-06-11
2、web爬虫，scrapy模块以及相关依赖模块安装
当前环境python3.5 ，windows10系统 Linux系统安装 在线安装，会自动安装scrapy模块以及相关依赖模块
-
发表了文章 2019-06-11
1、web爬虫，requests请求
requests请求，就是用python的requests模块模拟浏览器请求，返回html源码。 模拟浏览器请求有两种，一种是不需要用户登录或者验证的请求，一种是需要用户登录或者验证的请求。
-
发表了文章 2019-02-23
Flask 教程 第二十三章：应用程序编程接口（API）
本文转载自：https://www.jianshu.com/p/6088c36f2c88 我为此应用程序构建的所有功能都只适用于特定类型的客户端：Web浏览器。 但其他类型的客户端呢？ 例如，如果我想构建Android或iOS APP，有两种主流方法可以解决这个问题。
-
发表了文章 2019-02-23
Flask 教程 第二十二章：后台作业
本文转载自：https://www.jianshu.com/p/026394cacc06 这是Flask Mega-Tutorial系列的第二十二部分，我将告诉你如何创建独立于Web服务器之外运行的后台作业。
-
发表了文章 2019-02-23
Flask 教程 第二十章：加点JavaScript魔法
本文转载自：https://www.jianshu.com/p/14bc349c0716 这是Flask Mega-Tutorial系列的第二十部分，我将添加一个功能，当你将鼠标悬停在用户的昵称上时，会弹出一个漂亮的窗口。
-
发表了文章 2019-02-23
Flask 教程 第十九章：Docker容器上的部署
本文转载自：https://www.jianshu.com/p/c29bc412f21a 这是Flask Mega-Tutorial系列的第十九部分，我将在其中部署Microblog到Docker容器平台。
-
发表了文章 2019-02-23
Flask 教程 第十八章：Heroku上的部署
本文转载自：https://www.jianshu.com/p/d13dc21c6e43这是Flask Mega-Tutorial系列的第十八部分，我将在其中部署Microblog到Heroku云平台。
-
发表了文章 2019-02-23
Flask 教程 第十七章：Linux上的部署
本文转载自：https://www.jianshu.com/p/e9eff3dbc2a2 这是Flask Mega-Tutorial系列的第十七部分，我将把Microblog部署到Linux服务器。 在本章中，我将谈到Microblog应用生命周期中的一个里程碑，因为我将讨论如何将应用部署到生产服务器上，以便真实用户可以访问它。
-
发表了文章 2019-02-23
Flask 教程 第十六章：全文搜索
本文转载自：https://www.jianshu.com/p/56cfc972d372 这是Flask Mega-Tutorial系列的第十六部分，我将在其中为Microblog添加全文搜索功能。 本章的目标是为Microblog实现搜索功能，以便用户可以使用自然语言查找有趣的用户动态内容。
-
发表了文章 2019-02-23
Flask 教程 第十五章：优化应用结构
本文转载自：https://www.jianshu.com/p/c47b05ccc00e 这是Flask Mega-Tutorial系列的第十五部分，我将使用适用于大型应用的风格重构本应用。 Microblog已经是一个初具规模的应用了，所以我认为这是讨论Flask应用如何在持续增长中不会变得混乱和难以管理的好时机。
-
发表了文章 2019-02-23
Flask 教程 第十四章：Ajax
本文转载自：https://www.jianshu.com/p/53bb69847241 这是Flask Mega-Tutorial系列的第十四部分，我将使用Microsoft翻译服务和少许JavaScript来添加实时语言翻译功能。
-
发表了文章 2019-02-22
Flask 教程 第十三章：国际化和本地化
本文转载自：https://www.jianshu.com/p/e2923f4042d6 这是Flask Mega-Tutorial系列的第十三部分，我将告诉你如何扩展Microblog应用以支持多种语言。
-
发表了文章 2019-02-22
Flask 教程 第十一章：美化
本文转载自：https://www.jianshu.com/p/2c3305d75bf4 这是Flask Mega-Tutorial系列的第十一部分，我将告诉你如何用基于Bootstrap用户界面框架的新模板替换基础的HTML模板。
-
发表了文章 2019-02-22
Flask 教程 第八章：粉丝
本文转载自：https://www.jianshu.com/p/e9b20e09aa66 这是Flask Mega-Tutorial系列的第八部分，我将告诉你如何实现类似于Twitter和其他社交网络的“粉丝”功能。
-
发表了文章 2019-02-22
Flask 教程 第七章：错误处理
本文转载自：https://www.jianshu.com/p/9368fa845bba 这是Flask Mega-Tutorial系列的第七部分，我将告诉你如何在Flask应用中进行错误处理。 本章将暂停为microblog应用开发新功能，转而讨论处理BUG的策略，因为它们总是无处不在。
-
发表了文章 2019-02-22
Flask 教程 第六章：个人主页和头像
本文转载自：https://www.jianshu.com/p/add5c65f4dd6 这是Flask Mega-Tutorial系列的第六部分，我将告诉你如何创建个人主页。 本章将致力于为应用添加个人主页。
-
发表了文章 2019-02-22
Flask 教程 第五章：用户登录
本文转载自：https://www.jianshu.com/p/cb5e8633e22e 这是Flask Mega-Tutorial系列的第五部分，我将告诉你如何创建一个用户登录子系统。 你在第三章中学会了如何创建用户登录表单，在第四章中学会了运用数据库。
-
发表了文章 2019-02-22
Flask 教程 第三章：Web表单
本文转载自：https://www.jianshu.com/p/54c74c565de3 这是Flask Mega-Tutorial系列的第三部分，我将告诉你如何使用Web表单。 在第二章中我为应用主页创建了一个简单的模板，并使用诸如用户和用户动态的模拟对象。
-
发表了文章 2019-02-22
Flask 教程 第二章：模板
本文转载自：https://www.jianshu.com/p/967e75e6dd5b 在Flask Mega-Tutorial系列的第二部分中，我将讨论如何使用模板。 学习完第一章之后，你已经拥有了一个虽然简单，但是可以成功运行Web应用，它的文件结构如下： microblog\ venv\ app\ __init__.py routes.py microblog.py 在终端会话中设置环境变量FLASK_APP=microblog.py，然后执行flask run命令来运行应用。
-
发表了文章 2019-02-22
Flask 教程 第一章：Hello, World!
本文转载自：https://www.jianshu.com/p/fcbd137f308b 一趟愉快的学习之旅即将开始，跟随它你将学会用Python和Flask来创建Web应用。上面的视频包含了整个教程的内容预览（译者注：视频见原文）。
-
发表了文章 2019-01-04
2、python机器学习基础教程——K近邻算法鸢尾花分类
第一个K近邻算法应用：鸢尾花分类
-
发表了文章 2019-01-04
1、python机器学习基础教程——简述
机器学习(machine learning)：从数据中提取知识。分为：监督学习(supervised learning)和无监督学习(unsupervised learning)。
-
发表了文章 2018-05-21
2、【基础环境安装】CentOS6.5 安装Python3.6+python虚拟环境virtualenv安装
自己用Flask写的淘宝天猫优惠券搜索引擎【淘宝券 www.tbquan.cn 】谢谢支持，代码免费领取：http://www.tbquan.cn/share，教程地址：https://www.jianshu.com/c/905dd533e07d CentOS6.5 安装Python3.6+python虚拟环境virtualenv安装 问题描述： CentOS 6.5上默认安装的python版本是2.6.6，现在python3的程序越来越多，所以对python进行升级。
-
发表了文章 2018-05-15
1、【基础环境安装】conda httperror http none none for url none Anaconda更新失败解决办法
优惠券、百度网盘搜索引擎【it快速自学导航 so.kszixue.com 】谢谢支持，优惠券搜索引擎教程地址：https://www.jianshu.com/c/905dd533e07d 今日更新：优惠券、百度网盘搜索引擎 it快速自学导航 so.kszixue.com（你懂的！） conda httperror http none none for url none Anaconda更新失败 问题描述： 1、在conda安装好之后，默认的镜像是官方的，由于官网的镜像在境外,访问太慢或者不能访问，为了能够加快访问的速度，这里选择了清华的的镜像。
暂无更多信息
-
发表了文章
2019-07-30
24、Python快速开发分布式搜索引擎Scrapy精讲—爬虫和反爬的对抗过程以及策略—scrapy架构源码分析图
-
发表了文章
2019-07-13
23、 Python快速开发分布式搜索引擎Scrapy精讲—craw母版l创建自动爬虫文件—以及 scrapy item loader机制
-
发表了文章
2019-07-12
22、Python快速开发分布式搜索引擎Scrapy精讲—scrapy模拟登陆和知乎倒立文字验证码识别
-
发表了文章
2019-07-06
21、 Python快速开发分布式搜索引擎Scrapy精讲—爬虫数据保存
-
发表了文章
2019-07-05
20、 Python快速开发分布式搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—meta属性返回指定值给回调函数—Scrapy内置图片下载器
-
发表了文章
2019-07-05
19、 Python快速开发分布式搜索引擎Scrapy精讲—css选择器
-
发表了文章
2019-07-04
18、 Python快速开发分布式搜索引擎Scrapy精讲—Scrapy启动文件的配置—xpath表达式
-
发表了文章
2019-07-02
17、Python快速开发分布式搜索引擎Scrapy精讲—深度优先与广度优先原理
-
发表了文章
2019-07-02
16、web爬虫讲解2—PhantomJS虚拟浏览器+selenium模块操作PhantomJS
-
发表了文章
2019-07-01
15、web爬虫讲解2—urllib库中使用xpath表达式—BeautifulSoup基础
-
发表了文章
2019-07-01
14、web爬虫讲解2—Scrapy框架爬虫—豆瓣登录与利用打码接口实现自动识别验证码
-
发表了文章
2019-07-01
13、web爬虫讲解2—Scrapy框架爬虫—Scrapy爬取百度新闻，爬取Ajax动态生成的信息
-
发表了文章
2019-06-27
12、web爬虫讲解2—Scrapy框架爬虫—Scrapy模拟浏览器登录—获取Scrapy框架Cookies
-
发表了文章
2019-06-27
11、web爬虫讲解2—Scrapy框架爬虫—Scrapy使用
-
发表了文章
2019-06-27
10、web爬虫讲解2—Scrapy框架爬虫—Scrapy安装—Scrapy指令
-
发表了文章
2019-06-26
9、web爬虫讲解2—urllib库爬虫—实战爬取搜狗微信公众号—抓包软件安装Fiddler4讲解
-
发表了文章
2019-06-26
8、web爬虫讲解2—urllib库爬虫—ip代理—用户代理和ip代理结合应用
-
发表了文章
2019-06-26
7、web爬虫讲解2—urllib库爬虫—状态吗—异常处理—浏览器伪装技术、设置用户代理
-
发表了文章
2019-06-26
6、web爬虫讲解2—urllib库爬虫—基础使用—超时设置—自动模拟http请求
-
发表了文章
2019-06-11
5、web爬虫，scrapy模块,解决重复ur——自动递归url
滑动查看更多
暂无更多信息
暂无更多信息