开发者学堂课程【网络安全攻防 - Web渗透测试：Web 漏洞扫描之 BurpSuite（二）】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/630/detail/9928
Web 漏洞扫描之 BurpSuite（二）
内容介绍：
一、爬虫功能[Spider]
二、扫描功能[Scanner]
一、爬虫功能[Spider]
1、准备工作
爬虫就是爬取网站的内容。准备工作已经做完。
（1）设置代理获取域名
（2）访问目标网站
（3）设置目标域
（4）拦截功能关闭
有一个状态，爬虫是暂停的。清理请求，它自己自动爬了33请求，因为使用这个范围定义在目标 tab，它有一个被动的，还有使用自定义的，它默认怕的就是这个，但是也不是全部都爬取。
也可以自定义，这个界面是不是包含的范围和要排除的范围，就是说每一个爬虫和扫描都可以依据范围，这个范围可以是来自于全局的，也就是它给的定义的也可以是自己定义的。前边定义好即可。
2、爬虫选项：
（1）Intercept is off
关闭代理
crawler settings
爬取设置
Check robots .txt
检查 robots.txt 文件，几乎每一个网站上都有这个文件，这是一个爬虫的行业规范，它里面写了禁止爬取的一些内容，可以看到每一个网站上都有 robots .txt 文件。
User-agent:Baiduspider
Disallow:/baidu
Disallow:/s?
Disallow:/ulink?
Disallow:/link?
User-agent:Googlebot
Disallow:/baidu
Disallow:/s?
Disallow:/shifen/
Disallow:/homepage/
Disallow:/cpro
Disallow:/ulink?
Disallow:/link?
User-agent:MSNBot
Disallow:/baidu
Disallow:/s?
Disallow:/shifen/
Disallow:/homepage/
Disallow:/cpro
Disallow:/ulink?
Disallow:/link?
User-agent:Baiduspider-image
Disallow:/baidu
Disallow:/s?
Disallow:/shifen/
Disallow:/homepage/
Disallow:/cpro
Disallow:/ulink?
Disallow:/link?
Detect custom "not found" responses
robots.txt 也称为爬虫协议，机器人协议就是网站通过 robots 协议告诉搜索引擎哪些页面可以抓，哪些页面不可以抓。
检查404页面
Request the root of all directories
请求所有页面 默认的
Maximum link depth
最大链接长度
Maximum parameterized requests per url
每个链接最多的请求数
（2）Passive spidering 被动爬取
Passive spidering monitors traffic through Burp Proxy to update the site map without making any new requests
被动爬虫功能基于手工爬虫来更新站点地图
（3）Form Submission 表单提交
Don’t submit forms
不提交表单
Prompt for guidance
提交时弹框并手工设置
Automatically submit using the following rules to assign text field values
正则匹配并采用默认值填写
Set unmatched fields to: 55-555-0199@example .com
设置不匹配的字段
（4）Application Login 登录表单
These settings control how the Spider submits login forms.
Don't submit login form
不提交表单
Prompt for guidance
弹框并设置
Handle as ordinary forms
类似上面的普通表单来处理
Automatically submit these credentials
用下面的账号来提交
（5）Sqider engine 爬虫引擎
Number of threads:10
线程数
Number of retries on network failure:3
重试次数
Pause before retry (milliseconds):2000
重试间隔
这个可以设置，它会影响爬取的速度。网络失败的次数。
（6）Request Headers 请求头部
User-Agent Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)Connection: close
设置 User-Agent 用来隐藏 burpsuite, 可设置为 Win/Mac/iOS/Android 等。
点击 spider is running，提交表单。
执行爬虫：在站点地图中放松给爬虫。
现在没有全面的对网站进行漏扫，是因为访问了一些站，或者本身开了漏扫的功能，这个问题可以解决，live active scanning 主动的
点击 spider is runnning，立马跳出一个表单，提交一下。点击 spider is runnning 站点按钮后，就已经开始爬取，查看 site map，左侧的页面会逐渐亮起来，但是由于 dvwa 选择的位置，本身的内容不太多，所以爬不了太多内容。
有两种方法爬取，第一种直接点右键，选择爬这个站即可。
或者直接点击 spider is runnning 按钮开始。原来是暂停的，只是被动的爬取一些东西。
再看站点地图，会更加多一些，注意，爬取是可以加的，显示全部，如果还要爬取另一个站，可以往后添加，不影响它接着爬，无需暂停。
将 http：//testhtm15.vu1mweb.com 加入，直接去页面访问即可，爬取自动就会继续爬，随便找一个加入 scope，134里可以看到它自己开始爬了，表单提交一下。这样整个站点地图就完整了。
二、扫描功能[Scanner]
扫描首先看到已经出现了问题，出现了一些中危或者高危的一些等级，右边写得很清楚，还可以修改，给出相应的时间。现在还没有对网站进行全面的漏扫，是因为访问了一些站，或者它本身开了一个被动的扫描功能，这是个问题，这个也能修改。
1、准备工作：
设置代理获取域名，访问目标网站，设置目标域，拦截功能关闭。
2、扫描选项之扫描方式:
主动扫描精准度高时间长影响大消耗资源大，被动扫描精准度低时间短影响小消化资源小。
（1）Live Active Scanning 主动扫描方式
现在还没有对这个网站进行全面的漏扫，因为访问了一些站或者说开了一个本身的被动扫描功能。Live Active Scanning 显示的是默认 don’t scan 不去主动的扫描。
Automatically scan the following targets as you browse. Active scan checks send various me lioious reques designed to idently common vulnerabilities Use with caution.
主动扫描：默认关闭，当手动浏览网页时，主动发送大量探测请求来确定是否会对目标系统有性能压力。适合离线环境。
（2）Live Passive Scanning 被动扫描方式
Automatically scan the following targets as you browse. Passive scan checks analyze you exiting traffic for evidence of vulnerabilities. and do not send any new requests to the target
被动扫描：默认开启，当手动浏览网页时，基于原有网页数据进行探测，不再发送请求，压力最小，也能针对性测试，适合生产环境。他不会再重新发送这种请求，是对所爬取的内容进行扫描，被动扫描其实对系统的消耗小一些。
（3）Scan everything 扫描全部
扫描的时候可以选择攻击插入点，默认选择
url/body/cookie/parameter/headers/url 即对以上内容进行安全探测。跳过探测的参数（服务端），也是默认勾选的。
（3）active scanning engine 主动扫描引擎
Number of threads 10 扫描线程
Number of retries on network failure 3 重试次数
Pause before retry （milliseconds）2000重试时间
Throttle between requests (milliseconds) 500设置随机间隔(避开 waf/ids 检测)Add random variations to throttle
Follow redirection where necessary 追踪重定向页面
active Scanning Optimization 主动扫描优化
（5）Active Scanning Areas 主动扫描范围
These settings control the types of checks performed during active scanning.
SQL injection sql 注入类型
Error-based、MSSQL-specific checks、Time delay checks、Oracle-specific checks、Boolean condition checks、MySQL -specific checis 若知道目标系统的数据库此处可以做缩小扫描范围
OS command injection Informed、Blind 系统命令注入
Server-side code injection、Server-side template injection (requires reflected XSS)、Reflected XSS XSS扫描，csrf 扫描
默认情况下它已经勾选了扫描的对象，也可以把某一项去掉。标准就可以。
同样这里面没有开始的按钮，回到站点地图，右键有两个选项，主动或被动，采用主动扫描。有一些重复的对象可移除，比如 URL 参数重复，有185个重复，没必要一个一个去进行分析，进行扫描。还有其他的一起静态资源对象也没必要扫。
在 scanner 队列里面也是在跑，问题完成几个事件，多少个请求，
（6）Passive Scanning Areas 被动扫描范围
These settings control the types of checks performed during passive scanning.
Headers、MINE type、Forms、Caching、Links、Information disclosure、Parameters、Frameable responses (Clickjacking")、Cookies、ASP.NET ViewState、Server-level lssues 默认探测所有类型。
（7）Static Code Analysis 静态代码分析
These settings control the types of scanning that will include static analysis of executable code. Note that static analysis can consume large amounts 代码分析会消耗大量内存和 CPU 资源，默认只在主动扫描的时候开启
Active scanning only
Active and passive scanning
Don't perlorm static code analvsis
（8）漏洞问题
漏洞定义（资料库），左边列举了 BurpSuite 能够检测到的 web 漏洞类型，右边是详细的漏洞说明和建议。在scanner 位置，问题在不断的增加。
scan queue 在一直跑，不要在业务繁忙的时候去扫描。
高危漏洞可以看到是明文登录 cleartsxt。
还可以看到跨站脚本包含，会出现很多漏洞。
这边正在队列开始扫，选项就不做调整了。现在已经有很多漏洞了，来到信息这边，有漏洞的等级，可以按照高危或低危的等级排序，可以看到在这个 idvws/vulnerabilifies/brutel 里面有个 SQL 注入，还没扫完，从左往右依次是发现的漏洞问题，漏洞类型，漏洞所在的路径，漏洞等级，如果验证以后发现是这样的，可以右键加入描述信息。
等级也可以换颜色做调整。设置等级，或者标记相应的颜色。这样对导出的报告有明显的结果。
如果发现不是这个等级，有可能是误报，如果是误报就可以更改颜色等级。最后怎么导出呢？没有导出按钮，导出还是要回到问题 assue activity 这边，点击 CTRL A 全选，
右键选择 Report selected issues 报告选择问题，也可以只选择一部分导出格式有两种，一般选择 HTML，默认下一步即可。
选择报告保存在哪个位置，保存在桌面上，叫做 dvwa，保存。
报告设置标题，查看报告，开发人员和安全运维人员可以拿这个报告去做相应的动作。从报告中可以看到高危漏洞和中危各漏洞的个数，这是非常详细的报告结果。
（9）执行扫描:被动扫描
默认开启被动扫描，即在目标域下面手工浏览网页时, BurpSuite 启动 passive scanner 进行扫描。通过手工浏览网页+之前爬虫获得的站点地图(包含详细页面)，将这些已经存在的网页，发送到被动扫描模块。
（10）回顾 BurpSuite 软件
首先它要开启代理，目标这个位置有站点地图，还有设置它的范围，这个范围可以作为爬取和扫描的使用范围，也可以自定义一个范围，很多东西都可以直接点击右键进行扫描或者爬取等，站点地图在看的时候只显示范围的时候注意勾选就可以。这就是 Web 漏扫之 Brup suite 这个软件，漏扫是它功能中的其中一项。
