开发者社区> 问答> 正文

112.17.14.110冒充百度爬虫访问网站是什么意思?

iis日志如下:

2019-06-10 20:58:35 W6SVC5506 我的ip GET /gongyi/20171127/124.html - 80 - 139.196.174.156 compatible;+Baiduspider/3.0;++http //www baidu com/search/spider.html - 404 0 3

请问这是阿里云官方的行为吗?是出于什么目的冒充百度爬虫?

展开
收起
牙刷苏 2019-06-11 23:22:06 3329 0
1 条回答
写回答
取消 提交回答
  • fralychen

    日志记录了一条对应时间节点上的get请求,请求头为Baiduspider/3.0。有的爬虫为了抓取页面数据将会伪装自己的请求头,有关http请求头的详情你可参考下下列文档

    HTTP响应头信息和请求头信息详解link

    2019-07-17 23:37:01
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Python第五讲——关于爬虫如何做js逆向的思路 立即下载
百度研发工具集的应用实践 立即下载
从百度文件系统看大型分布式系统设计 立即下载