开发者社区> 问答> 正文

查看服务器的蜘蛛爬行情况怎么有阿里云的IP伪装成baiduspider来爬?

我今天把服务器的云盾开通了,然后把域名cname到了云盾。刚才查看服务器的蜘蛛爬行情况发现有阿里云的IP伪装成baiduspider来爬。
这是什么情况呢?
大家看看http://www.wangdai.org.cn/robots_log.txt
直接浏览器按ctrl+F 搜索“baiduspider”就可以查看到很多42.121.43开头的IP 这些都是阿里云的IP 怎么会伪装成baiduspider呢?
是不是我的域名cname到云盾的问题呢?这样会影响到网站的SEO吗?
求大家帮忙看看。谢谢。

展开
收起
wdlm.cn 2014-07-26 23:34:18 9419 0
4 条回答
写回答
取消 提交回答
  • 应该不会有问题
    2014-07-27 10:34:16
    赞同 展开评论 打赏
  •   你没仔细看 后边是真正的ip
    这个是经过waf转发的
    你所有的访问 都经过waf 这几个ip
    2014-07-27 10:18:00
    赞同 展开评论 打赏
  • Re查看服务器的蜘蛛爬行情况怎么有阿里云的IP伪装成baiduspider来爬?
    引用第1楼服务器之家于2014-07-26 23:38发表的  :
    云盾的IP

    是的 我看了一下,很多来自42.121.43的IP,他们不只是伪装成baiduspider,还伪装成sougou和bing的蜘蛛
    这是什么问题呢?肯定跟我的云盾有关系,会影响到网站的SEO吗?

    -------------------------

    Re查看服务器的蜘蛛爬行情况怎么有阿里云的IP伪装成baiduspider来爬?
    引用第3楼服务器之家于2014-07-26 23:44发表的  :
    访问(包括蜘蛛)访问你的网站,需要先通过云盾,由云盾把请求转交给你的服务器,能懂?

    嗯 明白了 谢谢。
    问题是,这样会影响到网站的SEO吗?

    -------------------------

    Re查看服务器的蜘蛛爬行情况怎么有阿里云的IP伪装成baiduspider来爬?
    估计对SEO会有影响 果断先暂停域名CNAME到云盾。
    2014-07-26 23:40:01
    赞同 展开评论 打赏
  • 云盾的IP

    -------------------------

    访问(包括蜘蛛)访问你的网站,需要先通过云盾,由云盾把请求转交给你的服务器,能懂?

    2014-07-26 23:38:23
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
如何运维千台以上游戏云服务器 立即下载
网站/服务器取证 实践与挑战 立即下载
ECS计算与存储分离架构实践 立即下载