如何在Linux服务器上限制蜘蛛的爬行？
最近发现服务器的内存总是保持在700多MB，太不正常了，因为我的仅仅是一个wordpress,我就看网站日志，晕，好多蜘蛛啊，百度谷歌360蜘蛛也就算了，但是来了好多国外的蜘蛛，爬行的很频繁啊，严重影响服务器的性能，我不想给网站目录加
robots.txt文件，据说好像影响百度蜘蛛爬行，所以有没有什么办法直接在linux上限制，仅限于百度，谷歌，360，搜狗蜘蛛爬行，剩下的全部屏蔽！
有大神没？？、
展开
收起
5
条回答
写回答
写回答
-
-
-
Re如何在Linux服务器上限制蜘蛛的爬行？十分感谢，已经解决~-------------------------
Re如何在Linux服务器上限制蜘蛛的爬行？robots.txt没有用，robots.txt并不是法律，蜘蛛可遵守，也可以选择不遵守，无视你的robots.txt！昨天有几十个国外蜘蛛在我服务器里爬来爬去，很活跃，造成我的服务器资源大量消耗被占用，只能用二楼帅哥给我的方法了，直接屏蔽这些蜘蛛的IP，很有效！2014-06-19 17:47:26赞同 展开评论 打赏 -
楼主定期回收下内存即可，另外你安装wp-super-cache了吗？-------------------------
其实有些搜索流量较小的搜索引擎，完全可以用rebots屏蔽掉。
2014-06-19 17:04:34赞同 展开评论 打赏 -
仅限于百度，谷歌，360，搜狗蜘蛛爬行，剩下的全部屏蔽！
对于这一条，做不到，你得把你要屏蔽的一条一条的往上加。
NGINX改配置文件，apache用.htaccess，限制useragent，具体代码百度下吧。
http://www.baidu.com/s?ie=UTF-8&wd=apache+nginx+屏蔽蜘蛛2014-06-19 16:30:51赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
