网站消耗大量资源被关停
网站消耗大量资源被关停
几天时间关了两次了，只有最后一次了。
查了下，应该是搜索引擎短时间爬的太多的问题。
请问如何限制短时间内爬虫访问过多的问题？
毕竟你们是专业的，而且经验丰富，能给一些参考意见吗？
展开
收起
1
条回答
写回答
写回答
-
个人程序员一枚可以在根目录下放robots.txt文件屏蔽搜索引擎或者设置搜索引擎可以抓取文件范围以及规则2019-02-11 11:42:47赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
