1
条回答
写回答
写回答
-
( 1）通过user-agent来判断是否是爬虫。
解决方案：可以通过伪装请求头中的user-agent来解决。若user-agent被检测到，可以找大量的user-agent,放入列表，然后进行更换
（2）将IP进行封杀。
解决方案：可以通过代理来伪装IP。
（3）通过访问频率来判断是否是一个爬虫。
解决方案：可以通过设置请求间隔，和爬取间隔。
（4）当一定时间内的总请求数超过上限，弹出验证码。
解决方案：对于简单的验证码图片可以使用tesseract来处理，对于复杂的可以去打码平台。
（5）通过JS来获取页面数据。
解决方案：可以使用selenium+phantomjs来加载JS获取数据。
2021-12-08 22:43:00赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
