如何禁用掉Web Core / Roots的机器人抓取
网站发现 Web Core / Roots机器人，这个机器人占用太多流量，最关键每次因为这个都把站点服务器弄崩溃，本站点是个人博客，想问下如何屏蔽这个Web Core / Roots的机器人抓取 
本人也参看阿里云给予的文档帮助（云虚拟主机被爬虫访问耗费大量流量的解决方法），使用User-Agent，Robots.txt禁用，1是文档并没有给到Web Core / Roots的User-Agent，想问下大神 如何处理，感谢感谢
禁用掉Web Core / Roots的机器人抓取
如下是Robots.txt禁用原文
User-agent: Web Core / Roots
Disallow: /
User-agent: Web Core/Roots
Disallow: /
User-agent: *
Disallow:
Disallow: /bin/
展开
收起
1
条回答
写回答
写回答
-
下一站是幸福本次直接在Asp.Net Core WebApi下完成机器人的调用,新建一个DingTalk的控制器,然后完成对IHttpClientFactory的注入工作,便开始接下来的服务调用了,
2021-04-09 15:39:23赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
