google无法访问robots文件
貌似最近很多人出现了这个情况，google 已经连续一个星期无法访问网站的robots文件了
貌似前面有人遇到过这个问题，也是用的阿里云服务器，不知道最近是如何解决的
我的网站域名是.cn，所以google 站长里面显示的网站地域就是：中国
各位有没有遇到这样的问题啊？
展开
收起
8
条回答
写回答
写回答
-
-
Regoogle无法访问robots文件最近这几天服务器都访问不了，google蜘蛛访问不了，用主机ping www@google@com也不行2014-07-31 18:38:15赞同 展开评论 打赏 -
-
Regoogle无法访问robots文件我的也是，还没找到答案。
而且搜索引擎貌似都不搜录网页。
回答楼上的，如果谷歌访问不到 robots.txt文件，就不会开始爬你的网站，人家怕爬到不该爬的。
很有礼貌。
至于百度，移入到阿里云后，也不搜录了。2013-09-09 16:44:10赞同 展开评论 打赏 -
-
回1楼www.sohu.ir的帖子但是google 每天都会访问，每天都提示我robots.txt无法访问
-------------------------
回2楼mrznz的帖子我这里做了一些调整，所以还是需要它的。-------------------------
Regoogle无法访问robots文件有没有人出现这种情况啊，是怎么解决的啊？-------------------------
Regoogle无法访问robots文件问题已经临时解决了，原因是google访问robots.txt文件用的不带WWW的域名，这个时候我返回301，所以提示无法访问，我临时修改了nginx，让javacode.cn/robots.txt可以访问2013-09-09 12:34:41赞同 展开评论 打赏 -
删除robots文件
有它没它无所谓-------------------------
回 6楼(小站) 的帖子胡扯 没有robots就不抓取？？
不是所有网站都有那个文件的2013-09-09 11:24:43赞同 展开评论 打赏 -
滑动查看更多
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
