google蜘蛛一天访问近十万次正常吗
有个页面没任何内容,只有几十个分类连接,
但连接是动态的,
根据十几个不同的搜索词能组合成上万个连接.
因为没添加内容,开始没注意
从 3.09日 google蜘蛛就开始爬行这个页面,当天有几万次,
我在连接标签上都加了rel="nofollow",
但是没有用.
到3.13日达到近十万次,
我把直接连接改成js间接处理也不行,
封了几天ip段解封后又疯狂的访问
今天有一个ip已达7万次
但是有很多 66.249.*.* ip段访问只有几次十几次.
但只有 66.249.75.252 超过7万次
这是google的行为吗?
怎样能告诉它不这么干,
不想封整个ip段
另外问一下,
nginx日志记录的应该是客户端的ip(如果用代理,应该是最后一个与服务器连接的ip)
这个 ip 能不能被伪造,(http通信都是明文的)
在什么样的情况下能被伪造
展开
收起
5
条回答
写回答
写回答
-
Regoogle蜘蛛一天访问近十万次正常吗这是可能的,我的系统刚上线前几天谷歌一天就是来几十万次. 66开头的这个ip特别多,后来我用nginx设置了下链接数限制.
[root@www nginx]# grep '^66' access.log-20160326 | head -10
66.249.73.219 - - [25/Mar/2016:03:16:03 +0800] "GET ########################## HTTP/1.1" 200 3230 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
66.249.73.219 - - [25/Mar/2016:03:16:04 +0800] "GET ########################## HTTP/1.1" 200 3609 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
66.249.73.219 - - [25/Mar/2016:03:16:04 +0800] "GET ########################## HTTP/1.1" 200 2906 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
66.249.73.219 - - [25/Mar/2016:03:16:04 +0800] "GET ########################## HTTP/1.1" 200 3068 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
66.249.73.219 - - [25/Mar/2016:03:16:05 +0800] "GET ########################## HTTP/1.1" 200 8260 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
66.249.73.219 - - [25/Mar/2016:03:16:05 +0800] "GET ########################## HTTP/1.1" 200 4452 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
66.249.73.219 - - [25/Mar/2016:03:16:05 +0800] "GET ########################## HTTP/1.1" 200 6774 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
66.249.73.219 - - [25/Mar/2016:03:16:06 +0800] "GET ########################## HTTP/1.1" 200 5279 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
66.249.73.219 - - [25/Mar/2016:03:16:06 +0800] "GET ########################## HTTP/1.1" 200 3628 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
66.249.73.219 - - [25/Mar/2016:03:16:07 +0800] "GET ########################## HTTP/1.1" 200 4504 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
[root@www nginx]# grep '^66' access.log-20160326 | wc -l
2095492016-03-29 21:41:54赞同 展开评论 打赏 -
-
-
R&S网络资深工程师 ，阿里云论坛官方版主，阿里云云计算ACP，春考教学网站长，IT技术晋级之路专辑作者回 楼主(alixi) 的帖子不可能。。。看看记录吧2016-03-29 09:16:55赞同 展开评论 打赏 -
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
