ECS服务器socket上限问题

打算把服务器弄到阿里云上面来，进行测试的时候结果和预想的差很多：


    在我们的机器上随便跑个7W socket（并发的），在阿里云上使用相同的优化方案和配置。结果云上只能跑到2W，就会出现大量的心跳超时，导致client关闭。
    查看服务端DEBUG信息所有的socket都是正常中断，也就是说不是程序的问题。



上配置：

	CPU	内存	带宽
阿里ECS	4核	8G	10M
本地主机	4核	8G	100M

使用率：

	socket数量（概数）	CPU使用（四个核，百分比）	内存消耗	带宽使用（峰值）
阿里ECS	14911	10.2、4.3、4.3、4.3	784M	上行：147.48KB/s，下行：204.49KB/s
本地主机	63282	36.1、23.0、22.4、14.8	2887M	上行：635.94KB/s，下行：842.92KB/s

  正常情况，msg queue是0，如图


    


socket出现异常：


    



现在出现大量的坏消息，socket消息堵在这里了，之前遇到过相同问题，带宽不够、服务器没有调优、服务器性能太差都会出现。


一模一样的调优，差距这么大。根据配置信息，带宽应该够，硬件配置也可以。


云服务器的安全策略都置空了，云盾进程也干掉了。不知道现在问题出在哪里？想问下阿里的云服务器由其它限制吗？

PS：
2015年12月17日 ，补充阿里云IO监控结果
   命令： iostat -x -k
vmstat


socket大量断开时状态：


avg-cpu:  %user   %nice %system %iowait  %steal   %idle
                  0.25    0.00    0.07         0.07      0.05      99.56


Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
xvda              0.00     0.97      0.31    2.23     3.12    14.13    13.60     0.01        2.19    3.55    2.01     1.27     0.32
xvdb              0.00     0.00      0.00    0.00     0.01     0.00    14.83     0.00         1.32    1.32    0.00     0.87     0.00



procs ----------------memory---------------  ---swap-- -----io---- -system-- ------cpu-----
r   b   swpd          free   buff      cache     si   so     bi    bo       in   cs    us sy id wa st
4  0      0      5280132 238580 630364    0    0     1     4        11   17    0  0 100  0  0

从上面看io没问题。


PS：阿里内网测试


client 机器：使用上面4核配置的阿里云主机。
server 机器：

	CPU	内存	带宽
阿里ECS （server主机）	2核	4G	内网测试 这个没意义

本次测试server机器成功达到6.5W 个tcp长连接并行。

使用率：

	socket数量	CPU使用（n个核，百分比）	内存消耗	内网带宽使用
阿里ECS，client	64029	18.5、10.0、3.0、6.2	1044M	上行：913.33 KB/s，下行：427.29 KB/s
阿里ECS，server	64029	48.0、37.3	2867M	上行：531.32 KB/s，下行：771.35 KB/s

监控的时候带宽不可能做道两台机器完全同步检测，所以两个的结果略有不同。
还是贴一下流量监控结果吧，两台机器都是使用bwm-ng检测。
其中网卡eth0 是内网网卡，eth1是外网网卡。


   server：

/         iface                   Rx                   Tx                Total
  ==============================================================================
             eth0:         771.35 KB/s          531.32 KB/s         1302.67 KB/s
             eth1:           1.78 KB/s            0.45 KB/s            2.23 KB/s
               lo:           0.00 KB/s            0.00 KB/s            0.00 KB/s
  - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -


client：

\         iface                   Rx                   Tx                Total
  ==============================================================================
             eth0:         427.29 KB/s          913.33 KB/s         1340.62 KB/s
             eth1:           1.69 KB/s            0.45 KB/s            2.14 KB/s
               lo:           0.00 KB/s            0.00 KB/s            0.00 KB/s
  - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



成功找到问题：
       对于做服务器的主机来说，阿里云的外网带宽并不能达标，起码单台主机（不管你购买的带宽是多少）不能承受高于2W的socket；但是内网并没有这个问题。


不知道是不是阿里对这方面做了技术限制。


@阿里技术 等回复ing。。。