数据统计系统设计思路遇挫,求救.? 400 报错

你这个需求类似OLAP了，可以参考下相关资料。

如果自己实现，思路就是用类似于你们的方法2保存原始数据，在此基础上，将每日的数据统计出一个中间结果存起来形成“日统计”，最终的统计结果基于此“日统计”进一步统计完成。

如果再复杂点，可以把“日统计”看成第一层的统计结果缓存，还可以形成“周统计”、“旬统计”、“月统计”、“季统计”的多级统计结果缓存。

这个方法将计算量分散到了每天，所以最终形成统计结果时对数据库的压力不大。

日志不是挺好吗，

每天晚上分析完日志结果入库，

可以将日志导入别的数据库上，再删掉文件就行了

存日志最大的问题是每日的统计结果不能复用.需要存一个月的日志..

例如我要查询一周的活跃用户.如果这个用户连续登录一周,从日统计的结果进行累加,,,结果会是7次..

目前统计中遇到的难题就是日统计结果不能复用.需要存大量的原始用户日志.

一个月的日志存下来会有4*30=120g.放数据库也不合适.数据太多.

想象下对120g的日志进行分析.需要多久..

如果只是查询自然月的,那当然可以放到晚上,定时进行分析.

现在需求是要求查询任意30天内的数据.

早上测试了下infobright 这个东东.

下边是统计耗时情况.

mysql> select uid u,event e,sum(event2),count(uid) from test group by e;
+--------+---------+-------------+------------+
| u      | e       | sum(event2) | count(uid) |
+--------+---------+-------------+------------+
| 123456 | pay     |   190000270 |   38000037 |
| 123456 | login   |          30 |         10 |
| 123456 | insert  |           0 |          3 |
| 123456 | newtask |        NULL |          3 |
+--------+---------+-------------+------------+
4 rows in set (17.58 sec)