现企业要求把各业务数据统一到一起,进行分析,数据都在MYSQL里。数据量大概3T,每年递增0.5-1T左右,基本没有非结构化数据,但后期可能会有,这个用Hadoop合适吗 ?
本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。https://developer.aliyun.com/article/706511 点击链接欢迎加入感兴趣的技术领域群。
如果数据量小的话一般不需要使用hadoop,现在关系型数据库越来越强大,再加上把机器配置提高,RDMS就更强大了,现在分布式数据库的产品越来越多,阿里云上就有分布式数据库产品可以使用。如果存储的数据很多(几百T以上)而且还要保存历史数据,再加上要对这些数据进行很多分析,一般使用hadoop比较合适,hadoop集群的节点可以比RDMS使用的机器配置差,搭建成集群之后,使用分布式的方法,让每个节点同时干活,就比较适合分析大量数据。
Hadoop mapreduce这个思想主要是借助了分而治之的算法思想。就是所谓的很庞大的业务逻辑能分成一个个小型任务去执行,这种类型的业务逻辑才能使用Hadoop mapreduce去解决。
答案来源于网络
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。