分布式计算(Distributed computing)是一种“把需要进行大量计算的工程数据分 割成小块,由多台计算机分别计算;在上传运算结果后,将结果统一合并得出数据 结论”的科学。
当前的高性能服务器在处理海量数据时,其计算能力、内存容量等指标都远远无法 达到要求。在大数据时代,工程师采用廉价的服务器组成分布式服务集群,以集群 协作的方式完成海量数据的处理,从而解决单台服务器在计算与存储上的瓶颈。 Hadoop、Storm 以及 Spark 是常用的分布式计算中间件,Hadoop 是对非实时数 据做批量处理的中间件,Storm 和 Spark 是对实时数据做流式处理的中间件。
以上内容摘自《Java工程师必读手册》电子书,点击https://developer.aliyun.com/ebook/download/7780 可下载完整版
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。