一套复杂体系分化为六大热点技术
经过10年发展,以Hadoop为核心的开源大数据体系,从2015年开始,转变为多元化技术并行发展,开发者的热情分别涌向「搜索与分析」、「流处理」、「数据可视化」、 「交互式分析」、 「DataOps」、 「数据湖」六大技术热点领域,每个热点领域集中解决某个特定场景问题。其中, 「数据湖」以34%的热力值年均复合增长率高居第一位, 「交互式分析」、 「DataOps」紧随其后,分列第二、三位 。而原有Hadoop体系的产品迭代则趋于稳定,热力值年均复合增长率为1%。部分Hadoop生态项目(如HDFS)成为其他新兴技术的基础依赖,另一部分项目(如Sqoop )则逐渐退出舞台。
热力跃迁更加频繁,彼此交替推动
与大数据应用场景和规模变化趋势相呼应,热点领域的热力跃迁(热力值大幅度跳变)遵循了从上层数据可视化应用普及,到数据处理技术升级,再到数据存储和管理的结构性演变,最终,数据基础设施能力的提升又反过来推动上层应用的技术革新。具体表现为,「数据可视化」在2016和2021年经历了两次热力
跃迁, 「搜索与分析」和「流处理」 在2019年热力跃迁, 「交互式分析」和 「DataOps」从2018年和2021年经历了两次热力跃迁, 「数据湖」在2020年热力跃迁。