开发者社区> 问答> 正文

对于一个大型的商用时序数据压缩算法,需要重点关注什么?

对于一个大型的商用时序数据压缩算法,需要重点关注什么?

展开
收起
Dons 2021-12-14 18:51:59 1068 0
1 条回答
写回答
取消 提交回答
  • 对于一个大型的商用的时序数据压缩算法,需要重点关注三个重要的特性:

    a) Time correlation:时序数据有很强的时间相关性,然后对应的数据基本上是连续的。采样间隔通常是 1s,100ms 等。

    b) Pattern diversity:如上图,pattern 及特性差距会很大。

    c) Data massiveness:每天、每小时、每秒需要处理的数据量都是海量的,总体处理数据至少是在每天 10P 的 level,对应的压缩算法需要高效且有高吞吐率。

    2021-12-14 18:53:43
    赞同 展开评论 打赏
问答分类:
来源圈子
更多
收录在圈子:
+ 订阅
关于阿里的机器智能创新技术均呈现于此.
问答排行榜
最热
最新

相关电子书

更多
数据+算法定义新世界 立即下载
袋鼠云基于实时计算的反黄牛算法 立即下载
Alink:基于Apache Flink的算法平台 立即下载