开发者社区> 问答> 正文

生效了一份新版本的数据,上一版本数据会被清理掉吗,之前的增量数据会如何处理,新的数据多久线上生效?

生效了一份新版本的数据,上一版本数据会被清理掉吗,之前的增量数据会如何处理,新的数据多久线上生效?

展开
收起
Puppet 2020-03-23 10:35:44 925 0
1 条回答
写回答
取消 提交回答
  • 举例4.1用户A在购买推荐服务并上线后,近期公司业务发生较大调整,所有的用户ID需要做一次更新。原ID区间1-10000需要更换至20000-30000。现考虑如果在推荐系统中进行数据更新 在数据有较大变动的更新,我们建议用户优先使用SDK增量推送的方式。这样算法效果过渡会比较平滑。 用户A可以通过SDK增量推送的方式对user表进行更新,先批量add新的数据(20000-30000),然后对应的bhv行为数据也使用新的userid。平稳一段时间后,再del掉不用的用户ID。 如果考虑到没有足够的quota空间,决定使用全量更换数据版本的方式。在切换了数据版本后,由于智能推荐的后台算法调度周期限制,item数据会在4小时后生效,user和bhv数据会在第二天0点生效。数据实际生效前还是会查到老的数据信息。数据实际生效后上一版本数据会被完成清理掉,之前的增量数据会被完全清理。 用户A决定走全量替换的方式,原有数据版本M,他需要新建一个数据版本N,上传最新的user数据。在控制台生效完毕数据版本N后,停掉M的增量,替换成N的数据流程的增量信息。但是数据实际生效在第二天0点,当天查到的数据还是M的userId(1-10000),当天推送的新的增量(20000-30000)不会丢失,会在第二天一起生效。

    2020-03-23 10:35:54
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
运用新技术解决有状态应用的冷热迁移挑战 迁移策略+新容器运行时 立即下载
《离线日志转存服务全新升级》 立即下载
FLINK在大规模实时无效广告流量检测中的应用 立即下载