语音识别pipeline建设
和其他机器学习一样,语音识别是一个science和engineer美妙结合的任务。Science推动语音识别基本技术的升级,engineer扩充语音识别的场景和语言。本节主要讨论在机器学习的engineering方面我们做了什么。
软件架构中的层次依赖
在描述大而复杂的软件中,最复杂的抽象层次就是软件架构。因此,在这个抽象层次我们能更好的理解构件组装原理和交互方式。软件架构被认为是软件开发方面的驱动力,他允许指定每层那些方面和模型需要依照架构来设计。早期的架构描述语言 ADL,比较独立,侧重结构抽象层次而忽略行为描述层次、观念层次和元模型层次。
redis使用pipeline通道大幅度提升redis的处理速度,节省成本
redis使用pipeline通道大幅度提升redis的处理速度,节省成本
最近在做项目的时候,遇到大量的读写,最开始都是set,get一条条的循环去取数据,当数据量大的时候,数据处理相当慢慢,就想到批处理数据的方式,最开始set数据的时候,想到的是mset 也算是批量插入数据,这个在数据量几百.
如何分析及处理 Flink 反压?
反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为瓶颈,处理速率跟不上上游发送数据的速率,而需要对上游进行限速。
基于函数计算处理数据并分发的实践操作
函数计算作为一个后端数据处理服务跟表格存储结合起来,主要是数据驱动后续的分发行为。函数计算可以对存储到表格存储里的数据进行准实时处理(目前可以定义1秒触发一次、一次传输100条记录),通过触发器函数计算能够监控到表格存储里数据的增、删、改等操作,当批量数据在表格存储被修改后,触发器会通知函数来进行处理。