ODPS跨集群迁移与数据同步经验分享
集团业务的迅猛发展带来数据量的激增,存储容量告急,迫切需要将生产集群PA上的大量数据迁移到其它集群。如何安全地跨集群迁移几十PB的数据和其上相关业务,是我们面临的第一个挑战。数据迁移之后,两个集群间存在大量的数据依赖,需要互相访问最新的数据,如何安全快速地实现跨集群数据同步,这是紧跟其后的第二个挑战
Lambda plus: 云上大数据解决方案
本文会简述大数据分析场景需要解决的技术挑战,讨论目前主流大数据架构模式及其发展。最后我们将介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景。
大数据处理的挑战
现在已经有越来越多的行业和技术领域需求大数据分析系统,例如金融行业需要使用大数据系统结合VaR(value at risk)或者机器学习方案进行信贷风控,零售、餐饮行业需要大数据系统实现辅助销售决策,各种IOT场景需要大数据系统持续聚合和分析时序数据,各大科技公司需要建立大数据分析中台等等。
如何快速开发一个IM系统
本文将会给大家介绍如何开发一个简单的即时通讯系统(IM)。
# 为什么不简单
> 我们的站点加一个即时通讯(IM)的功能,那么我们怎么做?
在回家的路上,问了同是实习生(网络方向)的舍友这样一个问题,他回答:`“很简单,只需要在服务端保存一个list,收到一个人的message后,我转发给list中指定的另一个人就好啦”`
接着,我们讨论了一晚上下面的几个问题
1.
表格存储(Tablestore)入门指南
表格存储(Tablestore)入门指南内容简介了表格存储(Tablestore)是阿里云自研的 NoSQL 多模型数据库,提供海量结构化数据存储以及快速的查询和分析服务。
理解阿里云服务的internal endpoint
阿里云服务提供的产品中,一般都涉及到endpoint的概念,其中分为internal endpoint和internet(external)endpoint。在阿里云VPC环境中使用这些服务,一般都是建议使用内部endpoint。
通过全局二级索引加速表格存储上的数据查询
## 名词定义
1. 索引表:对主表某些列数据的索引,只能读不能写。
2. 预定义列:表格存储为Schema-free模型,原则上一行数据可以写入任意列,无需在schema中指定。但是也可以在建表时预先定义一些列,以及其类型。