X-Pack Spark归档POLARDB数据做分析
简介
POLARDB数据库是阿里云自研的下一代关系型云数据库，100%兼容MySQL，性能最高是MySQL的6倍，但是随着数据量不断增大，面临着单条SQL无法分析出结果的现状。X-Pack Spark为数据库提供分析引擎，旨在打造数据库闭环，借助X-Pack Spark可以将POLARDB数据归档至列式存储Parquet文件，一条SQL完成复杂数据分析，并将分析结果回流到业务库提供查询。
云HBase X-Pack解决传统数据仓库瓶颈，赋能客户计算分析业务
某游戏公司随着业务快速发展，用户行为日志快速增长，需要从海量的点击流日志和激活日志中挖掘数据的价值，比如广告转化率、激活率，每日安装用户成本等等。原来使用GreenPlum做实时计算和统计分析遇到一些瓶颈，最终使用阿里云HBase X-Pack构建了满足业务需求的数据处理平台。
SQL优化器原理 - Auto Hash Join
在MaxCompute中，Join操作符的实现算法之一名为"Hash Join"，其实现原理是，把小表的数据全部读入内存中，并拷贝多份分发到大表数据所在机器，在 map 阶段直接扫描大表数据与内存中的小表数据进行匹配。
