降本增效利器!趣头条Spark Remote Shuffle Service最佳实践
趣头条是一家依赖大数据的科技公司,在2018-2019年经历了业务的高速发展,主App和其他创新App的日活增加了10倍以上,相应的大数据系统也从最初的100台机器增加到了千台规模。面对业务和数据的日益增长,如何优化大数据平台,真正实现降本增效,技术人也面临着非常大的挑战,近半年趣头条和阿里云一起合作,通过Spark Remote Shuffle Service取得了较大的进展,在这里大家可以更加详细地了解这套方案。
EMR StarRocks 白皮书
StarRocks-新一代极速全场景MPP数据仓库产品解决方案。StarRocks 具备⽔平在线扩缩容,⾦融级⾼可⽤,兼容 MySQL 5.7 协议和 MySQL ⽣态,提供全⾯向量化引擎与多种数据源联邦查询等重要特性。StarRocks 致力于在全场景 OLAP 业务上为⽤户提供统⼀的解决⽅案,适⽤于对性能、实时性、并发能⼒和灵活性有较⾼ 要求的各类应⽤场景。