阿里云数据湖解决方案全面满足数据需求,帮助企业释放数据价值

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 基于阿里云对象存储OSS构建的数据湖解决方案,可以全面满足数据的存储、离线分析、交互查询等各种业务诉求,帮助企业释放数据的价值

1、行业综述

游戏市场需求旺盛,行业景气度持续提升
2020年突如其来的疫情,使全国上下在2—3月处于全面抗疫,严防死守的状态,各行各业都受到了冲击,对国民经济造成了不小的影响。虽然此次疫情对于各行各业产生的影响颇深,但是对于“宅经济”来说,确实一针兴奋剂。
据统计,2020年第一季度,国内游戏市场稳中有升,实际营销收入732.03亿元。一季度中国自主研发游戏海外市场营销收入37.81亿美元,环比增长31.19%,同比增长40.56%,继续保持较高增速。
相比往年,今年在8月份刚结束的ChinaJoy,会发现一个高频词浮现,那就是“云游戏”。根据今年早些时候发布的《2020年云游戏产业调查报告》,今年中国云游戏的市场规模将超过10亿元,未来两年每年增长率超过100%,接下来的3到5年将是中国云游戏的快速成长期。

2、行业发展方向

换皮游戏时代已经终结,大数据驱动智能化精准运营
随着国内游戏行业的迅速发展,游戏画面更加精良,游戏引擎也愈加真实,玩家对于游戏内容品质要求越来越高,且游戏厂商众多,游戏迭代速度加快,玩家留存率大大降低。流量称王的时代终结,单纯靠流量导流的方式获取客户的行为收益极低。因此“换皮游戏”逐渐被这个时代所抛弃,游戏厂商要想在行业立足,在提供画面更优质、内容更丰富、游戏性更强的游戏同时,还需要依靠大数据分析,解决玩家个性化的需求以及进行更加精准的营销。
在解决完画面、内容以及游戏性等“硬件要求”后,越来越多的企业已经开始意识到需要把游戏数据进行更加精细化的运营分析,根据用户的活跃数据、充值数据、偏好数据等为用户推送不同的活动以及玩法。同时还会根据用户的战绩数据、游玩时长等为不同的用户提供不同的匹配逻辑与关卡难度。
相信大家在游玩MOBA类游戏时会发现,一般在连胜后,就会遭遇连败,输到自己怀疑人生。但是连败后又往往会迎接一波连胜,如此循环,最后将胜率稳定在50%上下。可能这一把匹配到的队友超强,“全场带飞”,下一把的队友就可能是个“萌新小可爱”,蹦蹦跳跳地进入敌方防御塔范围送人头。
这其实就是运用大数据驱动的一种方式,通过综合分析游戏玩家每把游戏表现来为玩家匹配不同的队友,最终让大部分玩家的胜率保持在50%上下,避免玩家因为连胜或者连败对该款游戏失去兴趣,大大增强了玩家的整体游戏体验,增强玩家的留存率,刺激更多的玩家为提升自己的实力进行消费。

面临的痛点

大数据驱动下数据存储成难题,资源浪费成难题
虽然在大数据的驱动下,可以精确地对相关用户进行营销,但是在大数据系统构建的时候,很多企业又遇到各种各样的技术挑战。比如,一份数据存储在在生产存储上,需要通过RAID或者多副本的方式进行冗余存储。这个时候我们要做大数据分析,需要把这些数据进行抽取、ETL处理,来复制到像Hadoop、HDFS存储上。但是通常情况下HDFS需要做三副本,因此一份数据通常需要拷贝5,6份以上,占用了大量的存储空间。
随着后期数据量的不断增长,扩容也逐渐成为了一个头疼的问题,像Hadoop原生的这种计算、存储融合的架构,如果需要进行扩容,就必须购买原来同规格服务器,极易造成计算、存储资源的浪费。更让人头疼的是,多个业务系统的数据往往是孤立的竖井状的,各个数据处理、分析系统不兼容,不能用一套大数据平台进行统一的数据存储、分析,管理复杂度极高。
1.png

数据湖解决方案

**阿里云数据湖解决方案,助力企业真正释放数据价值
**
基于阿里云对象存储OSS构建的数据湖解决方案,可以全面满足数据的存储、离线分析、交互查询等各种业务诉求,帮助解决上面提到的这些难题。
首先,数据湖解决方案可为用户存储的数据提供高达12个9的可靠性,让数据安全存放,保障用户数据不丢不坏。

 其次,阿里云的数据湖解决方案,也是一套十分智能的解决方案。其中对象存储OSS,可以对接个多业务系统,存储来自不同业务系统的多种数据源,如些系统的原始数据、游戏日志数据等。等数据汇聚到数据湖之后,它的上层系统可以兼容多种计算引擎,如开源大数据引擎像Hadoop,Spark,阿里云EMR、DLA等,帮助用户便捷地实现数据处理和分析,不需要再重复拷贝多份。同时采用 Jindofs提供缓存加速方案,还可以获得比使用HDFS更好的体验。

同时DLA所提供的双引擎,SQL(兼容Presto)和Spark为用户提供了在计算引擎层面job级别的弹性能力,只需要为每一个job消耗的计算资源付费,而无需搭建集群,Serverless化的计算能力,让用户可以使用SQL&Spark赋能业务,结合OSS的弹性能力,真正意义做到按量付费,降本增效。

2.png
这样一套整体的数据存储、处理分析解决方案,能很大程度地减少系统兼容性问题,管理维护也更加简单,帮助IT人员从复杂且繁琐的运维中解放出来,更加专注在产品创新和业务模式的运营上。

最佳案例实践

客户介绍
国内顶级游戏公司,出海手游TOP10,涉及的游戏类型包括休闲类游戏、卡牌类游戏、回合类游戏等。

业务痛点:

出海经历了最初的跑马圈地阶段,中国厂商对出海重视程度来到了更高级别。
游戏比拼的聚焦在精细化运营上面,精细化运营作为出海的必备技能如何提升运营效率,如何实时渠道和流量分析,ROI分析,如何智能化提升玩家活跃度,用户行为分析提高游戏体验。常常会碰到下面这些问题:

1.需要处理海量并且日益增长的日志数据。
2.需要提供弹性能力,达到最优的财务平衡。
3.数据分析师熟悉SQL,常常会有大数据量的多表join。
4.需要提供全面的游戏运营指标分析功能。
5.需要有效分析渠道效果,使每分钱都花在刀刃上。
6.对付费用户追踪分析,从而更好的反映付费用户在整7.个生命周期的关键行为和价值。
8.分析玩家游戏行为,购买道具改进产品体验,提高游戏收益

解决方案:
1、利用DLA的弹性计算能力,配合OSS的近乎无限的弹性存储能力,构建弹性数据湖方案,打造最优性价比。
2、对数据做分层处理,历史日志数据通过SLS投递到OSS,实时日志存入AnalyticDB。
3、利用DLA对数据做汇聚和ETL处理,并将统计结果放在AnalyticDB上存储。

业务价值:
1、玩家链路实时监控,提高游戏体验,达到千万DAU
2、用户精细化实时运营,T+1->实时,客户留存率提升30%
3、实时渠道统计,节省约200万/月广告成本
3.png

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
7月前
|
SQL 分布式计算 关系型数据库
Dataphin x Paimon 开箱即用的数据湖治理解决方案
Dataphin深度集成Apache Paimon,通过全链路功能适配和性能优化,为企业提供开箱即用的数据湖治理解决方案。
414 2
|
9月前
|
SQL 存储 运维
别让运维数据“各过各的”:聊聊数据湖怎么搭,才能不成“沼泽”
别让运维数据“各过各的”:聊聊数据湖怎么搭,才能不成“沼泽”
309 0
|
7月前
|
存储 机器学习/深度学习 数据采集
一文讲透数据仓库、数据湖、数据海的区别
企业常因数据架构不清导致报表延迟、数据矛盾、利用困难。核心解法是构建数据仓库(高效分析)、数据湖(灵活存储原始数据)和数据海(全局集成)。三者各有适用场景,需根据业务需求选择,常共存互补,助力数据驱动决策。
一文讲透数据仓库、数据湖、数据海的区别
|
8月前
|
存储 人工智能 分布式计算
数据不用搬,AI直接炼!阿里云AnalyticDB AI数据湖仓一站式融合AI+BI
阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL版(以下简称ADB)诞生于高性能实时数仓时代,实现了PB级结构化数据的高效处理和分析。在前几年,为拥抱大数据的浪潮,ADB从传统数仓拓展到数据湖仓,支持Paimon/Iceberg/Delta Lake/Hudi湖格式,为开放的数据湖提供数据库级别的性能、可靠性和管理能力,从而更好地服务以SQL为核心的大规模数据处理和BI分析,奠定了坚实的湖仓一体基础。
|
SQL 分布式计算 Apache
Dataphin x Iceberg 开箱即用的数据湖治理解决方案
Apache Iceberg作为新一代开源数据湖表格式,具备ACID事务、时间旅行和高效Schema演化等能力。Dataphin已完成与Iceberg的深度集成,通过全链路适配与性能优化,为企业提供开箱即用的数据湖治理方案,涵盖数据源支持、离线与实时数据集成、数据研发等核心模块,助力构建现代化数据架构。
432 0
|
存储 SQL 大数据
从数据存储到分析:构建高效开源数据湖仓解决方案
今年开源大数据迈向湖仓一体(Lake House)时代,重点介绍Open Lake解决方案。该方案基于云原生架构,兼容开源生态,提供开箱即用的数据湖仓产品。其核心优势在于统一数据管理和存储,支持实时与批处理分析,打破多计算产品的数据壁垒。通过阿里云的Data Lake Formation和Apache Paimon等技术,用户可高效搭建、管理并分析大规模数据,实现BI和AI融合,满足多样化数据分析需求。
|
数据采集 存储 分布式计算
构建智能数据湖:DataWorks助力企业实现数据驱动转型
【8月更文第25天】本文将详细介绍如何利用阿里巴巴云的DataWorks平台构建一个智能、灵活、可扩展的数据湖存储体系,以帮助企业实现数据驱动的业务转型。我们将通过具体的案例和技术实践来展示DataWorks如何集成各种数据源,并通过数据湖进行高级分析和挖掘,最终基于数据洞察驱动业务增长和创新。
750 53
|
SQL 分布式计算 数据处理
Uber基于Apache Hudi增量 ETL 构建大规模数据湖
Uber基于Apache Hudi增量 ETL 构建大规模数据湖
522 2
|
存储 SQL 分布式计算
基于Apache Hudi + MinIO 构建流式数据湖
基于Apache Hudi + MinIO 构建流式数据湖
736 1
|
存储 分布式计算 大数据
基于阿里云大数据平台的实时数据湖构建与数据分析实战
在大数据时代,数据湖作为集中存储和处理海量数据的架构,成为企业数据管理的核心。阿里云提供包括MaxCompute、DataWorks、E-MapReduce等在内的完整大数据平台,支持从数据采集、存储、处理到分析的全流程。本文通过电商平台案例,展示如何基于阿里云构建实时数据湖,实现数据价值挖掘。平台优势包括全托管服务、高扩展性、丰富的生态集成和强大的数据分析工具。