基于EMR离线数据分析
数据量爆发式增长的今天,数字化转型成为IT行业的热点,数据需要更深度的价值挖掘,应对未来不断变化的需求。海量离线数据分析可以应用于多种商业系统环境,例如电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。
本场景通过开通登录EMR Hadoop集群,简单进行hive操作,使用hive对数据进行加载,计算等操作。展示了如何构建弹性低成本的离线大数据分析。
收获
掌握EMR集群的基本操作,对EMR产品有初步的了解;学习到EMR集群的数据传输和hive的简单操作,对如何进行离线大数据分析有初步的掌握。
使用阿里云Elasticsearch快速搭建智能运维系统
在现今大数据场景下,信息过载和复杂的业务环境,以及故障的定位、检测等工作给运维工程师和技术体系提出了更高的要求,同时,IT架构复杂,运维工具繁多,工具之间的衔接困难,上手成本高的问题,也给运维工作带来了挑战。基于此,Elastic Stack为全链路智能运维系统提供了场景化解决方案。
本场景通过创建登录阿里云Elasticsearch集群,使用Beats采集器收集ECS上的系统数据和Nginx服务数据,配置基础的指标分析看板,简单展示数据采集、分析的过程和操作方式。
收获
了解阿里云Elasticsearch集群创建登录的基础操作,学会采集系统数据和Nginx服务数据,并且学会配置指标分析看板,体验数据分析和运维的过程。
推荐系统入门之使用协同过滤实现商品推荐
数据挖掘的一个经典案例就是尿布与啤酒的例子。尿布与啤酒看似毫不相关的两种产品,但是当超市将两种产品放到相邻货架销售的时候,会大大提高两者销量。很多时候看似不相关的两种产品,却会存在这某种神秘的隐含关系,获取这种关系将会对提高销售额起到推动作用,然而有时这种关联是很难通过经验分析得到的。这时候我们需要借助数据挖掘中的常见算法-协同过滤来实现。这种算法可以帮助我们挖掘人与人以及商品与商品的关联关系。
利用湖仓一体架构快速搭建企业数据中台
异构数据平台融合:湖仓一体2.0升级发布
1.更快的业务洞察
2.更广泛的生态对接
3.更高的性能
4.更好的综合数据开发与治理
基于Elasticsearch+Fink的日志全观测最佳实践
云上ELK+Flink全观测解决方案能力
- Beats获取日志/指标
- 数据清洗SQL化更简易
- 云上ES写入托管及超强稳定性
- 低成本数据存储
- 日志分析、指标监控、APM能力齐全
- 开源生态具备强大的可扩展性