实战营第五期由三个动手实战场景和两个直播代练组成,通过三个场景实战由浅入深学习大数据技术的使用。
基于EMR离线数据分析
基于EMR集群进行离线数据分析。
- 登录集群
登录EMR集群终端 - 上传数据到HDFS
将自建数据上传到HDFS - 使用Hive创建表
使用hive创建数据表,并使用hadoop文件系统中的数据加载到hive数据表中 - 对表进行操作
使用hive对数据表进行查询等操作
使用阿里云Elasticsearch快速搭建智能运维系统
使用Beats采集器收集ECS上的系统数据和Nginx服务数据,配置基础的指标分析看板,简单展示数据采集、分析的过程和操作方式
- 登录集群
- 登录Kibana,开启自动创建索引功能
- 使用Metricbeat采集ECS上的系统数据
- 使用Filebeat采集ECS上的Nginx服务数据
使用协同过滤实现商品推荐
使用PAI基于协同过滤算法实现商品推荐
- 开通机器学习PAI服务
在阿里云首页找到产品-->人工智能-->机器学习平台-->开通 - 创建PAI Studio项目
在可视化建模-->创建项目等待初始化进入机器学习 - 创建实验
在首页-->[推荐算法]商品推荐-->从模块创建--> - 查看实验数据
单击cf_训练_data节点查看数据 - 运行实验
点击运行 - 查看实验结果
单击join-1节点-->查看数据(全表统计-1、全表统计-2查看数据)