阿里云流计算新手任务一|学习笔记

简介: 快速学习阿里云流计算新手任务一

开发者学堂课程【阿里云流计算使用教程阿里云流计算新手任务一】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/432/detail/5383


阿里云流计算新手任务一


 内容介绍:

一、热词统计

二、最佳实践

 

一、热词统计

1热词榜统计

热词统计分析实际上就是一个简单的 Word Count 任务,而流式实时热词统计分析将 Word Count 处理逻辑整体转换为流式实时处理,可以做到实时对热词进行统计分析,并可以实时展现。

需要创建源表、创建结果表、计算逻辑。

2.DEMO 演示

(1)阿里云流计算开发首页总共分为总览、开发和运维三大模块。总览还分为作业情况、运行 CU、运行监控等

image.png 

2)进入开发页面

上部是整个页面的菜单栏,包括新建、保存、另存为等等

左侧为开发作业、数据存储、资源引用。

开发和运维是两个完全独立的空间,开发中的测试数据是不会提交到运维中去,完全隔离开来。

①创建源表,将实时数据写入

②创建结果表,展示计算分析后的结果

③计算逻辑,计算统计热词出现数量

当代码写完之后就可以进行测试数据的调试。

点击调试,可以看到一些测试的数据,点击调试,即可得出结果。

阿里云流计算会将整个运算过程全部打印出来,到后期下游存储时,会有一些设置,最后保存在数据库中的数据,就会与现在结果不同。


二、最佳实践

全量为主,流式为辅:流式计算仅为核心实时指标提供计算,不需全部流式化

业务短平快:直面业务,快速解决问题。如无必要,不加实体(分层)。

规划时间窗口:以天/小时/分钟记录汇总信息,切勿窗口过长。

相关文章
|
XML Java 开发工具
AAPT2简介
AAPT2简介
|
监控 NoSQL 大数据
【MongoDB复制集瓶颈】高频大数据写入引发的灾难,如何破局?
【8月更文挑战第24天】在MongoDB复制集中,主节点处理所有写请求,从节点通过复制保持数据一致性。但在大量高频数据插入场景中,会出现数据延迟增加、系统资源过度消耗、复制队列积压及从节点性能不足等问题,影响集群性能与稳定性。本文分析这些问题,并提出包括优化写入操作、调整写入关注级别、采用分片技术、提升从节点性能以及持续监控调优在内的解决方案,以确保MongoDB复制集高效稳定运行。
478 2
|
搜索推荐 网络架构 UED
什么是超链接?
本文介绍超链接的基本概念及其在网络中的重要性。超链接作为Web的核心组成部分,由蒂姆·伯纳斯·李在1989年提出,与URL、HTTP共同构成Web的三大支柱。通过链接,用户能轻松从一个文档跳转至另一个文档。文章探讨了不同类型的链接,包括内部链接、外部链接与传入链接,并介绍了锚点链接的功能。此外,还强调了链接对于用户体验及搜索引擎优化(SEO)的重要性,以及如何合理构建链接以提升网站的可用性和搜索引擎排名。最后,提供了进一步学习资源,帮助读者深入了解URL结构与超链接的实际应用。
1468 3
|
前端开发 JavaScript 测试技术
安卓应用开发中的架构模式解析
【6月更文挑战第21天】在软件开发领域,架构模式是设计优雅、高效、可维护应用程序的基石。本文深入探讨了安卓应用开发中常见的架构模式,包括MVC、MVP、MVVM和Clean Architecture,旨在为开发者提供一个清晰的指导,帮助他们选择最适合自己项目的架构风格。通过对比分析这些架构模式的特点、优势以及适用场景,文章揭示了如何根据项目需求和团队能力来采用恰当的架构模式,以实现代码的可维护性、可扩展性和可测试性。
290 7
|
存储 缓存 监控
详解缓存雪崩、缓存击穿、缓存穿透问题,一文掌握,干货不断
详解缓存雪崩、缓存击穿、缓存穿透问题,一文掌握,干货不断
|
SQL 消息中间件 存储
实时标签开发——从零开始搭建实时用户画像(五)
实时标签开发——从零开始搭建实时用户画像(五)
1617 1
实时标签开发——从零开始搭建实时用户画像(五)
|
存储 安全 网络安全
Windows操作系统中:共享文件夹以及防火墙介绍
Windows操作系统中:共享文件夹以及防火墙介绍
1266 0
|
机器学习/深度学习 人工智能 PyTorch
【深度学习】MNIST手写数字数据集的分类识别
【深度学习】MNIST手写数字数据集的分类识别
|
关系型数据库 MySQL Java
基于Java+Springboot+vue的幼儿园管理系统设计与实现(数据库,源码和教程)
基于Java+Springboot+vue的幼儿园管理系统设计与实现(数据库,源码和教程)
|
关系型数据库 MySQL
mysql多表关联查询 去掉结果集重复列
使用mysql多表查询的时候,使用join left join right join 语句的on来构建多表之间的关系,可是却把重复项漏了出来。这有一种不好情况,那就是在调取字段的时候,不知道调用的是哪个数据表,再加上强迫症。我是忍受不了的,于是经过百度,了解到了USing的存在
297 0