阿里云流计算产品介绍|学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习阿里云流计算产品介绍

开发者学堂课程【阿里云流计算使用教程阿里云流计算产品介绍】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/432/detail/5381


阿里云流计算产品介绍


 内容介绍

一、产品历程

二、产品特点

三、流计算产品-SQL 样例

四、产品现状

五、流计算产品-产品架构

 

一、产品历程

阿里云流计算脱胎于阿里集团内部双十一实时大屏业务,在阿里集团内部从最开始支持双十一大屏展现和部分实时报表业务的实时数据业务团队,历经4-5年的长期摸索和发展,到最终成长一个独立稳定的云计算产品团队。

image.png

此图为阿里云产品的历程以及背景

image.png

此图为2011年到2016年产品发展历程,从项目支撑到产品沉淀,再到产品云化以及对外输出

 

二、产品特点

1.以下为产品的核心竞争力和优势:

image.png

(1).功能强大:强人流计算引擎,支持流式 SQL:丰富数据采集工具;深度整合各类云存储

(2)功能优越:关键指标超越 Storm 的性能6到8倍,秒级乃至毫秒级延迟,单个作业吞吐量可做到百万级别

(3)简单易用:支持流式数据分析 SQL;提供全流程的流计算开发套件

(4)成本廉价:开发流程化、计算弹性化;可有效降低使用开源软件的人力和机器成本

2.特点:

数据生态 上下游打通

多租户资源隔离

线上优化  如果落后节点处理

开发调试,性能调优

在线/离线 集成与切换

多容错策路 灵活权衡性能、成本和恢复效

描述性语言支持和优化

 

三、流计算产品-SQL 样例

某网站需要对访问来源进行分析:

从日志服务读取该站点访问日志,解析日志中的来源并检查来源是否在感兴趣的网站列表中(类似来源网站的白名单,保存在 OTS 中),统计来自各个网站的流量 PV,最终结果写出到 RDS

整个流程即为日志服务到流式数据到流计算,计算结果,将结果保存到 RDS 中去。

 

四、产品现状

下图主要描述 SQL 中的关键字、主要操作符和内键函数。

主要包括:算术运算,关系运算,逻辑运算,条件函数,数学函数,日期函数,字符串函数,聚合函数,UDF 支持等。

image.png

 

五、流计算产品-产品架构

image.png

中间部分是阿里云的流计算,分为上游和下游,从上游的 Datahub、日志服务、消息服务、消息队列、IOT 套件,将数据传到阿里云流计算,通过其计算来到下游平台数据库存储。

阿里云流计算从最底层集群管理和分布式文件系统再到引擎、元数据到语言&API 算子、容错状态管理,再到运维管理最后到达上层的 REST-API,以及集成开发平台等整个构架构成阿里云流计算。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
数据可视化 搜索推荐 关系型数据库
【最佳实践】实时计算Flink在IoT行业的实时数仓建设实践
据 IDC 估计,到 2020 年物联网将在全球范围内产生 1.46 万亿美元的价值。据预测,届时中国的物联网市场规模将超过 1.8 万亿人民币。
|
数据采集 存储 分布式计算
《离线和实时大数据开发实战》(二)大数据平台架构 & 技术概览2
《离线和实时大数据开发实战》(二)大数据平台架构 & 技术概览2
976 0
《离线和实时大数据开发实战》(二)大数据平台架构 & 技术概览2
|
移动开发 JSON 分布式计算
【最佳实践】实时计算Flink在游戏行业的实时数仓建设实践
随着互联网和移动互联网的相互促进与融合,以及PC终端和各类移动终端在智能化和便携性上的趋同,游戏产品跨平台运行于各类终端的需求逐步显现。
|
5月前
|
消息中间件 监控 Kafka
联通实时计算平台问题之实时计算平台的数据处理流程是什么样的
联通实时计算平台问题之实时计算平台的数据处理流程是什么样的
|
SQL 存储 分布式计算
Flink 流批一体在 Shopee 的大规模实践
Shopee 研发专家李明昆在 Flink Forward Asia 2022 流批一体专场的分享。
10334 0
Flink 流批一体在 Shopee 的大规模实践
|
数据采集 人工智能 监控
【最佳实践】实时计算Flink在广告行业的实时数仓建设实践
通过每个广告位上不同广告的投放地区、广告ID、设备唯一编码等信息,可以统计点击次数、投放次数等指标,可用于制定更高效的广告投放策略,降低投放成本,提高广告收益。
|
大数据 流计算
《基于流计算构建实时大数据处理系统》电子版地址
基于流计算构建实时大数据处理系统
96 0
《基于流计算构建实时大数据处理系统》电子版地址
|
存储 监控 物联网
阿里云流计算应用场景|学习笔记
快速学习阿里云流计算应用场景
516 0
阿里云流计算应用场景|学习笔记
|
存储 运维 监控
阿里云流计算新手任务一|学习笔记
快速学习阿里云流计算新手任务一
136 0
阿里云流计算新手任务一|学习笔记
|
SQL 存储 分布式计算
《离线和实时大数据开发实战》(二)大数据平台架构 & 技术概览1
《离线和实时大数据开发实战》(二)大数据平台架构 & 技术概览1
1019 1
《离线和实时大数据开发实战》(二)大数据平台架构 & 技术概览1