阿里云流计算产品介绍|学习笔记

简介: 快速学习阿里云流计算产品介绍

开发者学堂课程【阿里云流计算使用教程阿里云流计算产品介绍】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/432/detail/5381


阿里云流计算产品介绍


 内容介绍

一、产品历程

二、产品特点

三、流计算产品-SQL 样例

四、产品现状

五、流计算产品-产品架构

 

一、产品历程

阿里云流计算脱胎于阿里集团内部双十一实时大屏业务,在阿里集团内部从最开始支持双十一大屏展现和部分实时报表业务的实时数据业务团队,历经4-5年的长期摸索和发展,到最终成长一个独立稳定的云计算产品团队。

image.png

此图为阿里云产品的历程以及背景

image.png

此图为2011年到2016年产品发展历程,从项目支撑到产品沉淀,再到产品云化以及对外输出

 

二、产品特点

1.以下为产品的核心竞争力和优势:

image.png

(1).功能强大:强人流计算引擎,支持流式 SQL:丰富数据采集工具;深度整合各类云存储

(2)功能优越:关键指标超越 Storm 的性能6到8倍,秒级乃至毫秒级延迟,单个作业吞吐量可做到百万级别

(3)简单易用:支持流式数据分析 SQL;提供全流程的流计算开发套件

(4)成本廉价:开发流程化、计算弹性化;可有效降低使用开源软件的人力和机器成本

2.特点:

数据生态 上下游打通

多租户资源隔离

线上优化  如果落后节点处理

开发调试,性能调优

在线/离线 集成与切换

多容错策路 灵活权衡性能、成本和恢复效

描述性语言支持和优化

 

三、流计算产品-SQL 样例

某网站需要对访问来源进行分析:

从日志服务读取该站点访问日志,解析日志中的来源并检查来源是否在感兴趣的网站列表中(类似来源网站的白名单,保存在 OTS 中),统计来自各个网站的流量 PV,最终结果写出到 RDS

整个流程即为日志服务到流式数据到流计算,计算结果,将结果保存到 RDS 中去。

 

四、产品现状

下图主要描述 SQL 中的关键字、主要操作符和内键函数。

主要包括:算术运算,关系运算,逻辑运算,条件函数,数学函数,日期函数,字符串函数,聚合函数,UDF 支持等。

image.png

 

五、流计算产品-产品架构

image.png

中间部分是阿里云的流计算,分为上游和下游,从上游的 Datahub、日志服务、消息服务、消息队列、IOT 套件,将数据传到阿里云流计算,通过其计算来到下游平台数据库存储。

阿里云流计算从最底层集群管理和分布式文件系统再到引擎、元数据到语言&API 算子、容错状态管理,再到运维管理最后到达上层的 REST-API,以及集成开发平台等整个构架构成阿里云流计算。

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
JavaScript 前端开发 API
JavaScript基础-事件监听与处理
【6月更文挑战第11天】本文介绍了JavaScript事件驱动编程的核心,包括事件流(捕获、目标、冒泡阶段)和监听方法(DOM Level 0、addEventListener/removeEventListener)。讨论了常见问题和易错点,如内存泄漏、事件委托和阻止默认行为的混淆,并提供了解决策略。通过代码示例展示了事件绑定、事件委托和阻止默认行为的用法,强调理解事件处理机制对于编写高效交互式Web应用的重要性。
911 6
|
存储 并行计算 NoSQL
如何利用Java进行大数据处理?
如何利用Java进行大数据处理?
|
监控 关系型数据库 MySQL
一次彻底讲清如何处理mysql 的死锁问题
【10月更文挑战第16天】本文详细介绍了如何处理 MySQL 中的死锁问题,涵盖死锁的概念、原因、检测方法及解决策略,强调通过优化事务设计、调整数据库参数、手动处理和预防措施等手段,有效减少死锁,提升数据库性能与稳定性。
2387 0
|
Dubbo Java 应用服务中间件
Java从入门到精通:3.2.2分布式与并发编程——了解分布式系统的基本概念,学习使用Dubbo、Spring Cloud等分布式框架
Java从入门到精通:3.2.2分布式与并发编程——了解分布式系统的基本概念,学习使用Dubbo、Spring Cloud等分布式框架
1049 0
|
负载均衡 网络协议 前端开发
一文快速上手 Nacos 注册中心+配置中心!
一文快速上手 Nacos 注册中心+配置中心!
9027 0
POI(excel)中表格(单元格)样式应用实践总结
POI(excel)中表格(单元格)样式应用实践总结
319 0
|
分布式计算 Hadoop Java
【Big Data】Hadoop--MapReduce经典题型实战(单词统计+成绩排序+文档倒插序列)
🍊本文使用了3个经典案例进行MapReduce实战🍊参考官方源码,代码风格较优雅🍊解析详细。
1290 0
|
前端开发 Java 测试技术
一小时学会使用Springboot整合沙箱环境支付宝支付(附源码)
一小时学会使用Springboot整合沙箱环境支付宝支付(附源码)
一小时学会使用Springboot整合沙箱环境支付宝支付(附源码)
|
移动开发 容器
技术干货 | Native 页面下如何实现导航栏的定制化开发?
通过不同实际场景的描述,供大家参考完成 Native 页面的定制化开发。
647 0
技术干货 | Native 页面下如何实现导航栏的定制化开发?
|
vr&ar
像《头号玩家》一样触摸 VR 世界?微软推出4项新VR技术
最近,微软研究团队公开了四个最新的虚拟现实研究成果:CLAW、Haptic Wheel、Haptic Links、Canetroller,它们能够更好地帮助用户 “触摸” 到虚拟场景中的物体,尽情感受虚拟世界的奇妙。
1724 0