与实时消费对接 | 学习笔记

简介: 快速学习与实时消费对接

开发者学堂课程【阿里云日志服务使用教程与实时消费对接学习笔记,与课程紧密连接,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/425/detail/5339


与实时消费对接

内容介绍:

一.实时消费

二.实时消费:其他系统

一.实时消费:

在写入日志后,最基本功能就是如何消费日志(消费日志与查询日志都意味着“读取”日志,两者区别见这里)。

对于一个 shard 中日志,消费过程如下:

1.根据时间、Begin、End 等条件获得游标。

2.通过游标、步长参数读取日志,同时返回下一个位置游标。

3.不断移动游标进行日志消费。

除最基本的 API 外,日志服务提供 SDK、Storm Spout、Spark Client、Web Console 等方式进行日志消费:

·使用 Spark Client 消费日志:参考 E-MapReduce 实现的 Spark Streaming Clinent

·使用 Storm Spout 消费日志:日志服务提供一个 Loghub Storm Spout 来完成 storm 和 loghub 对接

·使用 LogHub Consumer Library 矛费日志 Loghub ConsumerLbrary 是对 LogHub 消费者提供的高级模式,提供了一个轻量级计算框架,解决多个消费者同时消费 logstore 时自动分配 shard 以及保序的问题,更多参考。

·使用 SDK 消费日志:日志服务提供多种语言(Java 和 Python)的 SDK,且这些语言的 SDK 都支持日志消费接口。关于 SDK 的更多信息请参考日志服务 SDK。

·访问日志统计镜像:对常用日志进行实时分析 Docker 镜像,免费使用

 

二、实时消费:其他系统

·使用 CloudMonltor 云监控消费:监控场景

·使用 ARMS 消费:业务实时监控场景

·使用 StreamCompute 消费日志:自定义监控场景

·使用 E-MapReduce 消费日志:参见 Storm,Spark Streaming

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
JSON NoSQL Redis
redis-full-check校验工具
redis-full-check是阿里云Redis&MongoDB团队开源的用于校验2个redis数据是否一致的工具,通常用于redis数据迁移后正确性的校验。
25934 0
|
8月前
|
数据采集 人工智能 监控
AI时代下的代理IP新机遇:解锁数据、安全与效率的隐形密码
在AI浪潮推动下,代理IP从辅助工具升级为数据采集与传输的核心基础设施。它突破地域限制、规避反爬机制,助力AI模型训练效率提升;通过智能路由和协议优化,实现高效稳定的数据传输;同时满足隐私保护与合规需求。在电商、金融、内容创作等领域,代理IP已成为不可或缺的效率与安全护航者。未来,智能化、合规化、全球化将成为其发展关键趋势。
177 0
|
11月前
|
负载均衡 算法
架构学习:7种负载均衡算法策略
四层负载均衡包括数据链路层、网络层和应用层负载均衡。数据链路层通过修改MAC地址转发帧;网络层通过改变IP地址实现数据包转发;应用层有多种策略,如轮循、权重轮循、随机、权重随机、一致性哈希、响应速度和最少连接数均衡,确保请求合理分配到服务器,提升性能与稳定性。
2390 11
架构学习:7种负载均衡算法策略
|
10月前
|
安全 数据建模 应用服务中间件
SSL证书怎么获得?获得后如何安装到服务器?
在当今互联网时代,SSL证书是保障网站安全的重要工具,实现HTTPS加密和身份认证,防止数据劫持或篡改,提升SEO效果。获取SSL证书需选择可信的CA机构、选择证书类型、生成CSR、验证域名及企业信息并获取证书。安装SSL证书到服务器(如Nginx)涉及上传证书文件、配置Nginx并重启服务。具体步骤可参考详细教程。 简介:SSL证书对网站安全至关重要,涵盖获取与安装流程,包括选择CA、生成CSR、验证信息、配置服务器等关键步骤。
$停车场管理系统 栈与队列
$停车场管理系统 栈与队列
|
安全 网络安全 API
WSO2 products 文件上传(CVE-2022-29464)
WSO2 products 文件上传(CVE-2022-29464)
|
消息中间件 JavaScript 数据挖掘
|
存储 虚拟化
VMware ESXI虚拟化安装win10系统
VMware ESXI虚拟化安装win10系统
1362 1
privoxy自动请求转发到多个网络
有些时候我们需要通过不同的代理访问不同资源,比如某些ip或域名走本地网络,某些ip或域名走不可描述的代理等。当然这只是举个栗子! 我要解决的问题是:我的内网机器没有internet访问权限,但是我的应用程序有部分请求是要访问intranet网络,而部分请求要访问internet网络。
2042 0
Windows-当443端口被占用时如何解决?
Windows-当443端口被占用时如何解决?
1710 0