开发者学堂课程【阿里云日志服务使用教程:日志索引与查询】学习笔记,与课程紧密连接,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/425/detail/5342
日志索引与查询
内容介绍:
一、日志索引属性
二、概述
一、日志索引属性
全文索引属性:
键值索引属性:
1.全文素引属性和键值素引属性必须至少启用一种
2.索引类型为 long/dobule 时,大小写敏感和分词符属性无效
3.如何设置索引请参考文档说明(帮助)
二、概述
数据收集至日志服务 loghub 后,有三种方法可以消费日志:
方式 |
场景 |
实时性 |
存储时间 |
实时消费 |
流计算,实时计算等 |
实时(<10ms) |
365天 |
索引查询 |
适合最近热数据的在线查询 |
实时(99.9%1秒,最大3秒) |
365天 |
投递存储 |
适合全量存储日志,进行离线分析 |
5-30分钟 |
依赖于存储系统 |
实时消费:
在写入日志后,最基本功能就是如何消费日志(消费日志与查询日志都意味着“读取”日志,两者区别见这里)。
对于一个 shard 中日志,消费过程如下:
1.根据时间、Begin、End 等条件获得游标。
2.通过游标、步长参数读取日志,同时返回下一个位置游标。
3.不断移动游标进行日志消费。
除最基本的 API 外,日志服务提供 SDK、Storm Spout、Spark Client、Web Console 等方式进行日志消费。