开发者社区> 问答> 正文

日志消费与查询有什么区别?


日志服务提供了两项功能都和“读”有关:
[backcolor=transparent]日志收集与消费(LogHub):提供公共的日志收集、分发通道。全量数据顺序(FIFO)读写,提供类似Kafka的功能

  • 每个LogStore有一个或多个Shard,数据写入时,随机落到某一个shard中
  • 可以从指定shard中,按照日志写入shard的顺序批量读取日志
  • 可以根据server端接收日志的时间,设置批量拉取shard日志的起始位置(cursor)
  • 日志在LogHub中,默认保留2天时间,在此期间,日志可消费

[backcolor=transparent]日志查询(Index):在LogHub基础上提供海量日志查询功能,根据关键词的数据随机查询
  • 通过关键词查找,只抓取符合要求的数据
  • 支持关键词 AND、NOT、OR的布尔组合
  • 数据查询不区分shard

[backcolor=transparent]两者区别:
功能日志查询(LogSearch)日志收集与消费(LogHub)
关键词查找支持不支持
小量数据读取
全量数据读取慢(100条日志100ms,不建议这样使用)快 (1MB日志10ms,推荐方式)
读取是否区分topic区分不区分,只以shard作为标识
读取是否区分shard不区分,查询所有shard区分,单次读取需要指定shard
费用较高
[tr=rgb(239, 251, 255)][td]适用场景 监控、问题调查等需要过滤数据的场景流式计算、批量处理等全量处理场景

展开
收起
轩墨 2017-10-24 10:15:38 1748 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载