开发者学堂课程【阿里云日志服务使用教程:ECS-日志采集】学习笔记,与课程紧密连接,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/425/detail/5338
ECS-日志采集
日志服务
1.定义
日志服务(Log Service.简称 Log)是针对日志类数据一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。
用户无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能,帮助提升运维、运营效率,建立 DT 时代海量日志处理能力。
2.采集方式
(1)使用logtail 接入服务,通过简单的配置就可以收集服务器上的日志,而且不用修改任何应用程序代码。
(2)如果希望编程写入日志,loghub 提供多种语言
(Java/.NET/PHP/Python)的 SDK 方便您使用。
(3)通过 Tracking 功能支持 HTML、H5、iOS 和 Android 平台数据的采集,使用 tracking 方式写入日志要求您先开通 logstore 上的 Tracking 功能。
开通方法请参考 Web Tracking 接入用户端日志。
(4)如果需要通过其他语言代码写入日志,可以使用日志服务的 Rest 风格 API 来完成。
注意:
无论通过何种方式写入日志,服务端可以接受的日志字段中时间为以当前基点-7天-15分钟范围内数据。
否则,该日志数据将会被直接拒绝。具体请参考 PostLogStoreLogs 接口。
3.面向服务器采集
Agent (logtail)
日志服务 logtail 接入服务的客户端使用正则表达式从用户原始数据提取信息,组织成为符合日志服务日志数据模型的结构。
·单行日志
·Json 格式
·Delimiter 格式
·通用日志格式:参见正则表达式
以下是常见配置示例:
Nginx,Apache,Log4J,Wordpress,Python,NodeJS,分隔符
(Delimiter,如 CSV、TSV 等格式)、logstash,ThinkPHP,
IIS(Windows 平台,默认格式)/logstash。
4.采集日志
(1)选择数据源
(2)指定收集模式
(3)应用到机器组