一次基于日志服务(SLS)进行前端业务埋点的实现过程

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 一次基于日志服务(SLS)进行前端业务埋点的实现过程

项目背景

从阿里云官网上可以看出,日志服务(SLS)出现的初衷是为分布式系统的数据采集和分析来设计,所以对端上的支持并不是特别完善,不如其它面向端的采集平台那样做到开箱即用,向页面流向、性能指标都需要自己开发进行采集。本文分享一下项目上,端上业务封装的方案设计思路。

实现思路

首先要清楚的问题是我们需要进行什么分析?是着重分析业务功能的使用情况还是只需要了解基础的PV、UV数据?需不需要进行性能分析?需不需要进行链路分析?

明白数据采集的需求之后就是把需求拆解成指标,也就是最小采集单位。比如对于功能的使用情况这个需求,就可以通过公式 渗透率 = 功能使用人数 / 活跃用户数 把它拆解成2个指标。

有了指标之后我们再考虑该怎么通过(尽可能少的)埋点来采集这些指标

业务指标一般是产品经给出,然后技术同学来考虑怎么优雅、高效地实现。

下面以“某核心功能使用率”这个需求为例进行说明。

具体步骤

1 明确需求

某核心功能使用率(以下简称“使用率”)的可以通过公式计算得到:

使用率 = 100% * 使用该功能的用户数 / 使用产品的用户数

由于使用率只是一个数值,简单统计报表即可用来展示它的值。

但结合业务场景来看,我们很可能需要分析的是某次发布之后,使用率是否有明显变化,然后进行相关分析。比如 UI 交互优化后使用率是否有提升来验证改版的有效性,或者是否因为 bug 导致使用率下降等。

所以需要在时间维度上进行对比分析,折线图更加合适。

2 拆解指标

通过上面的公式看到使用率涉及2个指标:使用该功能用户数使用产品用户数

使用产品的用户数和我们可以通过统计用户 ID 来实现,也就是我们常说的 UV 指标。

使用该功能的用户数可以通过交互事件或者HTTP请求来统计,两者的区别在于,如果该功能比较复杂,涉及多个操作步骤或者多个请求,可以考虑通过进入功能的交互事件来统计,否则可以通过判断 HTTP 请求路径来进行统计。

3 规范埋点数据

虽然不同端的埋点方式不同,但是能在统一的报表上进行分析,所以需要事先定义好埋点规范,核心内容就是需要收集的字段(对应日志库的索引)

这里我们采用通用字段+业务字段结合的方式,以事件的形式进行上报。

其中通用字段包括但不限于事件名称、浏览器UA信息、代码版本、用户ID。。。

业务字段则根据具体埋点指标自行扩展,比如对于页面进入事件会收集页面路径,页面退出事件会收集页面路径和访问时间。

4 编码实现

由于我们项目存在跨端场景(web端和桌面端),所以编写了一个公共库,一方面是对 SLS 的 sdk 以及自行编写的客户端 sdk 进行了封装,让公共库来管理 sdk 的实例。另一方面以基类的方式规范了提供的事件函数。

除开上面两个原因,还有一些隐藏好处:

  1. 可以对一些原子事件进行更高层级的封装,比如进出页面事件、进出应用事件可以封装成一个。
  2. 可以随时替换底层实现,比如自行实现的 sdk,甚至是 SLS 的 sdk。

5 报表配置

最后一步就是配置报表了,虽然文档比较详细,也配有最佳实践,但还其实还是存在不少技巧的。比如:

1、建议优先在日志库提供的默认查询页面编写 SQL 进行查询分析,不光是为了调试,更重要的是系统会自image.png行推荐匹配的图表


2、折线图如果想绘制多条线,可以试试数据转换功能。

3、管道符“|”的过滤优先级要高于 where 子句。

......

总结

使用 SLS 进行业务埋点概括起来可以三步走:先需求文档,后代码实现,最后报表配置。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
515 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
27天前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
|
3月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
374 3
|
5天前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
MySQL事务日志-Undo Log工作原理分析
|
1月前
|
存储 监控 安全
什么是事件日志管理系统?事件日志管理系统有哪些用处?
事件日志管理系统是IT安全的重要工具,用于集中收集、分析和解释来自组织IT基础设施各组件的事件日志,如防火墙、路由器、交换机等,帮助提升网络安全、实现主动威胁检测和促进合规性。系统支持多种日志类型,包括Windows事件日志、Syslog日志和应用程序日志,通过实时监测、告警及可视化分析,为企业提供强大的安全保障。然而,实施过程中也面临数据量大、日志管理和分析复杂等挑战。EventLog Analyzer作为一款高效工具,不仅提供实时监测与告警、可视化分析和报告功能,还支持多种合规性报告,帮助企业克服挑战,提升网络安全水平。
|
2月前
|
前端开发 数据处理 Android开发
Flutter前端开发中的调试技巧与工具使用方法,涵盖调试的重要性、基本技巧如打印日志与断点调试、常用调试工具如Android Studio/VS Code调试器和Flutter Inspector的介绍
本文深入探讨了Flutter前端开发中的调试技巧与工具使用方法,涵盖调试的重要性、基本技巧如打印日志与断点调试、常用调试工具如Android Studio/VS Code调试器和Flutter Inspector的介绍,以及具体操作步骤、常见问题解决、高级调试技巧、团队协作中的调试应用和未来发展趋势,旨在帮助开发者提高调试效率,提升应用质量。
60 8
|
3月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1757 14
MySQL事务日志-Redo Log工作原理分析
|
2月前
|
存储 监控 安全
什么是日志管理,如何进行日志管理?
日志管理是对IT系统生成的日志数据进行收集、存储、分析和处理的实践,对维护系统健康、确保安全及获取运营智能至关重要。本文介绍了日志管理的基本概念、常见挑战、工具的主要功能及选择解决方案的方法,强调了定义管理目标、日志收集与分析、警报和报告、持续改进等关键步骤,以及如何应对数据量大、安全问题、警报疲劳等挑战,最终实现日志数据的有效管理和利用。
166 0
|
3月前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
51 0
|
3月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
315 0

相关产品

  • 日志服务