API关键技术-日志审计技术

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 【7月更文挑战第19天】日志审计的目的是通过审计策略和日志分析,发现系统在某一时间段内发生的异常事件,通过事件关联和追溯,分析与事件相关联的内外部人员、系统、事件涉及的范围等。

日志审计在API技术中通常是结合已有的日志服务一起使用,很少单独去构建日志审计服务,API服务仅作为日志输入的一个端点,为审计服务提供日志数据来源。如图所示,业务组件服务和API服务作为两个不同的端点向日志审计系统输入原始日志数据。

日志审计的目的是通过审计策略和日志分析,发现系统在某一时间段内发生的异常事件,通过事件关联和追溯,分析与事件相关联的内外部人员、系统、事件涉及的范围等。一条标准的日志,至少包含以下关键要素。

  • 时间:指日志发生的时间点,一般精确到秒级,特殊业务需要精确到毫秒级,准确的时间记录有利于事件的分析与关联。
  • 来源:指日志操作的来源,比如源IP、源主机。
  • 结果:指日志涉及的操作是否成功,比如一次管理API的调用请求,在日志中需要记录是调用成功还是失败。
  • 操作者:指当前日志是由谁操作的,是某个用户还是某个客户端应用程序。
  • 操作详情:指操作的具体内容是什么,比如给某个API授权,则操作详情需要记录授予什么样的权限。
  • 目标对象:指被操作的对象,比如被请求的API端点、被访问的目标主机。

除了上述基本字段外,很多审计系统根据业务场景的不同在设计时会增加其他关键字段,比如日志的类型表示是新增操作还是删除操作或其他,会话ID记录多条日志与会话的关系。

在API服务的日志采集中,可以从以下两个层面去收集。

  • 接口层:接口的日志主要用于记录在什么时间,谁调用了哪个API端点,是否调用成功等信息。如果在整个技术架构中使用了API网关,则最好在网关层面收集。这类日志信息的格式易于统一和标准化,收集可以使用代理或切面的方式,对原有API服务的影响小,基本很少需要改造。
  • 操作层:操作的日志主要用于记录API端点被调用时执行的业务操作,比如创建某个资源、删除某个资源、查询哪些数据等。这些与业务逻辑相关的日志信息,需要提前在代码中植入代码片段,按照日志标准格式输出。

当前互联网应用系统中,对API日志的收集主要采用拦截器技术。在不同的API服务或API端点日志被收集后,交由后端日志分析服务,根据既定的审计规则对数据进行分析,生成审计事件。这个过程中,审计规则的制定需要根据业务情况去梳理并在运营过程中不断优化。举例来说,系统中存在一条针对API调用限流的审计规则是非工作时间单位时间5min内连续调用接口大于2000次。在第三方厂商的业务初期,业务量小,这条审计规则不会触发审计事件,但当第三方厂商业务发展起来之后,2000的阈值可能会导致审计系统频繁触发审计事件。这时,这条审计规则就需要根据实际业务量来评估一个合理值作为新的阈值。

从日志采集、日志标准化到日志分析、日志展现,这些功能在已有日志审计系统的前提下,直接把API服务当作一个日志输入接入系统比较简单。但如果没有日志审计系统,业界也有一些开源产品供架构设计时选择,主要的产品有Elasticsearch、Logstash、Kibana、Filebeat等。

Beats工具内置多种模块(如Filebeat、AuditBeat、Functionbeat等),可针对常见设备或组件(如Apache、Cisco ASA、Kubernetes、Docker、NGINX、MySQL等)的日志进行收集、解析;Elasticsearch是实时全文搜索和分析引擎,提供检索、分析、存储数据的功能;Kibana用于搜索、分析和可视化数据。使用这些开源组件搭建日志审计系统在技术上已经比较成熟,架构选择时,可以通过这些组件的整合为业务提供一整套日志审计的解决方案,满足大多数场景下的应用需求。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
存储 运维 监控
API明细日志及运维统计日志全面提升API可运维性
在数字化转型的大潮中,数据已成为企业最宝贵的资产之一。而数据服务API可快速为数据应用提供数据接口。面对越来越多的API以及越来越多的应用调用,如何快速查看API的服务情况、异常情况及影响范围,以及查看API的调用详情,进行API的性能优化、错误排查变得越来越重要,本文将介绍如何配置和开通API运维统计及明细日志,以及如何查看日志进行介绍。
158 0
|
4月前
|
缓存 监控 API
淘宝 API 接口使用的技术要点与注意事项
在数字化商业环境中,淘宝API为开发者提供了强大的工具,用于与淘宝平台交互,获取商品信息及处理交易等。本文总结了正确使用API的关键技术要点:注册认证、理解接口文档、遵守调用限制、确保参数准确性、保护数据安全、处理异常、性能优化、版本兼容、合规性及日志监控,帮助开发者实现高效、安全的程序开发。
|
4月前
|
监控 安全 测试技术
深入理解后端技术中的API设计原则
在当今数字化时代,后端技术已成为构建高效、可扩展和安全应用程序的关键因素。本文将探讨后端开发中的API设计原则,包括RESTful架构、版本控制以及安全性等方面,旨在帮助开发者提升API设计的质量和用户体验。通过对这些原则的深入理解,可以更好地满足业务需求并提高系统的可靠性。
81 0
|
27天前
|
XML 算法 API
通过亚马逊产品广告API获取国际商品详情的技术实现
本文详细介绍如何通过亚马逊产品广告API获取国际商品信息。首先,需注册亚马逊联盟账户并申请API访问权限,获取AWS Access Key ID等凭证。接着,解析API端点和服务,如ItemLookup和ItemSearch。然后,构建API请求,包括URL、参数设置及签名生成。以Python为例,使用requests或boto3库实现API调用,并处理XML格式的API响应。最后,注意API速率限制、区域设置、数据更新及错误处理。参考官方文档确保调用准确性和安全性。
|
1月前
|
JSON 搜索推荐 API
拍立淘API是基于图像识别技术的服务接口,支持淘宝、1688和义乌购平台。
拍立淘API是基于图像识别技术的服务接口,支持淘宝、1688和义乌购平台。用户上传图片后,系统能快速匹配相似商品,提供精准搜索结果,并根据用户历史推荐个性化商品,简化购物流程。开发者需注册账号并获取API Key,授权权限后调用接口,返回商品详细信息如ID、标题、价格等。使用时需遵守频率限制,确保图片质量,保障数据安全。
|
3月前
|
存储 运维 监控
Elasticsearch Serverless 高性价比智能日志分析关键技术解读
本文解析了Elasticsearch Serverless在智能日志分析领域的关键技术、优势及应用价值。
147 8
Elasticsearch Serverless 高性价比智能日志分析关键技术解读
|
2月前
|
JSON 监控 JavaScript
Node.js-API 限流与日志优化
Node.js-API 限流与日志优化
|
3月前
|
安全 物联网 API
API技术之身份认证
【10月更文挑战第17天】身份认证是API安全的核心,确保API可信可控。
API技术之身份认证
|
3月前
|
JSON 前端开发 测试技术
API接口 |产品经理一定要懂的10%技术知识
作为产品经理,掌握约10%的技术知识对处理API相关工作至关重要。这包括理解API的基本概念及其作为数据交换的桥梁作用;熟悉JSON和XML两种主要数据格式及其特点;了解常见HTTP请求方法(GET、POST、PUT、DELETE)及响应状态码;关注API安全性,如认证授权和数据加密;掌握API版本管理和错误处理技巧;重视性能优化,以提升用户体验;参与API联调测试,确保稳定可靠;并与前后端团队紧密协作,选择合适的第三方API服务,推动产品高效开发。
|
3月前
|
XML API 网络架构
API协议 的十种技术特点及适用场景
本文介绍了十种常见的API协议技术,包括REST、GraphQL、gRPC、SOAP、WebSocket、AMF和XML-RPC等,每种技术都有其特点和适用场景,如REST适用于轻量级Web服务开发,gRPC适合高性能分布式系统,而WebSocket则适用于需要低延迟交互的应用。

热门文章

最新文章