《Apache Flink 案例集（2022版）》——3.机器学习——奇安信-如何设计信息安全领域的实时安全基线引擎（1） https://developer.aliyun.com/article/1228167

平台建设

目前主流实时计算框架主要有两个，Spark 和 Flink，而奇安信最初设计安全基线引擎是在 2018 年左右，当时主流研究 Storm、Spark、Flink 这三个计算框架，综合各方面因素最终选择了 Flink 作为底层计算框架。当时使用的 Flink 是 1.4 版本左右，是一个比较成熟的版本，相比其它框架，它的 API 以及它的底层分布式和流计算实现方式比较符合奇安信的使用场景。

Flink 的优势点比较突出，它是分布式计算框架，部署灵活，适配目前常见大数据平台。它拥有很好的处理性能，能达到高吞吐低延迟，这非常适合进行实时安全分析。它还提供灵活的 DataStreaming API，方便实现定制化需求。另外，还支持简单易用的检查点和保存点机制。并且，作为目前非常热门的计算框架，社区活跃，有丰富的文档和场景样例。

奇安信的实时安全基线引擎应用框架分为三层：  

底层是部署层，通常是一个大数据集群；

第二层是安全分析层，基于 Flink DataStreaming API 来构建安全基线引擎，Flink 负责底层的分布式计算和事件流发送，具体的业务计算由安全基线引擎来完成。安全基线引擎向用户提供的使用接口为规则和 DSL，用户通过界面来下发规则 DSL 给引擎，引擎根据规则和 DSL 来对事件流进行分析和计算，同时根据规则语义使用外部的数据，比如知识数据、威胁情报、资产和漏洞等；

用户通过第三层的应用层来管理和使用引擎。并基于引擎数据结果态势分析，安全运营，资源监控等具体安全业务。

引擎的业务流程分为三块，即用户界面，引擎服务和引擎分析任务。用户通过用户界面来进行规则配置、基线管理和运行监控。引擎服务以 RESTfull API 的方式向用户提供规则下发、基线下发、状态监控等服务。引擎服务在接收到用户的规则下发请求后需要对下发的规则集进行解析、优化之后生成分析任务代码包，分析任务代码提交大数据集群运行，分析任务在运行过程中接收引擎服务的基线发下数据，对运行时基线进行增删改操作。

分析任务还向引擎服务报告任务运行状态，引擎服务将任务运行状态映射成业务监控信息，提供给用户查询和分析使用。

实时计算一个核心要素是时间，不同的时间处理方法和实现方案会带来差异很大甚至完全不同的计算结果。实时分析中，时间主要影响两个功能，即时间窗口和时间线。  

在安全分析场景里，时间窗口需要支持通用滑动时间窗口、也要支持自然时间滑动时间窗口，比如每年，每月，每星期等自然，甚至是变长时间、需要支持层叠窗口重复数据融合，降低数据存储量、能自动进行重复计算消除，避免重复告警、时间定时器归并、事件乱序正确处理，避免事件乱序引起错误计算。  

时间线可分为事件发生时间和时间处理两类，进而延伸出时间精度，不同的时间精度会对处理性能和存储造成很大的压力，比如需要对时间进行排序的场景。由于实时分析中事件可能是乱序的，因此需要支持延迟时间，解决大部分因为乱序而造成的计算不准确问题。部分计算场景涉及系统时间<->事件时间之间的相互转换，需要能提供两种时间的转换计算方法。由于执行图是大量子图融合而来，因此需要同时支持对全局和局部时间水位进行管理，保证图上时间线能正确推进。

基线处理流程主要分为三个部分：基线学习、基线检测和基线路由，其中穿插事件过滤、时间窗口、基线降噪、基线管理等流程。基线学习流程包含从消息队列和存储中读取事件流，经过事件过滤和时间窗口聚合，事件流中可能包含噪音数据，还需进行数据降噪流程，最后基线学习流程学习输入的事件流程，生成对应的安全基线。学习完成的安全基线在进行基线管理流程之后用于异常检测，用于预测和异常检测，如果发现异常行为，则产生异常事件，输出到后续的处理流程，用于后续的业务的使用。用户在使用过程中可能需要修改或删除一些学习好的基线或者自己新建一个基线，这些基线的增删改操作通过基线路由功能来完成，基线路由流程将用户编辑的基线在图上路由之后正确的分发到对应的图节点实例中。

《Apache Flink 案例集（2022版）》——3.机器学习——奇安信-如何设计信息安全领域的实时安全基线引擎（3） https://developer.aliyun.com/article/1228162