作者：覃永靖

用户背景

奇安信集团，是中国网络安全公司之一，专门为政府、企业，教育、金融等机构和组织提供企业级网络安全技术、产品和服务，已覆盖90%以上的中央政府部门、中央企业和大型银行，已在印度尼西亚、新加坡、加拿大、中国香港等国家和地区开展了安全业务。

业务需求

近 10 年来，大数据技术发展日新月异。安全分析场景和方法也更新换代。  

安全领域主要有三个特点：  

快速响应。因为安全事件经常是突发的，比如漏洞的披露、病毒的爆发等常常是在很短的时间突然发生，所以需要以非常有效和简单易用的方式来快速地对突发的安全事件进行处理，能第一时间响应客户的需求、应对各类安全事件；

场景定制。因为安全分析和常规的大数据分析场景会有一些不同，安全分析检测的是异常而不是正常，还有领域独有的一些需求，所以这里会涉及到很多领域定制开发的需求；

资源受限。相比常规互联网大数据平台使用方式，安全分析可使用的资源会有很多的限制，通常用户受限于预算和资源的限制，会尽可能地压缩和优化可用计算和存储资源规模，这会导致大量的组件采用混合部署的方式，且将来硬件和集群扩展成本也很高，流程很长。  

在实时数据安全方面，一共有五点需求：  

第一是需要实时分析。安全检测对时延要求严格，攻防双方抢时间差，需要能第一时间检测到异常。同时由于是安全事件驱动，要求解决方案上线快，响应及时，能在最短时间形成防护能力；

第二是需要提供非常丰富的分析语义。安全检测的场景通常比较复杂的，需要提供丰富的安全分析语义，覆盖大部分安全分析场景；

第三是能灵活部署。因为客户的环境非常复杂，需要能支持各种大数据平台，比如客户自建的，或者是他购买的一些云平台，并且还要有最大的版本兼容性；

第四是需要实现最小的资源使用。支持部署从一到几十甚至上百台节点的集群，在资源占用尽可能小的同时支持大规模，比如上千条分析规则或安全基线同时运行；

最后是运行稳定。安全产品部署在客户侧，需要 7×24 小时不间断运行，需要提供极高的运行稳定性，尽可能减少人工维护和介入，让客户无感知。  

传统的安全分析方法一般是基于先验知识，采用基于特征检测技术来进行异常检测，一般是通过分析检测对象的数据或日志特点，然后人工归纳和统计出可检测特征，建立安全模型，比如安全规则、威胁情报等。这种方式比较简单和可靠，可以很好的应对已有的攻击方法，但是它对未知的没有对应检测特征的攻击方法则不能有效的进行检测。

《Apache Flink 案例集（2022版）》——3.机器学习——奇安信-如何设计信息安全领域的实时安全基线引擎（2） https://developer.aliyun.com/article/1228164