大厂案例 - 实时分析引擎

简介: 大厂案例 - 实时分析引擎

概述


网络安全态势越来越复杂,传统的基于单点的防护和攻击检测系统在应对现代网络攻击方面有着很大的局限性。


基于大数据平台,通过流式实时分析技术可以对全局网络空间进行实时的分析和异常检测,解决单点很难发现和处理的安全问题。


相比与互联网公司常见的大数据实时分析场景,面向企业用户的网络安全分析场景存在很多特殊需求和挑战,本次分享将介绍网络安全领域对实时分析系统的需求,并从这些需求出发,讲解如何设计适合网络安全领域的实时分析引擎,希望为业界解决类似问题提供参考和借鉴。



内容


  • 网络安全领域对实时监测系统的需求
  • 如何选择一个适合网络安全场景的实时计算框架
  • 如何设计网络安全领域的实时分析引擎


收获

  • 了解如何基于 Flink 构造网络安全领域的实时分析引擎
  • 了解实时网络安全分析引擎的架构和设计
  • 了解构建实时网络安全分析引擎遇到的问题和解决方案



思路


2cc4e6361d94419abd37be382fb7b7cd.jpeg


0009cb5f8e62438285f98b36a2e7461e.jpeg


a9bfad9b05074bb2802426827f524c07.jpeg

3904395e19c64ae4a2f684bd5ab48554.jpeg

321e428244e743f08ca4768b7b147f63.jpeg


16f8e4cc655c470089bcfa6ce6ceb146.jpeg

780cd7d966e04b0590d3c453f1857615.jpeg


75a5a62f61f84ba09a8761f63a3be76d.jpeg


c16f09c42eb64c82aa9ed7f8825802f6.jpeg

328a4c00402a4c59b7ec495af2a9a970.jpeg

4d6eba7be57e43068a9739a226ad6963.jpeg

fa895bc8a0b64c2c9f66296335b2e2ad.jpeg


027c9b44078c4438b8964525905cad93.jpeg

1f8acc8749d0411e9fcdc6dfe80f7e11.jpeg

c1cf55888dab4363a077d5b3f0a497fa.jpeg

70b58b4ddd684e6c84217b448064dc4b.jpeg


075780a6596e4f18b7ddba97f3a5d62c.jpeg

ca87f350cfbc464f9c0ec7be2a23b0ed.jpeg


d126d09adb6a484c9f6a8aa8539745e3.jpeg


ce2190a701f748e19d16c708ee8ba6f6.jpeg


b7339809602048d79470a2ffc399b203.jpeg

f542278319144dfdae391d4f8e4178b9.jpeg


2a40ce7d69aa440aa878807943998f33.jpeg


3a940b05e9bd473ab931a4feb1798904.jpeg

05bd0be6b4b0474e8e6faba7edff1e8b.jpeg

2a4a6b9422c847a68913ad6dfdb2a73b.jpeg


4721b54c278045069e242dfbfcbd3080.jpeg


204b1898fea24da594c08de043241e78.jpeg

7a1e8ac2dd1348cdbd6ab63153e95589.jpeg

6994ff1d24174e2c92c24edb7467f595.jpeg

d9ff17a6806a4844bdd68af42f957416.jpeg

57e473c424cc4783988fccf9758d14cb.jpeg

1f310269a1f84c4c89942c63ec89dfa8.jpeg

5baf8966534d4801815dad97224d6bb8.jpeg

63390cf80e0f40d78a70564bbeb81a46.jpeg



建议


  • 不要马上进行架构设计和编码,要先想清楚业务场景 , 场景归类
  • 归类以后参考下开源实现或者业内的主流做法,站在巨人的肩膀上
  • 工程化的时候要充分考虑大数据技术栈的复杂性,避免过度客观
相关文章
|
8月前
|
消息中间件 存储 NoSQL
离线与实时数据开发方案
离线与实时数据开发方案
140 0
|
数据挖掘
82 网站点击流数据分析案例(数据仓库设计)
82 网站点击流数据分析案例(数据仓库设计)
108 0
|
2月前
|
消息中间件 存储 SQL
ClickHouse实时数据处理实战:构建流式分析应用
【10月更文挑战第27天】在数字化转型的大潮中,企业对数据的实时处理需求日益增长。作为一款高性能的列式数据库系统,ClickHouse 在处理大规模数据集方面表现出色,尤其擅长于实时分析。本文将从我个人的角度出发,分享如何利用 ClickHouse 结合 Kafka 消息队列技术,构建一个高效的实时数据处理和分析应用,涵盖数据摄入、实时查询以及告警触发等多个功能点。
143 0
|
6月前
|
SQL Cloud Native 数据挖掘
Hologres:高性能实时数据分析引擎
Hologres:高性能实时数据分析引擎
|
5月前
|
存储 JavaScript 前端开发
ShareDB:构建实时应用从未如此简单
ShareDB:构建实时应用从未如此简单
137 0
|
分布式计算 DataWorks 数据可视化
DataWorks增强分析发布,一站式数据查询分析与可视化
8月31日阿里云郑州峰会,阿里云行业解决方案研发部总经理曾震宇在主论坛飞天发布时刻重磅发布DataWorks与DataV-Card合作推出的AI增强分析产品,一站式完成从数据查询、分析、可视化、共享的完整链路,1分钟即可形成数据报告,帮助互联网、金融、政务等各个行业客户表达数据观点,讲好数据故事。
1104 1
|
jstorm 大数据 分布式数据库
大数据下的实时热点功能实现讨论(实时流的TopN)
我司内部有个基于jstorm的实时流编程框架,文档里有提到实时Topn,但是还没有实现。。。。这是一个挺常见挺重要的功能,但仔细想想实现起来确实有难度。实时流的TopN其实离大家很近,比如下图百度和微博的实时热搜榜,还有各种资讯类的实时热点,他们具体实现方式不清楚,甚至有可能是半小时离线跑出来的。今天不管他们怎么实现的,我们讨论下实时该怎么实现(基于storm)。
199 0
|
分布式计算 数据可视化 数据挖掘
06 离线数据分析流程介绍
06 离线数据分析流程介绍
109 0
|
SQL 分布式计算 调度
开源大数据分析实验(1)——简单用户画像分析之采集数据
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
|
消息中间件 数据挖掘 Kafka
实时数据分析演示
实时数据分析演示