DataFlux:实时数据应用的新选择——阿里云 MVP蒋烁淼

简介: DataFlux 是驻云推出的统一实时大数据平台,其通过技术手段充分发挥实时数据价值,面向企业提供全场景的数据洞察分析处理能力。DataFlux强大的专业数据接入实现面向业务的多场景支持,以其高可定制性为企业实现将一切业务连接的可能。在直播中,驻云科技CEO蒋烁淼介绍了实时大数据平台DataFlux的相关功能和应用,阿里云数据库事业部 NoSQL产品部总经理叶翔为大家介绍了企业级云原生数据库。

【MVP时间】线上峰会,一键收藏

《DataFlux--开启全新实时数据应用方式》精彩直播

查看文章,《DataFlux--开启全新实时数据应用方式——企业级云原生数据库介绍》

一、DataFlux

(一)实时数据

什么是实时数据?它指的是数据的接入是实时的,转换是实时的,计算是实时的,最后BI(Business Intelligence)也是实时的。那么我们为什么需要实时数据呢?

如下图所示,图中左边是传统的数据处理的一个流程,右边是加入实时数据之后整个数据应用的流程。从根本上来说,只有实时数据才能驱动业务,因为所有的业务系统本质上都是一个实时系统,数据不再是简单地进行数据分析、整理报表使用。在用实时数据驱动业务之后,将会对现有业务产生较大的改变,直接用(现在的)数据驱动业务而不是用过去(数据)驱动业务,大大提升了业务运转效率。

image.png

(二)DataFlux简介

DataFlux 是驻云推出的统一实时大数据平台,首先它是一个产品,而不仅仅是一个技术,不是简单的技术堆积,而是针对业务中的痛点问题提供针对性的解决方法。DataFlux是一个很完整的产品,所用到的技术包括InfluxDB、MySQL、Redis等等,但是用户可以不需要考虑这些技术问题,而只需要去使用即可,因为DataFlux提供了完整的解决方案。有需要的用户可以很方便的在容器市场购买进行安装即可。

从服务提供商的角度思考,客户需要什么样的数据产品呢?当前,很多开发者和客户被大量的开源技术和产品弄得眼花缭乱,不知道自己真正需要的是什么样子的产品。蒋总认为好的数据产品应该有以下四点特性:

  • 简单好用:安装简单,用户不需要专业的知识即可安装使用,做到开箱即用。
  • 面向业务:数据能直接解决业务问题。
  • 性价比高:价格不能凌驾于价值。
  • 面向未来:避免重复投资,拥抱未来科技。

(三)DataFlux的核心模块及特性

DataFlux在设计之初就考虑到了以上几个问题,每个模块都有着极为优秀的特性。目前,DataFlux主要有以下几大功能模块:

(1)实时汇聚数据

实时数据汇聚模块可以通过非常简单的配置来快速收集大量的实时数据,为业务系统开足马力供能,主要有以下特性:

  • 快速接入:通过DataFlux的DataKit进行简单配置即可快速获得实时数据,数据采集变得非常轻松可靠。
  • 全面完整:目前DataFlux可以对接超过400中数据协议,机器设备数据,业务数据,I/P/Saas数据,用户行为数据,爬虫数据等都可以快速收集。
  • 性能优异:得益于整体的架构设计,一套DataFlux可支持超过每秒50万以上的数据写入,并可以保持实时,同时如果进行水平扩展将支持更高能力。
  • 跨越网络:DataFlux DataWay的设计方式可以支持从复杂的网络结构,多层网络结构,跨国网络中轻松实时汇聚数据,并且安全可靠无需昂贵的网络成本。

(2)实时在线多维度分析

从产品角度来说DataFlux是一个端到端的产品,所有收集到的数据都可以实时在线进行多维度分析,给客户提供一个真正的RealBI产品,其主要特点包括以下几点:

  • 在线的数据实时查询
  • 多维度数据实时分析(RealBI)
  • 利用场景与节点快速构建数据驾驶舱
  • 友好的查询支持,无需SQL能力
  • 大量专业图标内置,轻松表达数据
  • 内置大量数据函数,像Excel一样简单

(3)实时异常检测

实时数据最核心的应用就是异常检测,因为数据是实时的,在检测到异常的第一时间发出报警,可以避免对业务的重大损失并且提醒用户及时处理异常。

DataFlux的异常检测与传统的监控软件的异常检测区别在于异常检测函数可以自定义,而且不仅仅是简单的阈值检测,比如依靠专家系统来预测磁盘空间故障的发生等。该模块的主要功能特点如下:

  • 可以支持多指标的实时异常检测
  • 支持通过多阈值计算来进行数据检测
  • 支持自定义预测函数实现预测
  • 支持通过数据模型,神经网络进行检测
  • 可以灵活设定检测后的行为

(4)关键事件定位

关键事件定位也是DataFlux的一个核心功能。关键事件指的是能够改变实时数据走势的事件,因为它一般是突发的且不受前面的数据影响,因此很难被预测,属于“黑天鹅”事件。关键事件对其之后的数据走势影响非常大,因为对关键事件的收集也相当重要。通过DataFlux关键事件定位模块我们可以通过DataKit捕捉关键事件,也可以通过异常检测自动产生关键事件,这样便能快速发现趋势变化时候的关键因素,实时的掌握关键事件,从而快速做出响应。

(5)DataFlux Function

DataFlux Function是一个集成到实时数据开发中的应用平台,可以认为是一个在线的Python IDE,实际上是完全封装的一个沙箱环境,用来支撑DataFlux的运转,其主要功能特性如下:
 支持自定义的数据分析
 支持自定义的异常检测/时序预测
 支持将数据实时导出到其他平台
 支持通过数据驱动业务平台
 支持将实时数据的开发及算法发布成API,实现自定义的数据API平台

除了以上模块,DataFlux还包括以下三个比较重要的模块:DataFlux DataWay、DataFlux Datakit、DataFlux WareHouse,他们的主要功能特点如图所示。DataFlux Studio、DataFlux Function和DataFlux Mobile三个平台构成了DataFlux的整个产品。

image.png

(四)DataFlux的应用场景

DataFlux具有众多优点,那么其主要适用什么场景呢?我们将DataFlux定位为一个Paas+Saas的平台,其适用于包括如下图所示的众多场景。

image.png

以上是对DataFlux的简单介绍,包括DataFlux的核心模块以及功能特性。当前,大家可以通过以下两种渠道来获取DataFlux:

  1. 在www.DataFlux.cn上进行注册即可免费使用Saas版本。
  2. 在阿里云上购买相应的产品,包括DataFlux Professional。
    需要注意的是Professional才可以有Function功能,而Saas版本中的Function功能是由官方来提供的

(五)DataFlux以及DataFLux Professional的主要优势

(1)DataFlux.cn的主要优点:

  • 更多数据源:支持超过400种数据采集,远超普通开源数据采集工具,涵盖云端、应用、日志等。
  • 更便宜:SaaS即开即用为自己搭建成为的30%,无运维成本、资金投入只有传统大数据平台的20%。
  • 更好用:全中文化,所有采集器配有安装配置文档,7*24服务支持,内置多样场景模板及丰富图表样式。

(2)DataFLux Professional的强大之处:

  • 专业数据接入:将会接入更多的专业数据,几乎用户想象到的数据都会接入,比如车辆的OBD等。
  • 多业务场景支持:会有更多的创新场景支持,包括金融领域等。
  • 高可定制型:拥有非常高的定制型,而且任何形态的定制完成时间非常短。
  • 连接一切业务:该版本所拥有Function功能使得用户几乎可以连接一切业务。

大家可以从官方网站和阿里云的云市场更多地了解DataFlux,未来我们也会在阿里云的开发者社区更新更多的资料来帮助用户快速入门DataFlux。

《DataFlux--开启全新实时数据应用方式》精彩直播

查看续集文章,《DataFlux--开启全新实时数据应用方式》

目录
相关文章
|
存储
CocosCreator3.8研究笔记(十一)CocosCreator Prefab(预制件)理解
CocosCreator3.8研究笔记(十一)CocosCreator Prefab(预制件)理解
1118 0
|
运维 大数据 Apache
|
SQL 关系型数据库 MySQL
SyncNavigator数据库同步软件8.4.1 中文版
SyncNavigator是一款专门用于SqlServer、Mysql数据同步的软件,由国内顶级开发团队开发完成,经历8年逐步完善,目前具备强大的数据同步功能,国内很多大型连锁超市,企业,公司都在用SyncNavigator数据同步软件进行着数据同步服务。
5445 0
|
关系型数据库 数据库 PostgreSQL
postgresql :permission denied to create database
postgresql :permission denied to create database
1499 0
|
10月前
|
监控 Cloud Native Java
基于阿里云容器服务(ACK)的微服务架构设计与实践
本文介绍如何利用阿里云容器服务Kubernetes版(ACK)构建高可用、可扩展的微服务架构。通过电商平台案例,展示基于Java(Spring Boot)、Docker、Nacos等技术的开发、容器化、部署流程,涵盖服务注册、API网关、监控日志及性能优化实践,帮助企业实现云原生转型。
|
Java 调度 流计算
基于多线程的方式优化 FLink 程序
这篇内容介绍了线程的基本概念和重要性。线程是程序执行的最小单位,比进程更细粒度,常用于提高程序响应性和性能。多线程可以实现并发处理,利用多核处理器,实现资源共享和复杂逻辑。文章还讨论了线程的五种状态(NEW、RUNNABLE、BLOCKED、WAITING、TIMED_WAITING和TERMINATED)以及如何在Java中创建和停止线程。最后提到了两种停止线程的方法:使用标识和中断机制。
509 5
|
人工智能 供应链 数据可视化
新一代信息技术助力企业数字化转型
本文深入探讨了企业数字化转型的内涵、重要性及其实现路径,强调了数字化转型不仅是技术革新,更是企业全方位的升级。文章分析了转型过程中面临的挑战与机遇,并介绍了板栗看板如何作为高效的项目管理工具,助力企业优化流程、提升效率,推动数字化转型的成功实施。
487 11
|
存储 安全 Linux
Linux文件管理命令md5sum awk
通过结合 `md5sum`和 `awk`,不仅可以高效地进行文件完整性校验,还能灵活地处理和分析校验结果,为系统管理、数据审计等工作提供强大的支持。
329 2
|
前端开发 NoSQL 数据库
Vue3 + Nest 实现权限管理系统 后端篇(三):基于RBAC 权限控制实现
RBAC(Role Based Access Control)是基于角色的权限控制,简单来说就是给用户赋予一些角色,那么该用户就会拥有这些角色的所有权限。接下来我们就用 NestJS 来实现基于 RBAC 的权限控制
735 0
Vue3 + Nest 实现权限管理系统 后端篇(三):基于RBAC 权限控制实现
|
SQL Java 数据库连接
揭秘Hibernate Lazy Loading:如何实现按需加载并优化性能?
【8月更文挑战第31天】Hibernate 是一个流行的 Java ORM 框架,其懒加载(Lazy Loading)特性可按需加载数据,减少数据库查询次数,提升应用性能。本文介绍懒加载的实现原理:通过动态代理在访问未加载属性时触发 SQL 查询并缓存结果。此外,还提供了优化建议,包括合理设置 FetchType、使用 @BatchSize 注解批量加载、利用二级缓存和查询缓存,以及避免 N+1 查询问题,以进一步提升性能。开发者应根据具体需求选择最佳策略。
435 0