支付行业,如何通过日志大数据实现深度分析及风控

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 当下移动支付正逐渐走入千家万户。移动支付的优势在于哪里?便捷!而便捷的基础就是时效性强,可靠性高。本篇为你讲述日志易产品如何帮支付公司解决最根本的行业需求。

本文主要讲述针对支付行业,日志易产品如何通过日志大数据实现业务深度分析及风险控制。
伴随新的支付方式出现,近年来移动支付蓬勃发展,如何分析、利用海量交易数据,已成为当前支付企业面对的巨大难题。日志作为数据的载体,蕴含着丰富的信息,传统的日志分析方式低效而固化,无法应对数据体量大、格式不统一、增长速度快的现状,在交易出现异常及失败时,更难以满足实时处理、快速响应的需求。
本文讲述某支付公司采用日志易后,通过日志大数据实现业务深度分析及风险控制的实践经验。
screenshot

                          图片来自:前瞻网

本次分享结合企业自身对支付行业的理解,将支付行业的需求总结为以下三点:
一、监管合规
1、人民银行对支付机构的日志审计和安全合规规定;
2、开发访问日志的权限管理。
二、安全性
安全是支付公司非常重视的,安全风险有时会引起一些舆论导向,比如某些金融机构案件被媒体标注为特别关注;某某支付公司发现了资金线的问题,消费者的钱不知去向等,这些都是一个社会的关注的焦点。结合市场风险及大环境,支付行业的安全性需求具体表现在:
1、支付交易的安全性要求;
2、数据访问的安全性要求;
3、防止敏感信息的泄露等。
对支付行业来说,日志易产品在数据访问、权限要求等方面体现出很好的应用价值。
三、可靠性
1、定位及解决问题的时效性;
2、系统流程的可靠性。
众多支付公司,当前做的产品主要针对新兴支付行业,特别是当前较热门的移动支付。那么移动支付的优势在哪里?最主要的是便捷,而便捷的基础就是时效性强,可靠性高。为了更好发挥移动支付的便捷,支付公司对时效性,可靠性的要求很高,而这才是使用日志易大数据分析平台的深层次原因,日志易帮支付公司解决了最根本的行业需求,在可靠性方面展现了产品的价值。
支付公司日常业务方面的需求,涉及到以下场景:
1、多种不同的访问失败类型进行分类;
2、每天需要做应答码的统计排名、占比以及走势图;
3、每个分类统计结果在一张图分别展示每个应答码趋势;
4、统计当日支付失败数量并分析;
5、需要导出访问失败类型的汇总统计表;
6、成功交易占比分析。
该公司原有的解决方案存在一定的局限性,比如:手动工作耗时量大、实时性差、人为造成失误、分析维度不能灵活变动及决策滞后等等。
支付公司有时会根据业务需要,对数据进行收集、清理,包括日志数据的清理等。当人为参与数据操作过多时,会引起部分意想不到的失误,从而引发问题。另外一点就是,原有方案实时性差,会导致公司的很多业务流程优化非常滞后。支付行业IT人都知道,支付的维度是非常非常多的,做任何一笔支付,基础维度包括时间、金额、笔数等,还会有像交易地点、客户习性或者说需要根据支付数据研究客户的习性等等。一家支付公司不可能单纯做一个支付产品,所以支付产品包罗万象,聚合起来维度就更为复杂。
面对支付企业众多需求和行业的原有解决方案的短板,客户选择部署日志易产品后,实现了如下功能:
1、各交易系统中每笔交易的状态等信息,按时间戳归类进行分析统计、实时报表展示;
2、根据日志易实时统计的多个维度的报表、图表,更准确的做出故障点判断;
3、决策层更直观的看到每天、每周、每种交易类型的故障高峰期及故障问题分布。
screenshot

                        图1 日志易解决方案

该支付公司使用日志易产品实现的解决方案及一些需求:
1、产品角度来说,第一就是优化,充分满足客户需求,提升用户体验,第二是产品分析,第三是数字营销方面的要求;
2、从业务流程的角度或者说从合规角度来说,第一就是我们的业务流程分析,第二是后续的设备性能管理方面的要求。第三是合规方面的要求,最后是运维系统的预防性维护工作;
3、从日志易的数据收集角度来说,产品可以从支付公司的业务数据,也就是从交易数据抽取,然后可以从运维方面的IT数据、安全数据抽取,甚至可以从物联网去抽取一些数据。

screenshot

                   图2交易失败及类型统计可视化界面

图2是基于一些测试数据的呈现,因为支付有敏感性的要求,图标显示的ACP是随便举的一个渠道的简称。其中,对于一些访问,包括一些支付的实地情况可以做一个可视化的分析。上图呈现的一些可视化分析,包括对实时支付进行快速分析,统计其状态码,可以对其进行排名统计,做相关告警监控。
伴随产品的深入应用,日志易产品也会被接入到支付全流程分析和监控。
screenshot

                         图3 图表示例

电子支付如今已渗透入网购、转账、生活缴费、基金债券等居民的日常生活中,关系着国家经济及居民的生活质量,可谓任重而道远。日志易作为国内首家海量日志分析企业,一直致力于开发一款配置方便、功能强大的日志管理工具,以高品质的产品为金融行业用户信息化建设搭建高可靠平台,共同面对数字浪潮中更多的未知与挑战,实现支付企业对日志分析管理产品高效、实时、安全的需求。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
26天前
|
存储 机器学习/深度学习 SQL
大数据处理与分析技术
大数据处理与分析技术
87 2
|
15天前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
31 4
|
17天前
|
机器学习/深度学习 分布式计算 算法
【大数据分析&机器学习】分布式机器学习
本文主要介绍分布式机器学习基础知识,并介绍主流的分布式机器学习框架,结合实例介绍一些机器学习算法。
103 5
|
28天前
|
存储 监控 数据挖掘
【Clikhouse 探秘】ClickHouse 物化视图:加速大数据分析的新利器
ClickHouse 的物化视图是一种特殊表,通过预先计算并存储查询结果,显著提高查询性能,减少资源消耗,适用于实时报表、日志分析、用户行为分析、金融数据分析和物联网数据分析等场景。物化视图的创建、数据插入、更新和一致性保证通过事务机制实现。
108 14
|
1月前
|
存储 SQL 监控
|
1月前
|
运维 监控 安全
|
1月前
|
监控 关系型数据库 MySQL
分析慢查询日志
【10月更文挑战第29天】分析慢查询日志
38 3
|
1月前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
84 2
|
1月前
|
监控 关系型数据库 数据库
怎样分析慢查询日志?
【10月更文挑战第29天】怎样分析慢查询日志?
35 2
|
1月前
|
数据采集 机器学习/深度学习 搜索推荐
大数据与社交媒体:用户行为分析
【10月更文挑战第31天】在数字化时代,社交媒体成为人们生活的重要部分,大数据技术的发展使其用户行为分析成为企业理解用户需求、优化产品设计和提升用户体验的关键手段。本文探讨了大数据在社交媒体用户行为分析中的应用,包括用户画像构建、情感分析、行为路径分析和社交网络分析,以及面临的挑战与机遇。