金融风控系统的演进与升级:从第一代到第四代(2)

简介: 金融风控系统的演进与升级:从第一代到第四代

4、平台化工程化

※ 数据源接入与特征加工工程化当决策引擎完成工程化后,大量的风控开发工作集中在数据源 API 接入和特征开发上,而借助工程化、平台化可以进一步减少开发工作。数据源接入大多工作可模板化解决,通过配置请求地址 、请求方式、超时时间等必要信息,再结合入参、出参报文映射解析实现模板化接入数据源。入参通过配置参数映射或常量值完成。简单的报文解析,可以通过 Jsonp 的方式,直接从结果集中提取关键字段。

复杂的报文解析,需要进一步代码加工工作,也可以开发一些常用的函数辅助完成粗加工。

对于批量加载特征且有多源依赖的,可以通过构造接口依赖关系图,并通过逐层调用执行加工。※ 模型工程化随着大规模机器学习的应用,为进一步提升模型迭代效率,模型迭代周期从月级降低到天级,将模型工程化,打造出自动建模平台及模型管理平台,整体工程分为离线工程和在线工程两部分。离线工程,机器学习平台,主要围绕模型训练和回溯,通过自动特征工程、自动建模技术(AutoML)提高模型迭代效率和效果。按模型开发流程依次分为:数据管理(维护样本和数据集),数据挖掘(自动特征工程),算法选择(支持 XGBoost/LightGBM等),模型训练(训练任务管理),模型调优(自动调参),效果评估(一键打分),发布上线(输出标准 PMML 模型和 python pickle 模型)。



在线工程,模型引擎,通过加载模型库模型文件(支持 PMML 和 pickle),完成实时预测打分,并提供 API 供决策引擎调用。

模型管理平台包括模型资产管理、生命周期管控、监控报警管理,整合机器学习平台实现模型生成后一键热部署,整合决策引擎配置实现关联调用和在线陪跑。总结:第三代风控系统,针对业务的高速发展,满足互联网三高场景,全面平台化,打造出一个完整的风控中台。


第四代:数字化智能化创新

第四代风控系统通过全面大数据、人工智能、云计算、区块链等技术实现进一步提质增效,个人觉得大多数企业仍处于此探索阶段,故称为数字化智能化创新阶段。


1、智能化决策

智能化决策基于数据分析、机器学习、深度学习、专家经验,通过归因下探,规则量化,全链路过程监控追踪,结果回溯等手段实现规则策略自动调优、自动生成与推荐,达成风控“自动驾驶”。用以解决人工配置操作风险、策略效果衰减以及迭代调整滞后等问题。实践中自动调优风控策略以及自适应模型也会带来“可解释性”问题和稳定性因素,需要大量 AB 实验探索,与专家经验对比,人工干预和过程管控不可或缺。2、图应用随着黑产职业化分工和集团化发展,金融风险呈现规模化特征,给传统规则策略和模型识别带来巨大挑战,针对个体行为属性的特征难以识别团伙行为的规模风险,因此关联分析需求及图解决方案成为风控发展的新趋势。

图数据库应用,图数据库相比关系型数据库具有更高效的关联查询性能。通过图数据库群体特征(如二度联系人中黑名单用户占比)能更好的识别团伙欺诈;通过图计算特征进行子图匹配,发现相似模式风险账号;利用社区发现算法进行社群发现,识别群体风险;通过图连通性、路径发现做失联修复;通过构建用户 360 视图(异构图)完善用户画像,更好地发现信贷风险;此外基于图神经网络的深度学习技术成为图应用的发展趋势。

实践中 Neo4j 代表的原生图数据库,满足一般中小规模数据量级,有更好的性能表现,但其集群版本不支持开源;JanusGraph 分布式数据库,可以构建更大规模图,性能方面略有不足。购买商业版或自造轮子开发图数据库,解决海量数据构建异构图,原生图,以及查询性能成为关键。


3、隐私计算与联邦学习

随着数据安全法和个人信息保护法的实施,数据安全和隐私保护日趋严格,为了满足“原始数据不出域,数据可用不可见”,隐私计算解决方案成为破局之道。隐私计算分为联邦学习(FL)、安全多方计算(MPC)、可信执行环境(TEE)等。联邦学习是通过数据加密计算,分布式机器学习,实现各公司间数据在不出库的前提下完成联合建模需求。FATE 框架使用多方安全计算 (MPC) 以及同态加密 (HE) 技术构建底层安全计算协议,以此支持不同种类的机器学习的安全计算,包括逻辑回归、基于树的算法、深度学习和迁移学习等,基于此框架可快速构建隐私计算体系。实践中由于要求合作双方部署同套隐私计算方案,而市面上隐私计算体系割裂,不同解决方案难以互通,成本较高成为主要限制屏障。


4、区块链

区块链去中心化、不可篡改、开放自治的特性,建立数据联盟链,既保障了数据的可信赖,又可利用其网络广播特性实现数据共享,有效解决大数据风控的数据孤岛问题;在供应链金融方面区块链提供信用保证和履约保证,提供更好的风控解决方案;在金融智能合约应用上,通过区块链可编程特点,构建智能合约,有效防范了人为操作风险。区块链技术+大数据+人工智能的组合也是未来风控的发展趋势。


▌总结 Roadmap

风控系统演进之路,从不断提升效率实现自动化,解决性能、可靠性问题,到全面数字化、智能化升级,不断探索应用新技术手段提升风控效果。各家系统发展和迭代方式不同,但基本演进思路和发展方向殊途同归。谢阅读!欢迎与我交流提出您的见解,觉得文章可以欢迎分享、点赞支持。

相关实践学习
阿里云图数据库GDB入门与应用
图数据库(Graph Database,简称GDB)是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言,可以帮您快速构建基于高度连接的数据集的应用程序。GDB非常适合社交网络、欺诈检测、推荐引擎、实时图谱、网络/IT运营这类高度互连数据集的场景。 GDB由阿里云自主研发,具备如下优势: 标准图查询语言:支持属性图,高度兼容Gremlin图查询语言。 高度优化的自研引擎:高度优化的自研图计算层和存储层,云盘多副本保障数据超高可靠,支持ACID事务。 服务高可用:支持高可用实例,节点故障迅速转移,保障业务连续性。 易运维:提供备份恢复、自动升级、监控告警、故障切换等丰富的运维功能,大幅降低运维成本。 产品主页:https://www.aliyun.com/product/gdb
相关文章
|
11月前
|
弹性计算 并行计算 云栖大会
新品发布|HPC优化实例助力工业制造、生命科学和 EDA 应用加速创新
2023年云栖大会,阿里云弹性计算面向工业仿真、生命科学和芯片设计等行业,阿里云发布了HPC优化实例系列新品,包括内存带宽优化实例hpc8ae、数据和内存优化实例hpc7ip和计算优化实例hpc8y,全面采用物理核,与通用计算实例相比性能提升40%。
|
JSON 测试技术 Serverless
Zilliz Cloud 全新升级:超高性价比,迎来里程碑式发展!
让更多的开发者可以在不考虑预算限制的情况下畅用云原生向量数据库。
356 0
|
机器学习/深度学习 监控 负载均衡
金融风控系统的演进与升级:从第一代到第四代(1)
金融风控系统的演进与升级:从第一代到第四代
703 0
|
运维 Cloud Native 安全
阿里云发布“金融级云原生”,持续推动金融机构IT架构升级
阿里云发布“金融级云原生”,持续推动金融机构IT架构升级
510 0
|
存储 弹性计算 运维
带你读《生命科学行业云上解决方案及最佳实践》——阿里云 E-HPC 生命科学行业整体解决方案(上)
带你读《生命科学行业云上解决方案及最佳实践》——阿里云 E-HPC 生命科学行业整体解决方案(上)
387 0
|
存储 弹性计算 运维
带你读《生命科学行业云上解决方案及最佳实践》——阿里云 E-HPC 生命科学行业整体解决方案(下)
带你读《生命科学行业云上解决方案及最佳实践》——阿里云 E-HPC 生命科学行业整体解决方案(下)
310 0
|
存储 传感器 监控
制造业全链数字化业务转型实践| 阿里云Lindorm与Intel、OSIsoft共建IT & OT超融合工业数据云
近日,阿里云Lindorm与Intel、OSIsoft推出了面向工业物联网信息经济(Infonomics)的IT & OT超融合工业数据云解决方案。方案通过云端打通阿里云、Intel的IT技术积累和OSIsoft的OT经验能力,实现对传统技术供需关系的超越,打造数据链和价值链混搭方式连接企业和供应商的开放、安全、共享的制造业数据云社区生态。
10526 0
制造业全链数字化业务转型实践| 阿里云Lindorm与Intel、OSIsoft共建IT & OT超融合工业数据云
|
消息中间件 Prometheus Cloud Native
阿里云原生中间件首次实现自研、开源、商用“三位一体”,技术飞轮效应显现
阿里云在探索中一直存在的苦恼,是内部的自研体系、商业化的产品技术与开源的项目,三方的技术路线一直没有机会融为一体。然而,就在今年阿里云提出了“三位一体”理念,即将“自研技术”、“开源项目”、“商业产品”形成统一的技术体系,最大化技术的价值。
阿里云原生中间件首次实现自研、开源、商用“三位一体”,技术飞轮效应显现
|
运维 Cloud Native 搜索推荐
打造数字化服务能力,中国联通如何借助云原生技术实现增长突围?
中国联通与阿里云结合阿里云原生 PaaS、阿里飞天操作系统、阿里云原生数据库以及中国联通天宫平台,共同研发运营商级专有云平台“天宫云”,支撑中国联通核心业务应用。
打造数字化服务能力,中国联通如何借助云原生技术实现增长突围?
下一篇
无影云桌面