包银消费CTO汤向军:消费金融大数据风控架构与实践

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 风险在哪里 1.1 信用风 根据银行业的风险理论,信用风险是指借款人因各种原因未能及时、足额偿还债权人或银行贷款而违约的可能性。 信用风险的风控重点在于,甄别客户违约的原因究竟是还款能力,还是还款意愿问题。

风险在哪里

d812c5982b22ce5c713d6307a4c6637b4e838264

1.1 信用风

根据银行业的风险理论,信用风险是指借款人因各种原因未能及时、足额偿还债权人或银行贷款而违约的可能性。

信用风险的风控重点在于,甄别客户违约的原因究竟是还款能力,还是还款意愿问题。如果客户真的由于各方面的原因,暂时不具备还款能力,这是概率问题。即使发生了,处置起来也不会有什么损失。而如果是还款意愿问题,存在较大的资金损失概率。

1.2 欺诈风险

在风控中,欺诈风险比信用风险要大得多,所以反欺诈是重中之重。一般来说正常的客户,如果不是刻意骗贷的,只是因为家里出现突发事故、生意出现问题、暂时失业等等原因而导致资金周转不过来而逾期的,这毕竟是少数,而且借款只是逾期,能够还款的概率还是比较高。

消费金融行业绝大多数不良是因为欺诈引起的,如果反欺诈能够比较有效的情况下,信用风险控制在5%以内没有太大问题。

主要挑战

5c2fc9d7b6b7afff181b90a2676ede53e22c3da0

消费金融发放的借款都就小额分散的,没有任何抵押和担保的情况。随着消费金融行业的崛起和规模扩大,整个行业面临的欺诈问题越来越严重,一批批的羊毛党和欺诈等黑产团体接踵而来。黑产团队的规模越大,意味着消费金融机构的损失越大。

欺诈风险目前是整体消费金融风控的重点,目前整个行业75%甚至以上的风险都是来自欺诈风险。形式有很多种,如常见的身份伪冒、中介黑产、伪造材料、恶意套现等。欺诈主体一是申请本人或亲戚朋友,二是借用或盗用别人的身份信息进行欺诈。欺诈主体的不同,防范风险的手段和形式也不同。

全生命周期管理

320f5765e5d3b419675c6d03d91eba4820037eab

一个完整的风控平台需要包括对借款申请全生命周期进行管理 ,是一个极为复杂的过程,每一个流程都会影响整体的风控质量。

架构实践

4.1 业务架构

d26b88c065b6dc0c854976961c8b0b5506fceaa1

风控平台是相对独立的系统,信审的案件可以从借款端平台推过来,也可以从第三方平台推过来。信审案件到达风控平台后,自动创建工作流,根据风控流程处理各流程环节任务。

• 自动决策

风控流程自动处理案件,访问第三方合作伙伴的接口,获取用户黑名单、欺诈数据和多头借贷等数据,查询名单数据,决策引擎输出各环节处理结果。自动决策后出三个结果,自动通过、转人工、拒绝。

• 人工信审

根据决策引擎输出的结果进行转人工处理,人工通过初审和复核岗,给出具体信审结果,信审通过的案件给出风险等级和具体额度。

• 拒绝

被自动或者人工拒绝的案件通知到用户,建议补充资料、过段时间重新申请或者推荐到第三方机构。

4.2 技术架构

521f4b7c1e3e8cde903bc5b5a58dbd89f6b9f7d7

4.2.1 分布式、微服务架构

分布式架构目前是互联网行业成熟应用的架构,这里不详细讨论。

微服务架构下,比较成熟的使用Spring Framework,使用MyBatis、Hibernate等数据映射框架。

4.2.2 RPC架构

RPC是分布式架构的核心,解决服务分布和服务解耦问题,目前我们使用的是Dubbo, RPC框架解决序列化、反序列化、网络框架、连接池、收发线程、超时处理、状态机等“业务之外”的重复技术劳动。

4.2.3 分布式消息

分布式系统中重要的组件,解决应用耦合,异步消息,流量削锋等问题,是分布式系统不可缺少的中间件。目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ等。

4.2.4 分布式缓存

高并发环境下,大量的读写请求涌向数据库,磁盘的处理速度与内存显然不在一个量级,从减轻数据库的压力和提高系统响应速度两个角度来考虑,一般都会在数据库之前加一层缓存。由于单台机器的内存资源以及承载能力有限,并且,如果大量使用本地缓存,也会使相同的数据被不同的节点存储多份,对内存资源造成较大的浪费,因此,才催生出了分布式缓存。常用的分布式缓存是Redis。

4.2.5 分布式日志

分布式情况下,每个日志分散到各自服务所在机器,日志的收集和分析需要统一处理。日志框架主要这几块内容:

• 业务日志埋点

• 日志收集处理系统

• 日志处理系统

• 日志分析系统

ELK(ElasticSearch, Logstash, Kibana)平台可以实现日志收集、日志搜索和日志分析的功能。

4.3 反欺诈平台

目前的欺诈团伙已经形成完整的地下产业链,反欺诈平台需要根据平台沉淀的用户数据、环境数据、第三方数据结合,采集的本次用户行为数据,建立用户、环境、行为画像以及基于用户、环境、行为的关系网络,通过对业务数据建立多重模型来甄别对异常用户的识别能力和反欺诈能力。

4.3.1 数据来源

数据源主要是三个方向:

1. 用户申请过程的填写的数据和埋点时采集的行为数据和日志数据。

2. 第三方合作数据,如人行征信数据、学历、多头借贷等数据。

3. 互联网上的数据,需要靠开发的爬虫平台去抓取。

数据分类主要以下几类:

1. 身份信息:姓名、身份证、手机号、卡号、居住地址、学历等。

2. 信用信息:收入信息、借款信息、帐户信息、还款和逾期信息。

3. 社交信息:通迅录信息、通话记录、QQ和其它平台交互信息。

4. 消费信息:银行卡详单、电商网站购买信息等其它信息。

5. 行为信息:申请和填写信息、GPS、时间点、地点等信息。

6. 第三方:多头信息、黑灰名单、授信信息。

4.3.2 反欺诈模型

以上的多方面数据,可以根据对用户行为、语义、关联网络等组成一个巨大的数据关系图谱。利用这些数据建立的模型风控体系对用户的欺诈概率、还款风险等进行强有力的预测和判断。

4.3.2.1 社交图谱模型

c1c12e5e54a0ba3f7acd25cec297ca6359f604ce

利用“手机-设备”及“手机-手机(通话)”关系,进行图建模,所有用户及外部已知风险手机号容纳在一张图中,通过图中的风险标记以及图中的异常关系结构。

用户数据量上来的时候,社交关系很容易破亿,这时候就要使用图数据库,相对成熟就是Neo4j,比易用性和稳定性来讲Neo4j比orientdb和arangodb要好很多。

NEO4J数据库,其可提供35亿节点,当前2.5亿多点,其中付费版支持无限节点,费用是6.8万美元/年。

4.3.2.2 黑产攻击模型

通过分析收集的高风险人群及中介通话数据,挖掘出一张高风险人群联系密切的关系网,有效识别申请动机不良的客户,发现黑产攻击苗头。

4.3.2.3 多头授信模型

通过对客户与各类机构的通信关系,发现一些体现多头风险异常结构,如客户总被一些催收机构联系,同时又在主动拨打其他一些机构的营销电话。

4.3.2.4 频次异常分析

630b3893efaa3e0001e0e57e605b88eac7201792

欺诈团伙在发现系统规则漏洞时,往往会在短时间内发起大量欺诈交易,以便在受害者反应过来前尽快变现,例如医美欺诈案,短时间内大量发起虚假的美容贷款请求。

这种交易的频次常常会在时间分布上形成异常的波形,通过ARIMA模型可以很好的预测事件的时间分部特征,贝叶斯框架的生成式模型能够解决不同空间分布维度下细颗粒都的时间分布问题。

通过这两种手段可以将时间和空间分布上存在异常的交易行为与正常的交易行为区分开来。

4.3.2.5 欺诈团伙发现

在互联网金融行业,欺诈团伙日益严重并且难以防范。从特点上来看,团伙欺诈有如下几个特点:

• 专业性。欺诈团伙通常会根据各平台的风控规则,制定相应的欺诈手段;

• 多变性。欺诈团伙的欺诈手法经常变化,让各平台防不胜防;

• 爆发性。欺诈团伙一旦发现欺诈的可能性,会在短时间内,利用地下渠道获得的身份信息,大量反复地欺诈;

团伙欺诈的发现是业务反欺诈领域面临的一个重要挑战。目前反团伙欺诈技术思路如下:

• 构成网络:将交易,交易信息项(地址,电话,设备id),用户等定义为节点;同属一个交易的节点间形成边;对边根据业务经验或其他规则赋予权重;

• 特征提取和信息挖掘:提取网络饱和度,网络直径,关联度,中心度,群聚系数等特征;基于已有的黑名单,利用社区发现等算法得到节点的欺诈相关程度预测;

• 加入模型:提取的特征可以作为模型或规则的输入;

• 欺诈预警:在无标注数据的情况下,及时发现异常的网络拓扑结构,作为欺诈的早期预警;

4.3.2.6 评分模型

1a69100b944e42464fcdd85af7067a7043156122

在消费金融反欺诈领域,各种欺诈特征常以规则形式出现,通过一系列的规则的逻辑组合,排除有欺诈嫌疑的进件:

• 规则系统优点:可解释性强,可以迅速调整,应对欺诈手段变化;

• 规则系统缺点:复杂的规则体系难于维护,难以利用弱特征,对强特征依赖,容易被攻破;

评分模型:评分模型在金融领域应用相当成熟,信用评分模型是最常见的应用。但公司将评分模型应用到反欺诈场景时常常与信用评分混淆,但本质上,二者的预测目标是不同的,反欺诈模型预测的是欺诈的可能性,信用模型预测的是还款的可能性。因此建立独立的反欺诈评分模型很有必要。

反欺诈评分模型有如下优点:

• 可以充分利用弱特征;

• 对抗性好,模型结构由一系列弱特征决定,提高欺诈者伪装成本;

反欺诈评分模型和反欺诈规则系统有很好的互补性,在风控平台中,同时建立起反欺诈规则系统和评分模型很有必要。

4.4 变量平台

反欺诈模型和信用模型两个模型体系里,最基础的需要先加工出风控变量,根据基础信息、关联关系、信用历史、设备信息、社交数据以及消费和交易数据等六大纬度加工出数百、数千或者数万个变量。输出给模型进行计算和决策。

基于实时决策的风控流程需要对数据和大部分变量加工有实时性要求。随着数据量越来越大,传统关系数据无法解决实时和效率的问题,基于Hadoop平台的解决方案成为变量平台的方案。

7dff20fc0ddde04d5eb649e32a6f5cf0ec4dc24e

4.4.1 数据来源

• 实时日志采集:

业务埋点在流程处理中把风控需要的数据打印到日志中。

Flume从日志采集的数据放入kafka消息队列中。

• 实时日志采集:

通过Canal分析mysql的bilog日志,放到kafka中。

4.4.2 数据加工

Spark streaming处理时效只能达到准实时,所以变量加工采用Storm方案。Storm可以达到低延迟的响应,在秒级或者毫秒级完成分析、并得到响应,而且体系能够随着数据量的增大而拓展。

总结

消费金融行业这两年规模增长比较快,主要是基于在线的小额分散的借款。一定程度上无法有效和及时的识别真正的客户,某些消费场景内面对欺诈团伙和黑产需要建立有效和多种风控手段和模型。

基于大数据的风控和反欺诈模型起步也没有几年,大部分公司都在逐步完善和成熟的过程,基于机器学习的风险模型也都在大量的投入和尝试。需要从大数据上进行挖掘、分析和建模,利用用户身份数据、行为数据、外部数据和黑产数据建立反欺诈平台、规则和欺诈关联网络来提高反欺诈能力和风险

识别能力。


原文发布时间为:2018-05-31

本文作者:汤向军

本文来自云栖社区合作伙伴“中生代技术”,了解相关信息可以关注“中生代技术”。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
3天前
|
运维 负载均衡 监控
深入探索微服务架构的核心要素与实践策略
在当今软件开发领域,微服务架构已成为构建灵活、可扩展企业级应用的首选模式。本文旨在剖析微服务架构的设计理念,通过实例阐述其核心组件如服务注册与发现、配置管理、熔断机制等如何协同工作,以提升系统的敏捷性和维护性。同时,探讨了在实践中应对分布式系统复杂性的最佳策略,包括负载均衡、服务监控和日志聚合等关键技术,旨在为后端开发者提供一套完整的微服务实施指南。
19 1
|
1天前
|
监控 安全 API
深入探索微服务架构的核心要素与实践策略
在当今软件开发领域,微服务架构以其独特的优势——高度的模块化、灵活性以及可扩展性,已经成为构建复杂、大型应用系统的不二选择。不同于传统的单体架构,它能够显著提升开发效率,促进技术生态的多样化发展。本文将从微服务架构的核心特性出发,探讨其设计理念、关键技术及在实践中的应用策略,旨在为后端开发者提供一份详尽的指南,帮助他们理解和掌握这一现代软件架构的精髓。
|
4天前
|
消息中间件 缓存 监控
优化微服务架构中的数据库访问:策略与实践
随着微服务架构的普及,如何高效管理和优化数据库访问成为了关键挑战。本文探讨了在微服务环境中优化数据库访问的策略,包括数据库分片、缓存机制、异步处理等技术手段。通过深入分析实际案例和最佳实践,本文旨在为开发者提供实际可行的解决方案,以提升系统性能和可扩展性。
|
4天前
|
缓存 负载均衡 数据管理
深入探索微服务架构的核心要素与实践策略在当今软件开发领域,微服务架构以其独特的优势和灵活性,已成为众多企业和开发者的首选。本文将深入探讨微服务架构的核心要素,包括服务拆分、通信机制、数据管理等,并结合实际案例分析其在不同场景下的应用策略,旨在为读者提供一套全面、深入的微服务架构实践指南。**
**微服务架构作为软件开发领域的热门话题,正引领着一场技术革新。本文从微服务架构的核心要素出发,详细阐述了服务拆分的原则与方法、通信机制的选择与优化、数据管理的策略与挑战等内容。同时,结合具体案例,分析了微服务架构在不同场景下的应用策略,为读者提供了实用的指导和建议。
|
7天前
|
设计模式 消息中间件 监控
深入探索微服务架构的核心要素与实践策略
本文旨在解析微服务架构的关键概念、优势以及实施过程中的最佳实践。通过对微服务架构的基本原则、组件和技术选型的讨论,帮助读者理解如何构建高效、可扩展的微服务系统。同时,文章还将探讨在实践中可能遇到的挑战和解决方案,以期为后端开发者提供有价值的参考。
|
16天前
|
存储 大数据 数据挖掘
【数据新纪元】Apache Doris:重塑实时分析性能,解锁大数据处理新速度,引爆数据价值潜能!
【9月更文挑战第5天】Apache Doris以其卓越的性能、灵活的架构和高效的数据处理能力,正在重塑实时分析的性能极限,解锁大数据处理的新速度,引爆数据价值的无限潜能。在未来的发展中,我们有理由相信Apache Doris将继续引领数据处理的潮流,为企业提供更快速、更准确、更智能的数据洞察和决策支持。让我们携手并进,共同探索数据新纪元的无限可能!
62 11
|
21天前
|
存储 分布式计算 大数据
MaxCompute 数据分区与生命周期管理
【8月更文第31天】随着大数据分析需求的增长,如何高效地管理和组织数据变得至关重要。阿里云的 MaxCompute(原名 ODPS)是一个专为海量数据设计的计算服务,它提供了丰富的功能来帮助用户管理和优化数据。本文将重点讨论 MaxCompute 中的数据分区策略和生命周期管理方法,并通过具体的代码示例来展示如何实施这些策略。
51 1
|
26天前
数据平台问题之在数据影响决策的过程中,如何实现“决策/行动”阶段
数据平台问题之在数据影响决策的过程中,如何实现“决策/行动”阶段
|
29天前
|
存储 监控 安全
大数据架构设计原则:构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程,需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则,可以帮助企业构建出既高效又安全的大数据生态系统,为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化,持续优化和调整大数据架构也将成为一项持续的工作。
|
1月前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之ODPS数据怎么Merge到MySQL数据库
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。