智能风控决策引擎系统架构设计与开发实践

3 篇文章 12 订阅
订阅专栏
本文介绍了风控决策引擎的架构设计与开发实践,包括规则引擎、模型引擎、特征引擎和实时计算。系统通过规则和模型配置对抗欺诈、信用和合规风险,采用可视化规则配置、决策树、决策矩阵和决策流实现自动化决策。特征处理涉及并发计算、缓存和预计算,确保高效实时性。模型通过评分卡和机器学习方法提升风控能力。监控和报警机制保障系统可靠性,确保智能风控系统的全面运行。
摘要由CSDN通过智能技术生成

I.内容提要

  • 风控决策引擎系统从架构设计到开发实践

  • 特征引擎系统及实时计算引擎

  • 模型引擎系统及智能风控引擎

  • 大数据风控-用数据驱动的风控全流程系统构建

II.风控决策引擎介绍

Q:互金领域的风险有哪些?

A:欺诈风险 、 信用风险、合规风险(监管要求)

Q:如何对抗风险?

A:通过大数据来构建规则和模型进行风险控制和风险预警

Q:业务规则和模型策略 如何落地?

A:通过决策引擎承载规则和模型的自动化实施和部署

风控决策引擎,支持规则和模型的配置、管理、执行,支持通过专家经验和大数据机器学习进行风险控制。如图所示,风控决策引擎作为风控核心支撑组件,对风控管控起到重要的决策作用。

决策引擎作为系统,那么系统设计的功能目标和性能目标都有哪些?

II.风控决策引擎开发设计

1.从一条规则开始抽象建模

决策引擎就是将规则配置与程序代码分离,那么首先就要将规则配置抽象化

这里依赖于基础运算符操作。

根据特征类型不同,有不同的操作符。        

为了更好地系统易用性,需要进一步实现可视化规则配置后台。可视化后台,使用关系型数据库进行数据管理,然后在“发布”时统一转换为自定义特定领域语言 DSL

此代码详细实现参阅:

决策引擎规则抽象实现

2.规则集

多条规则 集合在一起 组成一个规则集。

规则集就是将所有规则打包一起执行,它的执行结果 = Max(Sort(规则执行结果, 优先级))

3.决策树

树形结构来展示和构建规则

决策树:可以拆解为规则执行执行结果的组合决策

4.决策矩阵

决策矩阵:包含横向和纵向两个维度的特征,通过两个维度特征的不同限制,交叉决策其结果。

此代码详细实现参阅:

决策树、决策表&决策矩阵实现

5.DSL 抽象总结

6.决策流

决策流:对不同的规则和决策进行流程编排,类似工作流。

决策流数据结构选型:

Pipeline 模型:管道模型。用链式串联不同节点组件,组成直线工作流。

Rete 模型:构建成网络。区分alpha网络和beta网络。

此代码详细实现参阅:

决策流实现

7.总结决策引擎架构设计

III.风控特征/指标处理

决策引擎的决策离不开特征的支持,特征又源自业务数据或业务日志衍生,所以特征加工和衍生也是风控开发重要的一环。先看看特征长什么样?

保障决策引擎的可复用性,可更好的支持不同的业务场景和业务环节,那么与业务耦合较重的特

征,就需要解耦拆分出来,于是有了特征引擎

特征引擎,也有叫变量平台,为了保障风控决策的高效性和实时性,特征获取就必须足够高效,那么特征加工计算分为读时计算写时计算,写时计算也叫预计算。对一些复杂聚合类特征,还有融合计算,使用 Lambda 架构将聚合数据和明细数据再做计算。

保障系统高性能

  • 数据并发调用,并发计算

  • 增加数据缓存,特征(计算结果)缓存

  • 对计算处理耗时长的特征做预计算

  • 融合计算:历史聚合数据+最新明细数据进行融合计算

  • 异步化 ,分离实时和准实时

IV.引入智能环节:模型

规则在准入和反欺诈识别上有更好的应用。而模型可以通过更多维度特征的评估,用于识别团伙欺诈,识别信用风控。
模型工作的基本前提:

  • 具有相同特征的数据具有相同的结果;

  • 历史的数据与未来的数据遵循同样的规律。

常用的建模方法:

  • 传统建模方法:评分卡建模

  • 基于大数据建模方法:机器学习、深度学习

关于评分卡建模详细实现参阅:

评分卡建模

关于机器学习建模详细实现参阅:

机器学习建模

V.可靠性保障

  • 做好监控和报警

  • 系统灰度陪跑,一致性比对

  • 新模型上线,先陪跑验证后进行决策

  • 策略发布,在决策流配置挑战者小流量分支,灰度验证

  • 线上数据引流测试

  • 数据过程快照和结果快照,通过模型平台回溯

  • 熔断限流,并设置默认值兜底

  • 制定 SLA 

  • ...

详细实现参阅:

监控大盘实现

VI.数据驱动智能风控系统架构全景图

VII.QA环节

Q:开发特征就是 flink sql 吗?

A:flink sql 对聚合类指标特征能较好实现。除此外,还有代码计算特征,融合计算特征等不同方式。

Q:规则引擎结果怎么回溯?

A:保存决策引擎计算时所有数据快照,特征,以及决策结果,通过回溯平台回溯。

Q:怎么同时支持反欺诈场景和现金贷

A:决策引擎是一种通用能力,通过与不同的规则和决策配置,可以支持不同的决策类型;决策引擎与业务之间通过业务中间件系统来进行语义转换。

Q:规则引擎用的哪家的

A:自研的,golang 演示版 通过 DSL 抽象 + govaluate 计算实现,java 版本还可以通过 groovy、drools 或 qlexpress 等开源实现。

Q:特征计算时三方数据怎么处理

A:简单的通过自动化配置解析结果字段,复杂的需要对结果进行二次加工,通过代码实现。在特征引擎完成数据处理。

Q:先跑特征还是先跑规则

A:不同的业务场景有不同的实现方式,决策引擎需要同时兼容两种方式。对一些简单业务场景,可以将特征都加工好后一起送进决策引擎,这样可以更高效的出结果。而复杂决策流,可能会先配置内部特征规则,如黑名单类,触发就不再继续执行,通过内部规则后可发起调用三方收费数据,加工特征,再进行规则决策。

Q:模型特征和规则策略特征来自同一特征引擎吗

A:是的。有时特征和模型用的特征是一样的。不过一般情况下模型用特征结构更复杂,维度更多,所以一般特征引擎也会有类型区分和加工方式区分。

Q:人行征信数据怎么支持计算出不同特征?

A:人行征信数据,需要先进行解析,有时是 pdf 文本,这部分需要通过代码来实现,然后将解析好的特征存储到高性能缓存中。挖掘出的特征可配置到决策引擎中,决策引擎执行时依赖人行的特征,通过特征引擎获取高性能缓存中的特征。

HBase应用案例:金融风控实时决策系统
程序员光剑
06-04 848
HBase应用案例:金融风控实时决策系统 1.背景介绍 在金融行业中,风险控制(Risk Control)是一个极其重要的环节。传统的风控系统大多采用批处理的方式,将数据定期加载到数据仓库中进行分析。然而,这种方式存在一些明显的缺陷: 延迟性高:批处理作业通常
风控决策引擎系统的搭建设计指南(转载)
weixin_30784945的博客
06-11 1103
归结而言,风控的本质是数据,探索数据与数据之间关联关系,根据其演变的规律,为业务所用。 消费金融的门槛核心在于风控系统,面向C端客群的线上产品线,如消费分期、现金贷及信用卡代偿等业务方向,其需实时支持大量业务的自动化处理,风控系统将承担贷前、贷中和贷后的风控评估、处理及预警的角色,极大地解放人工处理的瓶颈与效率。 优先级 风控决策引擎是一堆风控规则的集合,通过不同的分支、层层规则...
一个不错的开源项目风控引擎(Radar)
m0_73257876的博客
09-17 1611
一款基于java语言,使用Springboot + Mongodb + Groovy + Es等框架搭建的轻量级实时风控引擎,适用于反欺诈应用场景,极简的配置,真正做到了开箱即用。通过学习本项目能快速了解 风险的定义 ,进而 量化风险 ,最后达到 集中管理风险 的目的。
科普文:架构设计智能风控系统设计
最新发布
为无为,事无事,味无味。
08-10 1153
在银行实际信贷业务中,数据是分布在不同的数据库里,风控系统想要高效的利用数据,首先需要在数据层上,融合全量业务的数据,再在融合数据的基础上做抽取、清洗、预处理。这一层最关键是基于数据库的技术架构和数据架构,并结合风控体系业务功能需求,建立数据治理体系,实现数据采集、数据校验、数据清洗、数据存储、标准输出、数据监控闭环管理,支持多种不同类型任务和临时查询,保证数据规范存储和顺畅流转,满足SQL查询、自定义函数、机器学习、深度学习、外部功能调用等不同场景开发需求支持工作流。二是服务于风控业务,在风控领域使用。
在线支付之风控系统架构选型
guolong1983811的专栏
05-15 1万+
风控系统介绍 伴随着互联网的发展,游戏、商贸、慈善、博彩、餐饮等各行各业都开始触网。“天下熙熙,皆为利来;天下攘攘,皆为利往”,种类繁多的网络活动直接或间接的都与钱相关,传统的支付不能满足人们快节奏的互联网生活,电子支付应运而生,但电子支付给人们带来方便快捷的同时也给参与支付的各方带来了风险,账号盗用、虚假交易、金融欺诈等事件层出不穷。支付风险自古就存在,在互联网繁荣的今天只是多了些新花样,风控
风控系统架构设计
seaboat——a free boat on the sea.(公众号:远洋号)
03-17 1万+
风控系统架构设计
风控系统架构设计原型图分析
张彦峰的博客
07-26 1万+
风控系统架构设计原型图分析:业务架构、数据架构、产品架构、应用架构、技术架构。
携程在线风控系统的架构解析和问题解读
CSDN大数据
09-27 3497
↑ 点击上方蓝字关注我们,和小伙伴一起聊技术! 作者 | 蒋一新 文章来源GitChat,CSDN独家合作发布,点击「阅读原文」查看交流实录 为了应对日益严重的支付欺诈,携程在线风控系统2011年正式上线。现在,在线风控系统支撑了携程每日1亿+的风险事件实时处理和100亿+的准实时数据预处理;系统中运行的总规则数和总模型数分别达到了1万+和20+;风控的范围从
4-4+智能风控在银行的实践.pdf
03-18
宁波银行智能风控系统通过风控服务层、变量平台、决策引擎、风险建模、风险集市及应用、支撑工具的建设,以及管理规范的完善,打造风控决策平台,满足应用研发部敏捷开发,为全流程风控管理提供有效决策支持。...
全面了解风控决策引擎
热门推荐
04-02 1万+
了解决策引擎,助力大数据风控
1-1+融360金融风控领域系统开发实践.pdf
03-18
融360的金融风控系统开发实践展示了从传统风控智能风控转变的过程,涵盖了规则策略的抽象化、流程编排的可视化、性能优化以及全面监控等多个方面。通过不断迭代和演进,风控系统能够更好地适应业务需求,提高风险...
大数据风控决策流程和架构设计
02-21
大数据风控决策流程和架构设计,包括决策流程、总体架构、业务架构 等
risk_engine:风控决策引擎系统
03-11
风控决策引擎系统 决策引擎系统介绍 风控决策引擎系统是在大数据支撑下,根据行业专家经验制定的规则策略,以及机器学习/深度学习/ AI领域建立的模型运算,对当前的业务风险进行全面的评估,并采用方法结果一套系统决策引擎,常用于金融反欺诈,金融信审等互金领域,由于黑产,羊毛党行业的盛行,风控决策引擎在电商,支付,游戏,社交等领域也有了长足的发展,刷单,套现,作弊,凡是和钱相关的​​业务都离不开风控决策引擎系统的支持保障。决策引擎规则引擎比较接近(严格说决策引擎包含规则引擎,之前也有叫专家系统,推理引擎),它实现了业务决策与程序代码的分离。 关于如何实现决策引擎的文章市面极少见,实践生产落地的经验分享也基本没有。出全方位的解决方案。 开源声明 本项目有用学习和参考,不能直接用于生产环境,转载使用请说明出处。代码不定期重复更新,可加关注查看。如有交流欢迎加微信号hepenggj 服务测试 gi
decisionengine:HEPCloud决策引擎框架
04-01
HEPCloud决策引擎 决策引擎是HEP云设施的关键组件。 它为不同的资源提供者提供资源调度功能,包括那些可能具有成本或周期分配受限的资源提供者 开发入门 关于此文件,请参见
智能视频推荐系统设计与实践
程序员光剑
08-10 150
本文将对智能视频推荐系统进行详细介绍,包括其功能需求、系统架构和主要组件,并给出详尽的设计过程、技术实现细节,最后给出优化方案。视频的特征提取是指将一段连续的视频数据转化为一个固定长度的向量表示形式。通常情况下,一个视频特征向量包含了一系列抽象的、相关的、有意义的特征,如色彩、光照、空间布局、运动、声音、场景等。对视频进行特征提取可以非常有效地提升视频检索、推荐、分类、排序等任务的性能。
风控系统就该这么设计(万能通用),稳的一批!
芋艿V
01-26 504
点击上方“芋道源码”,选择“设为星标”管她前浪,还是后浪?能浪的浪,才是好浪!每天 10:33更新文章,每天掉亿点点头发...源码精品专栏原创 | Java 2021超神之路,很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中间件 E...
从0到1智能风控决策引擎构建
是咕咕鸡
10-09 1031
互联网时代,万物互联,网络安全形势越来越严峻,安全是企业的基石,风控在企业中扮演着“警察”角色,运用各种技术和手段,保护企业内的用户利益不受侵害。 风控决策引是风控中台的入口,提供业务风险场景事件接入,可视化编排复杂决策,丰富的特征变量与场景识别服务等功能。相较于需要开发背景及算法背景才能使用的传统风控引擎,本文介绍的决策引擎构建完成后无需开发背景甚至无需算法建模背景,作为纯正的策略运营即可配置应用到业务的决策中,实时对抗黑产。
10043---风控系统架构设计
xxxcyzyy的博客
09-19 3157
原文
DataFun Talk算法架构系列活动——智能时代:风控及反欺诈体系搭建
数据猿
03-16 2270
随着大数据的普及应用,大数据风控的概念随之而生,它是指通过运用大数据构建模型的方法对作弊和欺诈方进行风险控制和风险提示。大数据风控通过采集各项指标进行数据建模分析,不仅提高了效率,还使统计结果变得更加有效。本期活动我们来到上海,并邀请极光推送、明特量化及中国平安的相关专家为大家分享大数据时代下风控系统及反作弊体系是如何搭建的。主办方:DataFun、数据猿时间:3月24日(周六) 14:00—18
决策引擎urule文档
01-26
决策引擎urule文档主要介绍了urule决策引擎的使用方法和功能特点。以下是对其内容的简要描述: urule是一款强大的决策引擎,可帮助用户进行复杂的规则管理和决策引擎开发。urule文档首先介绍了urule的基本概念和架构,包括规则文件、规则集、规则流以及数据模型等基本要素的定义和使用。 在urule文档中,用户可以学习到如何创建规则库和规则,如何通过规则流实现复杂的业务流程以及如何定义和管理数据模型。urule支持多种规则条件和动作的定义方式,文档中详细介绍了这些特性以及如何根据具体需求灵活运用。 在文档的示例部分,用户可以了解到如何使用urule进行实际的规则开发。文档提供了丰富的示例,从简单的规则示例到复杂的规则流和数据模型示例,展示了urule强大的功能和灵活的应用场景。 此外,urule文档还介绍了决策表、函数、决策树等高级特性的应用方法,并提供了一些常见问题的解答,帮助用户更好地理解和使用urule。 总结起来,urule文档全面而详细地介绍了决策引擎urule的功能和使用方法,从基本概念到高级特性,涵盖了各种实际场景下的规则管理和决策开发需求。通过学习和应用该文档,用户能够更高效地使用urule进行规则开发和业务流程管理。
写文章

热门文章

  • redis分布式锁的实现(setNx命令和Lua脚本) 83804
  • Zookeeper的CP特性 56589
  • 字符串常量池、class常量池和运行时常量池 40448
  • cpu的中断响应时间 35004
  • NoClassDefFoundError问题排查 34023

分类专栏

  • 风控平台 3篇
  • 异地双活 4篇
  • 稳定性保障 14篇
  • 领域建模 6篇
  • 登录中心 6篇
  • 容器平台 2篇
  • 支付平台 11篇
  • 电商平台 3篇
  • 系统设计 33篇
  • 搜索推荐系统
  • 知识图谱 1篇
  • 开放平台 6篇
  • 数据平台 1篇
  • ES & lucene 12篇
  • spring-boot 1篇
  • Java 57篇
  • java高并发实践 41篇
  • tomcat & servlet 31篇
  • SSM 45篇
  • NIO & Netty 28篇
  • dubbo & spring cloud 15篇
  • Yarn 33篇
  • HDFS 11篇
  • spark 30篇
  • spark streaming 12篇
  • hbase 21篇
  • kafka 23篇
  • scala 12篇
  • 设计模式 18篇
  • javascript 52篇
  • 负载均衡 4篇
  • 分布式 37篇
  • linux 6篇
  • flink 2篇
  • RocketMQ 3篇
  • rabbitMq 8篇
  • angular.js 37篇
  • kernel 9篇

最新评论

  • 页面置换算法的访问位和修改位

    没盐值的咸鱼: 大家用的最多的翻译也基本都是这个

  • 页面置换算法的访问位和修改位

    没盐值的咸鱼: 应该是最近最少使用算法(LRU)吧,英文直译是这个意思,替换掉最近最少使用的页面

  • setTimeout解决GUI渲染线程阻塞问题

    史迪仔的小粉丝: dom操作是同步的,结果由Not Calculating yet 直接跳到了calclation done.是因为计算过程很快毫秒级别就计算完了。

  • 雪花算法解决时钟回拨问题

    jrosy: 可以自己实现一个内存时钟,不借用系统时钟

  • PL/SQL Developer 默认是不会自动提交事务的

    感谢各位大佬救我狗命: 爱你表情包

大家在看

  • 骨传导耳机哪个牌子质量好?盘点公认好评率最高的五款热门骨传导耳机!
  • 【软考】计算机软件著作权 225
  • 一键AI去除视频水印和字幕!关键还免费!
  • linux 系统是如何收发数据包 1206
  • 【Linux 20】线程控制 1312

最新文章

  • 金融风控领域的 DDD 与中台思考
  • 慢sql熔断方案--饿了么数据库中间件DAL
  • 慢sql熔断方案--美团的数据库中间件DBProxy
2022年41篇
2021年6篇
2020年9篇
2019年24篇
2018年132篇
2017年243篇
2016年335篇
2015年153篇

目录

目录

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值

天下网标王汕尾网站优化360网站排名快速优化网站关键词优化适合哪些行业衡水市网站seo优化排名网站优化背景题材安徽网站优化代理企业seo网站优化外包费用网站设计与优化有哪些渠道手机怎么投诉优化网站新网站优化要多少钱广东专业网站优化推广罗湖软件网站优化服务如何网站内部链接优化方面高端网站优化公司电话网站里关键词优化位置前50园区网站优化收费网站内容优化简洁无锡无锡网站优化干扰码对网站优化有作用吗找人优化网站湘潭企业网站优化哪家好网站优化行不行网站的搜索优化是什么意思安国网站优化莆田市网站seo优化找哪家南通市网站关键词优化报价山东网站优化方法优化排名网站安全易速达优化网站的重要六步延吉网站优化公司香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声卫健委通报少年有偿捐血浆16次猝死汪小菲曝离婚始末何赛飞追着代拍打雅江山火三名扑火人员牺牲系谣言男子被猫抓伤后确诊“猫抓病”周杰伦一审败诉网易中国拥有亿元资产的家庭达13.3万户315晚会后胖东来又人满为患了高校汽车撞人致3死16伤 司机系学生张家界的山上“长”满了韩国人?张立群任西安交通大学校长手机成瘾是影响睡眠质量重要因素网友洛杉矶偶遇贾玲“重生之我在北大当嫡校长”单亲妈妈陷入热恋 14岁儿子报警倪萍分享减重40斤方法杨倩无缘巴黎奥运考生莫言也上北大硕士复试名单了许家印被限制高消费奥巴马现身唐宁街 黑色着装引猜测专访95后高颜值猪保姆男孩8年未见母亲被告知被遗忘七年后宇文玥被薅头发捞上岸郑州一火锅店爆改成麻辣烫店西双版纳热带植物园回应蜉蝣大爆发沉迷短剧的人就像掉进了杀猪盘当地回应沈阳致3死车祸车主疑毒驾开除党籍5年后 原水城县长再被查凯特王妃现身!外出购物视频曝光初中生遭15人围殴自卫刺伤3人判无罪事业单位女子向同事水杯投不明物质男子被流浪猫绊倒 投喂者赔24万外国人感慨凌晨的中国很安全路边卖淀粉肠阿姨主动出示声明书胖东来员工每周单休无小长假王树国卸任西安交大校长 师生送别小米汽车超级工厂正式揭幕黑马情侣提车了妈妈回应孩子在校撞护栏坠楼校方回应护栏损坏小学生课间坠楼房客欠租失踪 房东直发愁专家建议不必谈骨泥色变老人退休金被冒领16年 金额超20万西藏招商引资投资者子女可当地高考特朗普无法缴纳4.54亿美元罚金浙江一高校内汽车冲撞行人 多人受伤

天下网标王 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化