卡锁-出海资源第一站
www.kas2.com

模型上线之后:监控、漂移与拒绝推断,评分卡是怎么悄悄失效的

广告拉招租

提示:文中数据来源于互联网公开信息,为防止误解,文中所有涉及平台名称均作脱敏处理;原文末预留的回复下载资料,易被官方判定违规导流,现暂停,谢谢理解。

模型上线之后:监控、漂移与拒绝推断,评分卡是怎么悄悄失效的

这个系列前面几篇讲过机器学习评分卡怎么建、替代数据特征怎么工程化。但有一条线一直没拉出来:模型上线之后发生了什么。

行业的普遍叙事是”建模—上线—结束”。实际上,上线只是模型生命周期的中场。一个上线时 KS 值很漂亮的评分卡,六个月后可能已经面目全非——不是因为它坏了,而是因为它面对的世界变了:进件人群变了、宏观经济变了、你自己的审批策略也变了。模型不会突然失效,它是悄悄失效的,等你从坏账上发现时,损失已经发生了几个账期。

这一篇讲三件事:模型为什么会退化、用什么仪表盘监控退化、以及评分类模型特有的一笔账——拒绝推断。

一、模型为什么会坏:三种漂移

模型退化不是玄学,拆开看就是三种漂移,成因和对策完全不同。

第一种:人群漂移(population drift)。 进件人群的构成变了。获客渠道换了一批、投放素材调整后吸引了不同的客群、竞品退出后涌入一批原来去别家借钱的人——人群还是那个产品,但原料换了。 评分卡在开发样本上学到的是”当时那批人”的风险规律,新人群的特征分布一旦偏移,模型的判断就开始失准。

第二种:概念漂移(concept drift)。 更隐蔽的一种:人群没变,但”特征和风险的关系”变了。 同样是”月收入五千、负债两万”,在就业市场稳定的年份是好客户,在裁员潮里就是高危。宏观环境、监管政策、催收效率的变化,都会悄悄改写特征和坏账之间的映射关系。概念漂移最麻烦的地方在于:人群稳定性指标可能一切正常,模型的分辨力却在下滑。

第三种:数据漂移与管道故障。 不是世界的错,是你自己的错:上游数据源改了字段口径、设备指纹 SDK 升级后取值变了、某个特征的计算任务悄悄断了开始返回默认值。这类”漂移”本质是事故,但它和前两种漂移在监控报表上的表现一样,所以必须建一条从特征监控直达数据团队的排障通道,不能全靠风控分析师肉眼识别。

三种漂移对应三种动作:人群漂移要重新校准入模分布、概念漂移要重训模型、数据漂移要修管道。分不清是哪一种,动作就会做错——比如管道断了你却在忙着重训模型。

二、两张仪表盘:PSI 与 CSI

监控人群漂移,行业标准工具是人群稳定性指数(PSI)。它的逻辑很朴素:把开发样本的分数分布和当前进件的分数分布并排放着,逐档比较差异。 每一档的差异乘以一个对数放大项再求和——两边的分布越接近,指数越小;某一档人突然变多或变少,指数就会灵敏地抬起来。

判读阈值是行业约定俗成的三段线(源自评分卡方法论的经典教材):

PSI 区间 含义 建议动作
低于 0.1 分布稳定 正常监控节奏
0.1 – 0.25 有可感知的偏移 排查原因,加密监控频率
超过 0.25 人群发生重大变化 启动模型重估,考虑重训

PSI 看的是总分的分布,但总分稳定不等于每个特征都稳定。所以还要给每个入模特征配一个特征稳定性指数(CSI)——同样的算法,逐个变量比较开发和当前的分布。CSI 的价值在于定位:PSI 报警时,把每个特征的 CSI 排个序,偏得最狠的那几个变量通常就是病灶——要么是它们的分布真变了,要么是数据管道出了问题。

实操上有一条容易踩的坑:PSI 要在”进件全体”上算,不是在”批准件”上算。 如果你的审批策略收紧了,批准件的分布当然稳定——因为不稳定的人都被你拒了。在批准件上算 PSI,等于把温度计插进冰箱再报体温。 大量团队的模型监控报表常年”稳定”,病根就在这里。

三、性能侧的监控:AUC、KS 与 vintage 三件套

分布稳定只是必要条件,模型的实际分辨力还要单独监控,三件套各有分工:

AUC/KS 按月看。 在”表现已成熟”的账户上计算,注意一定要切掉表现期不足的部分——把刚放款一两个月的新账户算进去,KS 会被人为压低,制造”模型在衰退”的假警报。

vintage 曲线按放款月分层看。 每个月放款的资产,画一条逾期率随账龄爬升的曲线。如果最近几个月的 vintage 整体抬高,哪怕模型指标还没动,也说明进件质量或环境在恶化——vintage 曲线是最早报警的仪表,通常比模型性能指标提前一到两个账期。

迁徙率按月看。 早期逾期桶向晚期逾期桶的迁徙速度,反映的是”进去的人会不会变坏”,和 vintage 的”进来的人质量如何”互补。

但性能监控有一个所有评分模型共有的结构性盲区:你只能观察到批准了的申请的表现。被拒绝的申请,永远不会产生逾期数据——也就永远不会告诉你,当初拒得对不对。 这就把我们引向评分建模里最容易被欠下的一笔账。

四、拒绝推断:被拒的人从没进过你的样本

评分卡是在历史批准件上训练的——这是所有问题的根源。历史批准件不是申请人群的随机样本,而是”当年那套审批标准筛过一遍的幸存者”。 用幸存者的数据学出来的风险规律,天然对被拒人群失明。

后果是双重的:其一,模型在全体申请人上的真实分辨力,其实没人知道;其二,审批线以下的区域(你准备在未来放开或收紧的那一段分数带)恰恰是模型最没把握的区域——而你每一次调审批线、每一次降门槛抢客户,都是在拿模型最盲的区域做决策。

解法就是拒绝推断(reject inference):用统计手段估计”如果被拒的申请批了,他们会表现成什么样”,把这部分虚拟样本补进训练集。主流方法有三类:

简单扩充。 假设拒绝件全是坏账,直接以坏样本身份进训练集。粗糙,但对”拒绝区域”给出的是最保守的估计。

模糊增强(fuzzy augmentation)。 最常用的折中方案:先在批准件上建一个模型,用征信局分数这类”连拒绝件也有的代理变量”给拒绝件打风险分,再按风险概率把他们以加权方式纳入训练。 学术研究里有个可以参照的案例:一项发表的研究用征信分数做代理(其对坏账的基尼系数约 81%,算合格的代理),对拒绝件做模糊增强后发现,推断出来的拒绝件坏账率显著高于批准件——确认了”拒绝区确实是高风险区”的直觉,也确认了批准件训练的模型对这个区域的低估。

打包法(parceling)。 先把拒绝件按特征分箱切成小组,给每组赋予推断的坏账率,再按比例填充好坏样本。更精细,但也更容易把主观判断带进去。

拒绝推断没有完美方案——所有方法都在”估计一个没发生过的结果”。但做和不做是质的区别:不做的模型,只是在你的审批线内侧有效;做了的模型,至少对线外区域有量化的判断。 对新兴市场玩家来说这一点尤其致命:你的征信覆盖率低、进件波动大、审批线调整频繁——每一个动作都在模型最盲的区域进行。

五、监管已经把”上线后管理”写进了条文

如果你觉得上面这些是”最佳实践,做不做随意”,那就低估了监管的方向。上线后监控正在从方法论变成法定义务:

欧盟 AI 法案把信用评分明确列为高风险 AI(附件三第 5(b) 条),高风险系统必须建立上市后监控体系(第 72 条):持续收集真实运行表现、与预期用途对照、发现偏移触发事件上报与复评。按 2026 年 5 月欧盟数字综合法案达成的政治协议,附件三高风险义务的适用时点推迟到 2027 年 12 月(嵌入式产品类 2028 年 8 月)——给所有做跨境业务的团队留了一年多的准备期,但方向已经没有悬念:模型监控报告、偏移响应流程、事件上报,都会变成要能拿给监管看的书面材料。

美联储 2026 年 4 月发布了新版模型风险管理指引(SR 26-2),取代了运行十五年的 SR 11-7——模型风险管理框架的鼻祖完成换代,模型验证、持续监控、模型清单这些制度的母版被再次强化。全球主要监管的模型治理要求,一直在向这个方向收敛。

印尼已经把模型治理写进了牌照规则:自动化信用评分体系(ACS)纳入持牌管理,自建模型的机构要满足数据中心与灾备境内等要求——在印尼用模型放贷,模型本身的合规成本已经进入了牌照价格。

趋势很清楚:“模型上线后有没有人管”正在从内控问题变成准入问题。 现在把监控体系搭起来,既是风控需要,也是提前备好监管答卷。

六、一张可以直接执行的监控清单

把前面所有内容压成一张执行表:

监控项 频率 告警阈值 触发动作
PSI(进件全体) 月 >0.1 关注 / >0.25 行动 排查获客渠道与特征分布
CSI(逐特征) 月 单特征显著抬升 先查数据管道,再查真实漂移
KS / AUC(成熟账户) 月 较开发样本下滑超约定幅度 启动 OOT 复验
vintage 曲线 月 新放款月整体抬高 反馈投放与授信策略
拒绝推断 重建时必做 — 补样本后再训,勿用裸批准件
模型清单与文档 季 — 模型数量、版本、责任人、验证状态

三条纪律值得单独强调:第一,PSI 永远算在进件全体上,算在批准件上的监控是自欺欺人;第二,新模型上线必须跑拒绝推断,哪怕用最粗糙的方法,也比让模型对拒绝区失明强;第三,任何重训都要留 champion/challenger 对照,新模型和线上模型并行跑一段,用真实进件分流量验证,而不是直接切换。

结尾:模型和资产一样,是需要持续管理的负债

这个系列讲到这里,一个贯穿的主线应该清楚了:AI 风控的价值从来不在”建了多先进的模型”,而在”模型和真实世界之间隔多远”。 建模是一次性的,而监控、漂移响应、拒绝推断是持续投入——模型的本质和资产一样:它不是一次买入就完事的资产,而是需要持续管理、会随时间贬值的负债。管理得好,它是复利资产;放任不管,它是最贵的沉没成本。

下一篇换个角度收尾这个话题:《AI 决策的可解释性:拒贷怎么解释、监管怎么问责、文档怎么写》。 当”模型说拒就拒”遇上”借款人要个说法”和”监管要份材料”,可解释性就是合规的底线。

由于微信修改了推送规则,没有经常点“推荐”的,会慢慢收不到推送。如果你还想看到我们的信息,请将“AI风控实验室”加为星标,每次看完后别忘记点下“赞”哦!

长按识别二维码,关注公众号:AI风控实验室

AI风控实验室 公众号关注二维码

0 赞 打赏
未经允许不得转载:卡锁 » 模型上线之后:监控、漂移与拒绝推断,评分卡是怎么悄悄失效的
分享到: 更多 (0)

相关推荐

  • 暂无文章

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏支持

支付宝扫一扫打赏

微信扫一扫打赏

'); })();