提示:文中数据来源于互联网公开信息,为防止误解,文中所有涉及平台名称均作脱敏处理;原文末预留的回复下载资料,易被官方判定违规导流,现暂停,谢谢理解。
特征工程与第三方数据接入:征信局、替代数据、设备指纹到底该怎么接
风控团队最容易做的两件错事,一件是”不买数据硬扛”,另一件是”能买的都买上”。
后者更贵,也更常见。 因为在大多数采购决策里,数据源的成本被算成了”单价×调用量”,而它真正的成本是特征筛选的工时、模型复杂度的代价、以及一堆看起来有用但其实不可解释的变量带来的合规风险。
这篇讲的不是”有哪些数据源”,而是每一个数据源在你模型里的正确位置是什么,以及从原始字段到一个能上线、能过审、能监控的模型变量,中间要过哪几道关。
一、问题背景:数据越多,模型不一定越好
先摆一个反直觉的结论:加变量这件事在样本量不足时会直接降低模型表现,而不是提高。
道理不复杂。逻辑回归里每多一个变量,你就多消耗一份自由度;当被估参数的数量相对于坏样本数量变得可观时,模型的方差会超过它带来的偏差下降。这就是为什么行业里一直有一条经验线:要建的变量数,应当和你的坏样本数量挂钩,而不是和你能买到多少数据挂钩。
所以第一步不是列数据源清单,而是先回答一个问题:我现在有多少个成熟坏样本?
- 坏样本在几百量级:特征数应当极度克制,20–50 个已经是上限,且必须优先选稳定、可解释的;
- 坏样本在几千量级:可以进到上百个候选特征,用 IV 与相关性做粗筛;
- 坏样本上万:才具备让机器学习模型自动处理几百上千个变量的样本基础。
绕过这一步直接堆特征的团队,典型症状是”训练集 AUC 0.75、上线后 KS 掉一半”——不是数据源不好,是变量数超过了样本能支撑的复杂度。
二、核心方法:三类数据源的正确位置
第三方数据从功能上分三类,它们的定位、评估方式、接入代价完全不同,混在一起谈”数据源性价比”是没有意义的。
第一类:身份与反欺诈类(决定”这个人是不是他本人”)。
包括证件 OCR、活体检测、人证一致性比对、手机号在网时长与实名状态、设备指纹、模拟器/root 检测、IP 与地理一致性。这一类的特点是:它们几乎不参与”给多少额度”的计算,但它们决定这笔申请有没有资格进入计算。
- 评估方式:不适用 IV/AUC 那一套,而要看拦截率与误杀率的权衡——它拦下多少欺诈、误伤多少好客户;
- 接入优先级:最高,且必须在评分卡之前。原因前面几篇讲过:欺诈是确定性问题,信用风险是概率问题,顺序不能反;
- 成本形态:通常是按次调用(per call),成本随规模线性增长,所以必须做分层调用策略,而不是全量调用。
第二类:征信类(决定”他过去借钱还钱的表现”)。
央行征信、区域征信局、行业共享黑名单、法院与执行信息。这一类是信息密度最高的数据源,有就是有,没有就是没有。
但有一个必须提前算清楚的前提:覆盖率。 在征信基础设施刚建立的市场,征信查询”命中”的比例可能只有三成左右——也就是说,你为一个覆盖率 30% 的数据源付全量调用费时,七成的钱花在了返回空值上。
所以对征信类数据源,采购前必须先问三个数:
- 你目标客群里的覆盖率是多少?(不是全国人口覆盖率,是你的客群的覆盖率)
- 返回空值时是否收费?
- 数据更新的频率与延迟是多少?(一个只按月更新的征信局,对 14 天产品的意义有限)
第三类:替代数据类(决定”他现在的现金流和稳定性”)。
钱包与移动货币流水、话费充值频率与金额、在网时长与换机频率、电商消费记录、设备稳定性、位置稳定性。
这一类是薄档案和零档案客群的主力数据源。 它最大的优势是对新客没有”薄档案歧视”——一个从未贷过款的人,可能已经用手机钱包转账三年;所以在很多新兴市场,钱包流水的实际价值高于央行征信。
但它也是最容易被滥用的一类,因为它字段多、衍生容易,很容易做出几百个”看起来有区分度”的变量。下面这一节专门讲这些变量要过哪几道关。
三、实操步骤与坑
步骤一:先做特征准入,四个维度一个都不能少。
一个候选特征要能进入模型,建议逐条过这四道:
① 预测能力——IV(信息值)。 常规的经验分档:
② 稳定性——PSI(群体稳定性指标)。 通用阈值:
这里有一个最常被忽略的陷阱:高 IV 不等于能上线。 一个 IV 高达 0.25 的”近 3 个月申请贷款次数”,很可能在出现新的导流渠道或产品后,整个客群的取值一起上移,PSI 第一个月就到 0.15、第二个月到 0.2——特征本身没有错,是它的分布被你的业务环境和外部市场改变了。所以在筛选时必须把”时间稳定性”和 IV 并列作为硬门槛:算 12 个月切片的分布差异,优先选 IV 高且 PSI 低的。
③ 可解释性。 金融风控不是猜谜。监管会要求你说清楚”为什么这个特征影响违约概率”。 “收入越高还款能力越强”可解释;”某个随机生成的 ID 值”不可解释——即使它预测能力很强,在强监管场景下也不能直接用。 跨境数据集尤其要注意这一点:一个在该国市场能过审的解释,在另一个市场的监管眼里可能不成立。
④ 可得性——申请时点能不能拿到。 这一条是硬门槛,见步骤二。
步骤二:把”特征穿越”当成第一禁忌来防。
特征穿越(用未来信息预测过去)是最致命也最常见的错误。 任何在你做决策的那个时点之后才能知道的信息,都不能作为特征。
最容易穿越的三种情况:
- 用了事后才更新的征信状态(比如”该客户后来被列入黑名单”);
- 用了整个样本期的统计量做归一化或分箱(分箱断点必须只用训练期数据确定,然后锁死断点再应用到后续期);
- 用了结果相关的衍生字段(比如”是否发生过催收”——催收回来的客户和没催收过的客户,行为本来就不一样)。
这条纪律要落成工程约束:特征计算必须能按”数据可得时间”回溯,每个特征都要标注它的可用时点,而不只是标注它来自哪张表。
步骤三:接入方式决定成本,不只是决定技术方案。
用”数据瀑布”分层,而不是全量并行调用:
- T1 免费/极廉层:先跑资格类硬门槛(年龄、地域、黑名单、证件有效性)。这一层的目的是用最低成本提前筛掉一批,减少对后续昂贵层的调用量;
- T2 核心能力层:征信局、核心替代数据评分。最贵的一层,但决定信贷结论;
- T3 定价/额度层:更精细的收入验证、额度测算类数据。可选,且只在需要精细定价的量级上才值得调。
并行的正确使用范围只有一种:同一层内部多个独立数据源可以并行(谁先返回算谁)。跨层必须串行——因为 T2 的调用量本身就取决于 T1 的通过率。
这里有一个必须先做的测试:T1 的死亡率。 如果 T1 直接拒掉 60% 的申请,那么 T2 的实际调用量只有 40%,你对 T2 的成本测算在纸面上会高估一倍以上,而在预算上会低估(因为 T1 阶段的通过率会随营销渠道变化而波动)。先把 T1 的通过率测准,再去谈数据源采购量。
步骤四:数据源失败要有明确的分支处理。
数据源超时、返回空、返回异常值——这些不是运维问题,是风控问题。 必须预先定义五类分支:
- 重试(限次数与超时);
- 切换备用源(同类数据的第二供应商);
- 缩减数据集决策(用可得的信息做保守决策,而非硬拒);
- 挂起重跑(不入结论,另走队列);
- 转人工(并指定责任人与时限)。
关键原则:缺失不等于拒绝。 因为”数据源挂了”和”这个人有风险”是两件完全不同的事。混为一谈的后果是把技术故障转化成系统性拒贷,同时还会丢失这批客群的样本——事后你无法判断他们本来会表现如何。
同时注意,被拒的客户通常有权知道理由,而这个告知是有时限的。 所以拒绝原因码必须在决策那一刻就落库,而不是事后从日志里反推。
步骤五:决策留痕,把数据源状态也记进去。
每个决策至少要落五件事:
- 决策时点的特征值(模型看到的原始输入);
- 命中的规则与原因码;
- 审批结果与金额、期限、定价;
- 数据源的可用状态(哪个源通、哪个超时、哪个返回空);
- 特征/规则/模型版本号。
第 4 条最容易被省掉,但它恰恰是特征工程层面最有价值的一条记录。 因为当某个第三方接口故障时,那段时间的所有申请都走了降级路径——这批样本的风险分布与正常时期完全不同。如果没记录这个状态,你事后会把它混进训练集,得到一群”看起来很好却无法复现”的变量。
步骤六:第三方数据源的采购评估清单。
把决策从”看演示”变成”过清单”:
① 覆盖率:在你的客群里的命中率,而不是全国人口覆盖率。要求供应商提供适配你目标客群的样本测试。
② 空值策略:返回空值是否收费、超时是否收费。
③ 稳定性承诺:接口可用性 SLA、字段变更通知机制。字段口径静默变更是最隐蔽的风险——你的 PSI 会突然报警,但根因在供应商侧。
④ 数据来源合法性:这一点在数据保护法趋严的市场是红线。要求供应商说明数据的获取方式、授权链条,并明确跨境传输是否合规。 一旦上游来源有问题,下游使用方同样承担风险。
⑤ 合规可解释性:供应商能不能提供每个输出字段的业务含义说明。模型可解释性的上游是特征可解释性,特征不可解释时,下游无论怎么解释都补不回来。
⑥ 退出成本:停用这个数据源,你的模型会不会崩。如果某个第三方数据源在模型里的重要性排到前三,你就把定价权交给了对方。
步骤七:把监控做在特征层,而不只是模型层。
只在模型层看 AUC / KS 是不够的。 因为模型层指标只能在表现期成熟后才看得到,而特征层指标(PSI)在放款当天就能看。
推荐的监控结构:
- 每个特征单独算 PSI(用参考期固定分箱,锁死断点);
- 按切片算 PSI(渠道、地区、产品、客群分群)——整体稳定不代表各分群稳定,一个关键分群漂移严重但整体看不出来,是典型的隐性风险;
- 对模型分数本身也算 PSI;
- 对每个第三方数据源单独算调用成功率与空值率——这一层是很多团队缺失的,但它是把”供应商问题”和”客群问题”区分开的唯一办法。
常见坑: KS 检验在大样本下极其敏感,几乎总会显著,不能当唯一判据;PSI 依赖分箱数量与位置,断点必须锁定在参考期,否则每次计算都会漂。
四、与海外现金贷场景结合
第一,”无征信是常态”这件事要先接受,再设计。
在非洲、南亚、东南亚很多市场,央行征信对目标客群的覆盖率可能只有三成左右。所以特征工程的起点不是”怎么用好征信”,而是”征信命中之前用什么顶住”。
对海外现金贷,替代数据的优先级排序建议是:
- 钱包/移动货币流水(收入与支出的真实形态,最难伪造)
- 手机号在网时长与实名状态(最便宜、最有效的稳定性代理)
- 设备与行为信号(反欺诈价值高于信用价值)
- 话费充值频率与金额(收入波动性的代理)
- 电商与商户消费(在电商渗透率高的市场才有价值)
注意第 5 条的限定条件:一个市场如果没有足够的电商渗透,电商类数据就是无效变量。 数据源的价值是本地化的,不存在”全球通用数据源”。
第二,地域差异必须进特征。
同一个国家里,城镇与农村的银行渗透率、失业率、收入季节性可能完全相反(有的市场甚至出现农村失业率低于城镇的倒挂,因为农业吸纳了大量隐性就业)。用一套全国统一的规则跑,等于同时犯两类错误:在城镇过度宽松,在农村过度严格。
做法是把地域作为一个独立特征(或独立分群),并留意它是否触发公平性审视。 地理变量在信贷里有正当的业务理由(成本、可达性、收入结构),但也最容易被认定为歧视性变量——所以每一条地域相关规则都要记录业务理由,并定期做群体通过率对比。
第三,收入季节性必须显式建模。
海外现金贷的客群里,小商贩、农户、运输从业者的收入是周期性波动的。用一个静态的”月收入”去算偿债覆盖率,会在淡季系统性高估还款能力。
可行做法: 从钱包流水里抽取滚动的收入波动率与季节性指数,把”这个月收入多少”换成”这个客群在这个月份通常什么水平”。这一步的投入产出比往往高于再买一个第三方数据源。
第四,设备指纹在共享设备市场要重新定义。
在部分市场,一部智能机被一个家庭、一个摊位甚至一个街坊共用是常态。这意味着”一设备一用户”的假设不成立,同一设备的多次申请不必然等于欺诈。
正确用法是把设备从”判定条件”降级为”关联线索”:不直接因为”设备重复”拒贷,而是用设备把一批申请连成图,再看这个簇里的关系特征——申请时间间隔、填写的联系人是否交叉、IP 与位置是否集中、是否有同一批人反复出现。欺诈从来不是单点行为,一个坏客户往往指向一个簇。
第五,条件苛刻的实时决策会倒逼特征分层。
很多海外场景走的是即时决策(秒级出结果)。这意味着一部分重特征必须在申请前预计算(离线批算),而不是在申请时现算。
分层原则:
- 轻特征(毫秒级):设备信号、在网时长、黑名单命中——实时算;
- 重特征(需要聚合历史):钱包流水的滚动统计——离线批算、缓存,按日或按小时更新;
- 冲突特征:依赖外部接口的必须设超时上限并走降级分支,绝不能让一个慢接口拖垮整个决策链路。
第六,本地化系统只要有能力,自建胜过外采。
自建特征的价值不在于省钱,在于三件事: 对口径的完全控制(供应商改口径你不用跟着改)、对可解释性的完全掌握(监管问起来你能说清每个变量的来源)、以及数据资产的沉淀(这些衍生特征只属于你,不随供应商合约结束而消失)。
但自建有前提:你的埋点必须从第一天就做全。 没有完整的埋点,自建就是空谈。
小结
特征工程这件事,正确的顺序是:
- 先数坏样本——变量数量必须服从样本量,而不是服从数据源清单;
- 先做身份与反欺诈——它是准入层,不是评分层;
- 再上征信与替代数据——征信先算覆盖率,替代数据才是个性化的主战场;
- 每条特征过四道关——IV、PSI、可解释性、可得性(防穿越);
- 分层调用控制成本——T1 先跑测死亡率,同层可并行、跨层必串行;
- 数据源失败要有五类分支——缺失不等于拒绝;
- 决策留痕要含数据源状态——否则训练集会被污染而无法复现;
- 监控做在特征层——PSI 当天可见,AUC 要等表现期;
- 供应商按清单评估——覆盖率、空值策略、口径变更、来源合法性、退出成本。
最后一句总结:第三方数据的价值不在”买了多少”,而在”用对了几个”。 一个能被解释、能稳定三个月、能在申请时点可靠获取的特征,胜过二十个高 IV 但明天就会漂移的变量。
下一篇,我们讲上线之后的事:模型监控与漂移检测——PSI、KS、AUC 该怎么排班盯盘,以及 PSI 报警之后到底该做什么、不该做什么。
|
扫码加入交流群 |
长按识别关注公众号 |
卡锁
