# 策略分析与实验平台

> 风控的「仪表盘 + 试验田」：统一指标口径，评估规则与模型效果，做 AB 实验与冠军挑战者，回答「这次改动到底有没有用」。

## 一、它是干什么的

风控策略每天都在改：阈值调 5 分、规则加一条、模型换一版。改完效果如何，不能靠感觉。策略分析平台负责三件事：**看清现状**（指标体系与报表）、**验证改动**（实验与回测）、**解释原因**（归因与下钻）。

它不产生决策，但决定了决策能不能被优化。没有它，风控就是一个只能踩油门、没有仪表盘的车。

## 二、谁在用

| 角色 | 用来做什么 |
| --- | --- |
| 风控策略 | 看效果、设计实验、决定是否全量 |
| 数据分析 | 建指标、做归因、出结论 |
| 产品 / 管理层 | 看通过率、风险、收益的整体健康度 |
| 算法 | 评估模型迭代效果 |
| 合规 | 检查是否存在歧视性差异、策略是否符合政策 |

## 三、系统里有什么

| 模块 | 主要能力 |
| --- | --- |
| 指标字典 | 指标定义、口径、计算逻辑、责任人，全站唯一 |
| 报表看板 | 申请量、通过率、拒绝率、额度、逾期、欺诈率 |
| 客群分析 | 按渠道、产品、地域、评分段下钻 |
| 规则分析 | 单规则命中率、贡献度、重叠度、误杀 |
| 实验平台 | 分流、分组、样本量、显著性、实验报告 |
| 冠军挑战者 | 主模型/候选模型并行对比 |
| 回测仿真 | 用历史流量跑新策略，出对比结论 |
| 归因工具 | 通过率变化拆解到规则/客群/结构 |
| 告警 | 指标异常波动自动提醒 |

## 四、解决什么问题

| 痛点 | 表现 | 后果 |
| --- | --- | --- |
| 口径打架 | 三个报表三个通过率 | 决策依据不可信 |
| 改动靠拍脑袋 | 上线后才知道效果 | 试错成本高 |
| 实验不可信 | 分流不均、样本不足 | 结论误导，越改越差 |
| 只看短期 | 通过率上去了，逾期三个月后才爆 | 指标滞后导致误判 |
| 无法归因 | 通过率跌了不知道哪条规则导致 | 只能整体回滚 |

## 五、深度解析

### 5.1 指标体系：三层看板

| 层次 | 指标 | 面向 |
| --- | --- | --- |
| 业务层 | 申请量、通过率、放款额、额度使用率、不良率 | 管理层 |
| 策略层 | 规则命中率、拒绝占比、评分分布、KS/Lift | 策略 |
| 系统层 | 决策耗时、变量覆盖率、降级率、异常率 | 研发运维 |

三层要能互相下钻：业务指标异常 → 看是哪个客群 → 看是哪条规则 → 看是哪个变量取值变了。

### 5.2 实验设计的四个硬约束

1. **随机且稳定**：按客户号哈希分桶，同一客户始终在同一组；
2. **样本量足够**：事前算最小样本量，别用几百单下结论；
3. **同口径比较**：同一时间窗、同一客群结构，注意辛普森悖论（分组都变好、总体变差）；
4. **看长期指标**：通过率是即时的，逾期是滞后的，必须等表现期结束再定论。

### 5.3 规则贡献与归因

常见方法：**命中率**（这条规则拦了多少）、**独占率**（只被它拦下的比例）、**增量贡献**（关掉它风险变化多少）、**重叠矩阵**（两条规则是否在拦同一批人）。没有独占率与增量贡献，规则集很容易越加越多却没人敢删。

通过率变化的拆解公式思路：通过率变化 = 客群结构变化 + 规则命中变化 + 模型分布变化，三者分开量化，才能定位真实原因。

### 5.4 回测与仿真的陷阱

回测用的是历史流量，但历史流量是**被旧策略筛选过的**——被拒的客户没有表现数据。直接用通过客户回测新策略，会系统性高估效果（幸存者偏差）。严谨做法是配合拒绝推断，或在小流量上做真实实验。

### 5.5 核心指标

| 指标 | 说明 |
| --- | --- |
| 通过率 / 拒绝率 | 分渠道、分客群 |
| 风险指标 | 逾期率、欺诈率、KS、Lift |
| 实验显著性 | p 值 / 置信区间 |
| 规则独占率 | 规则集健康度 |
| 归因覆盖率 | 指标波动能否被解释 |

## 六、竞品与选型参考

| 产品 / 厂商 | 类型 | 优点 | 局限 |
| --- | --- | --- | --- |
| 神策数据 / GrowingIO | 商业行为分析 | 埋点与漏斗分析成熟、可视化强、上手快 | 面向 C 端行为，风控决策链路与表现期指标需定制 |
| 火山引擎 DataTester / 阿里云 AB 实验 | 商业实验平台 | 分流与统计检验成熟、样本量计算规范 | 与风控决策、贷后表现数据打通需开发 |
| Optimizely | 海外实验平台 | 实验体系完善、统计严谨 | 本地化与数据合规、成本较高 |
| BI（帆软、Tableau、Superset）+ 自研指标层 | 分析工具 | 灵活、成本低、可对接数仓 | 实验分流与显著性检验需自建 |
| 风控厂商策略分析模块 | 商业 | 与规则/模型数据天然打通、场景贴合 | 灵活性差、黑盒、难以跨厂商分析 |

> 风控实验最大的坑不是工具，而是「样本被旧策略筛选过」和「指标滞后」，采购前先确认这两点怎么解决。

> **资料来源与时效**：厂商官网与公开产品文档、开源项目文档/仓库、公开技术文章与行业报告，以及行业常见实践；信息整理截至 **2026-10**，未逐一与厂商核实。产品能力、定价与版本会随迭代变化，选型前请核对官方最新资料并做 POC 验证；本节不构成选型推荐，也不含厂商商务信息。

## 七、与其他风险系统的关系

| 系统 | 关系 | 交互内容 |
| --- | --- | --- |
| 决策留痕 | 上游 | 决策明细、命中轨迹、变量快照 |
| 规则引擎 | 双向 | 读取版本与命中做分析；分析结论驱动规则调整 |
| 模型平台 | 双向 | 模型指标评估；衰减结论触发重训 |
| 授信额度与定价 | 下游 | 额度与定价策略的效果评估 |
| 贷中监控 | 下游 | 预警策略的命中率与误伤率评估 |
| 贷后催收 | 下游 | 分案与触达策略的回收率分析 |

## 八、常见坑

| 坑 | 后果 | 规避 |
| --- | --- | --- |
| 指标口径不统一 | 各说各话 | 指标字典 + 唯一口径 |
| 实验分流不随机 | 结论失真 | 哈希分桶 |
| 样本不足就下结论 | 误判 | 事前算样本量 |
| 只看短期指标 | 风险滞后爆发 | 等表现期 |
| 回测不做拒绝推断 | 高估效果 | 拒绝推断或小流量实验 |