K16
SHAP 与 LIME 特征归因分歧的决定因素——模型类别、特征相关性与维度的受控扫描及可操作判据
1 · 研究问题
Krishna 等（2022）记录了 SHAP 与 LIME 等归因方法的「分歧问题」（disagreement problem），但未回答：分歧度能否由数据与模型的可测性质（特征相关性结构、维度、模型非线性度）系统预测？能否给出使用者可在拿到数据时就计算的「分歧风险判据」？
2 · 研究背景与空白
事后归因方法（post-hoc attribution）中 SHAP 基于 Shapley 值、LIME 基于局部线性代理，是表格数据可解释性的两大默认选择。Krishna 等（arXiv:2202.01602）定义了 top-k 重合率、秩相关等分歧度量，在真实数据上证明分歧普遍且实践者无所适从；后续跨域比较（2024–2025）发现一致性「依数据集而异」，但均为观察性描述。
空白在：没有工作用受控合成数据系统扫描「什么因素以多大效应量放大分歧」并在真实数据上验证判据——这是从「现象记录」到「机制与预测」的一步。全部计算为 TreeSHAP（精确、秒级）与 LIME 重复运行，纯 CPU 数十小时内完成；交付物是测量与判据，结构性绕开算力墙。
3 · 可检验假设
- H1：特征两两相关系数均值 ρ 从 0 升到 0.8 时，SHAP–LIME 的 top-5 重合率单调下降且降幅 ≥30 个百分点（合成数据，控制其他因素）。
- H2：由（ρ、维度 d、模型测试精度、非线性度代理）四个可测量构成的回归模型，能在留出的真实数据集上预测分歧度，R² ≥ 0.4；若 R² < 0.2，则结论转为「分歧主要由方法内在随机性驱动」——负结论同样有效。
4 · 量化验收标准
- 方法学校验（硬门槛）：其一，在可解析求解的线性模型 + 独立特征场景下，自建管线算出的 SHAP 值与解析 Shapley 值偏差 ≤1%；其二，重现 Krishna et al. 开源代码在其一个公开数据集上的分歧度量数字，偏差 ≤5%。不过关则后续全部结论无效。
- 统计口径预先写死：分歧度量三件套预登记——top-k 重合率（k=3,5）、Spearman 秩相关、符号一致率；LIME 每实例重复 10 次报均值 ± 标准差（其采样随机性必须与「方法间分歧」显式分离并分别量化）。
- 合成数据因子设计：ρ ∈ {0, 0.2, 0.4, 0.6, 0.8} × d ∈ {10, 30, 100} × 3 类模型（logistic / 随机森林 / 梯度提升），每格 10 个数据种子。
- 真实数据验证 ≥8 个 OpenML 公开表格数据集，判据回归用留一数据集交叉验证。
- 效应量全部给自助 95% 置信区间。
- 全部代码与合成数据生成器开源，一键重跑。
5 · 数据与工具
| 用途 | 来源 / 工具 |
|---|---|
| 合成数据 | 自建生成器（多元高斯 + 可控非线性响应面）——生成器本身是项目交付物之一 |
| 真实数据 | OpenML CC-18 中选 ≥8 个表格数据集（openml.org API 下载）——仅作输入，不计入本项目数据贡献 |
| 归因实现 | shap 库（TreeSHAP 精确路径，秒级）、lime 库；KernelSHAP 高维慢——d=100 时需核实单实例耗时，超 30 秒则该格只用 TreeSHAP |
| 校验对照 | Krishna et al. 2022 开源代码与线性模型解析 Shapley 值——仅用于校验，不计入贡献 |
| 算力量级 | 全项目估计 <40 CPU 小时（LIME 重复是大头），过夜分批 |
6 · 方法路径
- 装环境，完成解析校验与 Krishna 复现双硬门槛。
- 实现合成数据生成器，验证生成的相关结构与设定一致（Frobenius 偏差 ≤5%）。
- 跑合成因子全网格，分离「方法间分歧」与「LIME 内在方差」两个成分。
- 对每个因素拟合分歧度响应曲线（H1），给置信带。
- 在真实数据集上计算同套度量与四个预测量，拟合并交叉验证判据（H2）。
- 写出可操作判据卡（给定新数据集 5 分钟内可算的分歧风险评分）。
- 交叉校验：TreeSHAP 与暴力枚举 Shapley（d ≤ 12 的子问题）互核。
7 · 新颖性边界
- 本课题不声称提出新归因方法；分歧现象本身由 Krishna et al. (2022) 发表，不得声称为本项目发现。
- 已有工作：Krishna 2022 给出度量与实践者访谈；跨域比较（JAIC 2025 等）报告了「数据依赖性」的观察；2603.15821 从假设类角度做了理论分析但无受控实验扫描。
- 本项目贡献（主结论）：受控合成扫描给出各因素对分歧的效应量排序 + 在真实数据上验证过的分歧风险判据。
- 价值：把「方法会分歧」升级为「什么时候会分歧、可提前多少预知」，对使用者可直接操作；H2 失败的负结论（分歧不可预测）也界定了该问题的界限。
8 · 决策门槛（go / no-go）
- 第 3 周末：双硬门槛完成；解析校验不过 → 说明对库的理解有误，禁止进入扫描阶段，排查至通过为止（此项无降级）。
- 第 10 周末：合成扫描中若 LIME 内在方差 > 方法间分歧的 2 倍 → 具名降级：把课题重心改为「LIME 采样方差的决定因素与稳定化代价」，度量与因子设计全部沿用，主结论框架（可测因素 → 解释不可靠性）不变。
- 第 28 周：真实数据判据 R² < 0.2 → 按 H2 预案以负结论成文，并给出功效分析证明有能力检出 R² ≥ 0.4。
- 预算裁剪顺序：先砍 d=100 档，再砍真实数据集至 6 个；LIME 重复次数下限 5。