论文日报 | GraphLeak：患者记录的知识图谱梯度泄漏

医疗数据就像一座座孤岛，散落在各家医院。出于安全和隐私的考量，几乎不可能把这些数据归拢到一处、训练一个统一的模型。所以，在当下的医疗系统中，多节点机器学习成为模型训练的主流方案。

问题在于，分布式训练依赖梯度交换，而梯度恰恰是隐私泄露的“漏洞”。已经有研究证明，恶意攻击者可以利用公开共享的梯度，反向恢复出用户的敏感数据——这对电子健康记录（EHR）这种极端私密的数据来说，是个相当严峻的隐患。

过去的一些梯度攻击方法，在训练数据量增大时，效果会急剧下降，以至于实际威胁并不算大。但这次的研究发现，借助医学知识图谱这类先验知识，泄漏的风险可以被显著放大。换句话说，这不是个小修补——它可能从根本上改变威胁评估的格局。

直接说结论：这篇论文提出的GraphLeak，把医学知识图嵌入到梯度泄漏攻击中，即使是在大批量数据下，依然能大幅提升攻击的恢复效果。研究团队在eICU和MIMIC-III两个真实电子医疗记录数据集上做了验证，结果达到了目前最先进的攻击性能。

1 引言

过去二十年，医院积累的临床数据越来越多，包括HIS里的电子健康记录、LIS里的检验结果、PACS里的医学影像。基于这些数据训练的监督模型，可以服务于疾病预测、用药推荐、报告生成等多种临床应用。

但数据分散在各地，没办法简单聚合。于是，分布式训练成了一个务实的选择——多个设备或机构之间通过交换梯度来协作训练一个共享模型。这样，不同医院既能联手提升模型性能，又不需要直接暴露患者的原始数据。

不过，风险也藏在这套机制里。一个“诚实但好奇”的攻击者，可以潜伏在中央服务器或某个节点上，偷偷获取目标用户的梯度，然后借助特定的攻击算法，逐步还原出用户的私有数据。这在理论上成立，但现实中的威胁到底有多大？想想看，分布式系统里的每个节点可能都是一家大型医院，一个batch里装着成千上万条患者记录。这种情况下，想让基于优化的梯度攻击或基于递归的梯度攻击真正奏效，难度相当高。

说白了，光靠梯度泄漏恢复患者隐私数据，几乎不可能。

那么，有没有办法“撬开”这扇门？GraphLeak的思路是：把图结构的先验知识融合进梯度泄漏算法。核心是构建一个共现频率矩阵——从训练集中统计出哪些疾病、药物、手术之间经常一起出现。这个矩阵被用作正则化项，用来降低优化难度。从博弈论的视角看，可以把患者看作是可能的“联盟”，知识图谱在采样训练对时充当了一种常识性分布。文章还用Banzhaf交互分数的方差，从理论上解释了GraphLeak的损失函数为什么有效。

效果呢？GraphLeak在性能上有了实质性提升，让梯度攻击在现实场景下，即使是处理大批量训练数据，也变得更加实用和有效。

直接总结这篇文章的贡献：

• 首次把医学知识引入梯度攻击，提出GraphLeak，大幅提升数据恢复精度，尤其在大批量场景下表现突出；
• 用Banzhaf交互分数给出了优化目标的理论基础，证明博弈论分析与损失设计是一致的；
• 在eICU和MIMIC-III上用多种模型做了大量实验，验证了方法在药物推荐和住院死亡率预测任务上的有效性。

2 模型

GraphLeak的框架分为两大部分：上半部分是标准的前向训练流程，下半部分则是梯度攻击的过程。整个成本的大小由Banzhaf交互分数决定——这个分数来自隐蔽数据中元素的知识图谱统计。分数越高，攻击的成本反而越低。

3 实验

实验部分用了两个经典数据集：MIMIC-III和eICU。评价指标是AUC。参与对比的基线方法包括TopK、DLG、TAG和iDLG。

先看eICU上的结果。图3展示了不同攻击算法在不同batch size下的AUC表现。当batch比较小的时候，DLG和TAG效果都不错，远超TopK基线。但随着batch size增大（超过4），这些方法的AUC迅速下降，甚至接近随机猜测。而GraphLeak借助知识图谱的加持，数据恢复性能一直保持在高位。

MIMIC-III的情况稍有不同。训练数据包含诊断和手术两部分，所以恢复结果也分开计算，分别列在表3和表4里。图4给出了AUC的整体变化趋势。很明显，用数据构建的知识图谱成了缓解batch size增长带来性能下降的有效武器。相比其他基线方法，在处理大批量数据时，GraphLeak的优势非常突出。更多细粒度的实验结果可以在附录B里找到。

还有一个值得关注的实验：在实际分布式训练场景中，攻击者并没有整个数据集，但可能拥有一个同分布的子数据集。如果只靠一小部分数据构建的知识图谱就能显著提升DLG的性能，那威胁等级就完全不同了。图5对比了使用不同规模数据构建图谱后的实验效果。

结果很有意思。不管是eICU还是MIMIC-III，都验证了一个结论：只用5%的数据构建知识图谱，效果就已经和用整个数据集差不多。需要强调的是，这里构建图谱所用的训练数据，跟攻击目标数据之间完全没有重叠。而且，图谱只需要疾病、手术和药物之间的整体共现统计信息，不需要任何关于具体患者的数据。

这个发现其实挺有冲击力的：从有限数据中统计出来的共现信息，就足以帮助优化器在处理大量训练数据时找准方向。这意味着，一旦这种方法被应用于离散数据，DLG类攻击的威胁会被显著放大。

4 结论

这项工作的核心是提出了一种增强梯度攻击的新方法，在诚实但好奇的设定下，利用共现矩阵的先验知识提升EHR数据的恢复效果。GraphLeak借助医学知识图谱和易于实现的协作训练配置，取得了显著成果。研究团队在公开EHR数据库上做了全面评估，攻击了主流架构。实证结果清楚地表明，GraphLeak超越了已有工作，尤其是在大批量场景下。

与其它泄漏方法不同，GraphLeak能够构建离散数据之间的关联，核心机制就是统计各类特征的共现频率，进而生成知识图谱。最终，通过将嵌入分组到桶里，实现数据的恢复。