📄 论文总结
Struct-Bench：用于评估差分隐私结构化文本生成数据的基准框架
Struct-Bench: A Benchmark Framework for Evaluating Differentially Private Structured Text Generation
1️⃣ 一句话总结
本研究提出了Struct-Bench，一个专门用于评估包含自然语言的结构化数据集在差分隐私合成数据生成中结构保持和语义质量的综合基准框架，并通过上下文无关文法（CFG）表示数据结构，引入了多种评估指标和基线方法。
2️⃣ 论文创新点
1. Struct-Bench评估框架
- 创新点是什么：首个全面评估包含自然语言的结构化差分隐私合成数据的基准，支持多种数据类型（如图结构、表格数据和可控合成数据）和评估指标。
- 与已有方法的区别/改进：解决了现有基准要么忽略数据结构，要么仅限于数值或分类数据类型的局限性，通过CFG统一表示数据结构并引入结构性和非结构性指标。
- 为什么有意义：为差分隐私合成数据生成领域提供了细粒度的算法进展信号，推动了针对结构化数据的研究。
2. 基于CFG的结构化表示与评估指标
- 创新点是什么：使用上下文无关文法（CFG）形式化定义数据集中的节点结构关系和约束，并基于此定义了CFG通过率（CFG-PR）等结构性指标。
- 与已有方法的区别/改进：相比上下文敏感文法（CSG），CFG更易于指定且不易出错，降低了领域专业知识需求。
- 为什么有意义：为结构化数据集提供了统一的形式化表示框架，并支持对生成数据语法正确性的量化评估。
3. 关键节点依赖（KND）与属性匹配度（AM）指标
- 创新点是什么：提出了KND指标，通过Wasserstein-2距离量化原始与合成数据中关键节点对嵌入相似性分布的差异，衡量节点依赖关系的保留程度；AM指标则分别使用Wasserstein-2距离（数值属性）和总变差距离（分类属性）衡量特定属性分布的差异。
- 与已有方法的区别/改进：专注于语义关键节点对的依赖关系，能更精确地评估合成数据在结构依赖性上的质量；根据属性类型自适应选择距离度量方法，提高了评估的准确性和适用性。
- 为什么有意义：为评估合成数据在复杂关系（如对话中的查询-回复对）的保真度提供了可量化的标准，增强了评估的语义相关性；提供了一种灵活且鲁棒的方法来评估合成数据在特定属性上的统计保真度，支持用户根据下游任务需求定制评估焦点。
4. 指令引导的条件生成改进DP微调
- 创新点是什么：在差分隐私微调（DP-FT）方法中引入指令引导的条件生成机制，形成Instruct DP-FT变体。
- 与已有方法的区别/改进：使得Instruct DP-FT在使用相同基础模型（如GPT-2）时，在多数性能指标上与Private Evolution (PE) 方法相当，且在CFG-PR上略有优势。
- 为什么有意义：提供了一种在不依赖大规模模型训练的情况下，通过指令微调提升差分隐私合成数据生成性能的有效途径。
5. LLM辅助的重新格式化与节点提取自动生成
- 创新点是什么：针对PE方法在保证生成样本结构有效性（CFG-PR低）和语义多样性（KNN-Recall低）方面的局限性，提出了两种改进方案：1）通过提示LLM显式检查和重新格式化不符合CFG结构的样本来提升CFG合规性；2）通过提取特定节点（如查询）进行空白填充，然后允许语言模型以较少语义约束自动生成剩余节点来提升多样性。
- 与已有方法的区别/改进：将CFG-PR提升了超过20%，特别是在投票后执行重新格式化的方法效果最佳；通过减少语义约束来提升生成样本的语义多样性。
- 为什么有意义：显著提高了生成样本的结构有效性，解决了vanilla PE无法捕获简单结构约束的问题；解决了vanilla PE在保持语义质量的同时牺牲多样性的问题，提高了KNN-Recall指标。
3️⃣ 主要结果与价值
实验结果亮点
- 在隐私预算ε=4下，对多种DP合成数据生成方法（IF, FT, DP-FT, PE）在多个数据集（ShareGPT, ICLR, Water, Arena, Adult等）上进行了基准测试，PE方法在多个数据集和指标上表现优于或与基线方法相当。
- 实验表明，现有方法在复杂数据结构学习上面临挑战，没有单一指标能全面衡量数据质量，且不同方法在结构学习和语义保持之间存在权衡。
- 使用前沿模型（如GPT-4o）能显著提升IF和PE的结构性指标（如CFG-PR），但在表格和合成数据集上的语义性能仍然较差（KNN-Recall接近0）。
- 结合Reformat和Extract Query的方法在CFG-PR（达94%）和多数语义及统计指标上表现最佳。
实际应用价值
- 为研究人员提供了标准化的评估平台，推动隐私保护合成数据生成方法的发展。
- 提出的改进方案（如指令引导的DP-FT、LLM辅助重新格式化）为使用更经济、更易得的基础模型（如Llama3-8B）生成结构有效的合成数据提供了可能，提高了方法的实用性和可访问性。
- 支持用户根据下游任务需求定制评估焦点，增强了基准的灵活性。
4️⃣ 术语表
- Struct-Bench：用于评估差分隐私结构化文本生成质量的复合基准和自动评估协议，特别针对包含自然语言的结构化数据集。
- Context-Free Grammar (CFG)：上下文无关文法，用于指定数据集中不同节点类别及其结构关系，以形式化表示数据集的结构约束。
- Differential Privacy (DP)：差分隐私，一种隐私保护技术，通过在数据中添加受控噪声来保护个体隐私。
- CFG Pass Rate (CFG-PR)：CFG通过率，一种结构性度量指标，用于评估合成数据集中符合给定CFG的样本比例，值越高表示结构有效性越好。
- Key Node Dependency (KND)：关键节点依赖度，一种评估指标，使用Wasserstein-2距离度量原始与合成数据中关键节点对嵌入（余弦相似度）分布的差异，量化节点依赖关系的保留程度。
- Attribute Match (AM)：属性匹配度，一种评估指标，使用Wasserstein-2距离（数值属性）或总变差距离（分类属性）度量原始与合成数据中给定属性分布的差异。
- Private Evolution (PE)：基于预训练基础模型的训练免费差分隐私合成数据生成算法，通过随机API和变异API迭代进行直方图构建、采样和变体生成。
- DP Fine-Tuning (DP-FT)：使用差分隐私随机梯度下降在下一词预测任务上微调语言模型的方法。
- TSTR：Train-Synthetic-Test-Real框架，使用合成数据训练模型并在真实数据测试集上评估预测准确率。
- KNN-Recall：基于K近邻的召回率指标，评估生成数据捕获私有数据集语义多样性的指标，值越高表示多样性越好。