Google的MinDiff旨在减轻分类器中的不公平偏见

谷歌今天发布了MinDiff，这是一个新的框架，用于减轻(但不能消除)训练AI和机器学习模型时的不公平偏见。该公司表示，MinDiff是多年工作的高潮，已经被整合到各种Google产品中，包括适度内容质量的模型。

分类的任务涉及将数据分类为标记的类别，因此容易对模型训练数据集中代表性不足的组产生偏见。用来衡量这种偏见的最常见指标之一是机会均等，它旨在最大程度地减少不同群体之间误报率的差异。但是，由于有关人口统计的数据稀少，去偏差工具的直觉性质以及不可接受的精度折衷，通常很难达到平衡。

MinDiff利用过程中的方法，其中以消除偏见为目标的模型增强了模型的训练目标。然后，在具有已知人口统计信息的少量数据样本上优化此新目标。给定两片数据，MinDiff会对模型进行惩罚，以惩罚两组之间得分分布的差异，以便在模型训练时，它将尝试通过使分布更接近来最小化损失。

为了提高易用性，Google的研究人员从对抗训练转向正则化框架，该框架对无害示例的预测和人口统计信息之间的统计依赖性进行了惩罚。这鼓励模型在所有组之间均衡错误率。

MinDiff最小化了预测与人口统计组之间的相关性，即使以后的分布有所不同，这也会微调各组预测的平均值和方差相等。它还考虑了最大平均差异损失，Google声称它可以更好地消除偏差并保持模型准确性。

谷歌表示，MinDiff是适用于不同用例的更大的“模型补救库”技术中的第一个。Google高级软件工程师Flavien Prost和员工研究科学家Alex Beutel在博客中写道：“分类器错误率的差距是要解决的一组重要的不公平偏见，但并不是唯一的一种。”“对于机器学习的研究人员和从业人员，我们希望这项工作可以进一步推进研究，以解决更广泛的不公平偏见，并开发可用于实际应用的方法。”

Google以前开源了ML-fairness-gym，这是一组用于在模拟的社交环境中评估算法公平性的组件。该公司套件中的其他模型消除偏差和公平性工具包括假设工具(What-If Tool)，用于其TensorFlow机器学习框架的TensorBoard Web仪表板的偏差检测功能以及旨在为部署AI的企业增加一层质量保证的问责框架楷模。