“黑匣子”不再：该系统可以发现这些算法中的偏差

在Facebook的趋势竞争中与美国法律制度的“风险评估”分数在处理刑事被告方面的争议之间，对刑事被告的竞争算法可能从未更广泛地兴趣，这些算法正在为我们的生活做出决定。

那个神秘可能不会持续得多。来自卡内基梅隆大学的研究人员本周宣布，他们开发了一种帮助揭示可以在这些决策工具中编码的偏差的方法。

机器学习算法Don“T即可推动我们在Netflix或亚马逊上看到的个人建议。他们越来越多地在信用，医疗保健和工作机会的决定中发挥关键作用。

到目前为止，他们仍然很大程度上是模糊的，促使越来越多的声乐呼吁被称为算法透明度的什么，或者开放驱动该决策的规则。

一些公司已开始提供透明度报告，以试图在此事上揭示一些灯光。例如，可以响应特定事件而生成此类报告 - 例如，为什么拒绝纯粹的贷款申请。他们也可以通过组织主动使用，看看人工智能系统是否根据需要工作，或由监管机构看出决策系统是否是歧视性的。

但根据计算机科学和电气计算机工程学和电脑工程学副教授的互素Datta，根据Anupam Datta的说法，在这些报告的计算基础上有限。“我们的目标是制定系统考虑的每个因素的影响程度，”Datta说。

CMU的定量输入影响（QII）措施可以揭示一个算法的最终决策中每个因素的相对重量，导致比以前可能的更好的透明度。这篇关于这项工作的论文是本周在IEEE安全和隐私讨论中提出的。

在这里，一个情况的一个例子，其中一个算法的决策可能是模糊的：招聘工作能力举重的能力是一个重要因素。那个因素与被雇用呈正相关，但它也与性别呈正相关。问题是哪个因素 - 性别或举重能力 - 是公司使用招聘决策的问题？答案具有实质性的影响，以确定它是否参与歧视。

为了回答这个问题，CMU的系统在允许性别变化时保持举重能力，从而在决策中揭示了任何基于性别的偏见。邱措施还规定了一套投入对结果的联合影响 - 例如 - 以及每个人的边际影响。

“为了了解这些影响措施，考虑美国总统大选，”CMU“计算机科学部门的博士后研究员Yair Zick说。“加州和德克萨斯州有影响，因为他们有很多选民，而宾夕法尼亚州和俄亥俄州有权力，因为它们通常是挥杆状态。我们雇用两种权力所雇用的影响汇总措施。“

研究人员对某些标准机器学习算法进行了测试的方法，它们用于在真实数据集上培训决策系统。他们发现，齐均提供了比标准联想措施更好地解释了一系列情景，包括预测政策和收入估计。

接下来，他们希望与工业合作伙伴合作，以便他们可以在运营机器学习系统上以规模雇用齐。