将交叉框架应用于AI开发的技巧

到目前为止，我们大多数技术人员都知道，人类所固有的固有偏见会在AI应用程序中造成固有的偏见-如此复杂的应用程序能够改变我们日常生活的本质，甚至影响我们的决策。

越来越流行和强大的AI系统，行业必须尽快解决以下问题：我们该怎么做才能摆脱使用表现出不公正偏见的AI / ML模型?

我们如何应用交叉框架为所有人构建AI，同时又要知道不同的人会根据其所拥有的身份认同受到AI的影响并以不同的方式与之交互?

交叉性：含义和重要性

在解决棘手的问题之前，重要的是退后一步并定义“交叉点”。由KimberléCrenshaw定义的一个术语，它使我们能够考虑某个人的独特身份如何聚集在一起并塑造他们在世界上的体验和感知方式。

这包括与每个不同身份相关联的由此产生的偏见和特权。我们中的许多人可能拥有不止一个边缘化的身份，因此，我们熟悉当这些身份相互叠加时发生的复合效应。

在全球最大的LGBTQ青少年自杀预防和危机干预组织The Trevor Project上，我们的主要使命是为每个需要LGBTQ青年的人提供支持，我们知道那些跨性别，非二元和/或黑人的人，土著和有色人种面临着独特的压力和挑战。

因此，当我们的技术团队着手开发人工智能以服务于这个多元化社区并在其中存在时(即更好地评估自杀风险并提供始终如一的高质量护理)，我们必须避免产生会加重现有心理障碍的结果健康资源，例如缺乏文化能力或不公正的偏见，例如根据所提供的联系信息假设某人的性别。

尽管我们的组织服务于特别多样化的人群，但潜在的偏见可能在任何情况下都存在，并对任何人群产生负面影响。因此，所有技术团队都可以并且应该渴望建立公平的，交叉的AI模型，因为交叉性是培育包容性社区和构建更有效地为各个背景的人服务的工具的关键。

这样做首先要确定将与您的模型交互的各种声音，以及这些各种身份重叠的组。定义要解决的机会是第一步，因为一旦您了解了受问题影响的人，就可以找到解决方案。接下来，绘制端到端的体验之旅，以了解这些人与模型进行交互的点。从那里开始，每个组织，初创企业和企业都可以采用策略，将交叉性编织到AI开发的每个阶段-从培训到评估再到反馈。

数据集和培训

模型输出的质量取决于对其进行训练的数据。由于数据集的收集，度量和注释的性质，它们可能包含固有的偏差-所有这些都源于人类决策。例如，一项2019年的研究发现，医疗保健风险预测算法表现出种族偏见，因为它依靠错误的数据集来确定需求。结果，与白人患者相比，合格的黑人患者获得的风险评分较低，最终使他们不太可能被选择进行高风险的护理管理。

通过在反映将与该模型进行交互的人员的数据集上训练模型来构建公平系统。这也意味着识别出数据中可能存在服务不足人群的空白。但是，关于代表边缘化人群的整体数据缺乏的讨论更多，这是一个系统性的问题，必须这样解决，因为数据的稀疏性会掩盖系统是否公平以及代表性不足的群体的需求是否正在得到满足。遇见。

要开始为您的组织进行分析，请考虑数据的大小和来源，以识别出哪些偏差，偏斜或错误是内在的，以及今后如何改进数据。

当组织定义时，也可以通过放大或增强特定的交叉数据输入来解决数据集中的偏差问题。尽早执行此操作将告知模型的训练公式，并帮助您的系统保持尽可能的客观性-否则，可能会无意中优化您的训练公式以产生无关的结果。

在Trevor项目中，我们可能需要放大来自人口统计学的信号，而我们所知道的信号却成比例地增加了，他们发现很难获得心理健康服务，或者对于那些与其他群体相比数据样本量较小的人口统计学而言。没有这一关键步骤，我们的模型可能会产生与用户无关的结果。

评价

模型评估是一个持续的过程，可帮助组织应对不断变化的环境。评估公平性始于一个单一的维度，例如种族，性别或种族。科技行业的下一步是弄清楚如何最好地比较交叉分组以评估所有身份之间的公平性。

为了衡量公平性，请尝试定义可能处于不利地位的交叉组和可能具有优势的交叉组，然后检查某些度量标准(例如，假阴性率)是否有所不同。这些不一致告诉您什么?您还能如何进一步检查系统中哪些组的代表性不足?为什么?这些是在开发的这个阶段要问的问题。

从一开始就根据人口统计数据开发和监视模型是组织实现公平并减轻不公平偏见的最佳方法。根据评估结果，下一步可能是有目的地过度利用统计学上代表性不足的群体，以促进训练将不公平偏见最小化的模型。由于算法可能由于社会条件而缺乏公正性，因此从一开始就设计公平性有助于确保对所有个人群体的平等对待。

反馈与合作

团队还应该有一群人参与开发和审查AI产品，这些人不仅在身份，技能，在产品上的接触，多年的经验等方面也各不相同。咨询利益相关者和受系统影响的利益相关者，以发现问题和偏见。

头脑风暴解决方案时依靠工程师。为了定义交叉分组，在Trevor项目中，我们与最接近危机干预计划的团队以及使用它们的人员一起工作，例如研究，危机服务和技术。并与利益相关者和与系统进行交互的人员联系，以在启动时收集反馈。

最终，没有一种“一刀切”的方法来构建交叉AI。在Trevor项目中，我们的团队基于我们的工作，今天的了解以及我们所服务的特定社区概述了一种方法。这不是静态的方法，随着我们了解更多，我们仍然会不断发展。尽管其他组织可能会采用不同的方法来构建交叉AI，但我们所有人都有道德责任来构建更公平的AI系统，因为AI有权强调(更糟是放大)社会中存在的不公平偏见。

根据存在AI系统的用例和社区，某些偏见的放大可能会给可能已经面临边缘化的人群带来不利的后果。同时，通过交叉框架开发时，人工智能还能够改善所有人的生活质量。在Trevor项目中，我们强烈鼓励技术团队，领域专家和决策者深入思考，以编纂一套指导原则以引发整个行业的变革，并确保未来的AI模型能够反映他们所服务的社区。