科学家努力遏制机器学习带来社会不公平

马里奥·瓦格纳映射

2015年，一位忧心忡忡的父亲问了瑞玛·瓦希雅内森一个仍留在她记忆中的问题。当时，一小群人聚集在美国宾夕法尼亚州匹兹堡的地下室，听她谈论软件如何解决虐待儿童的问题。该地区的热线每天都接到几十个电话，声称儿童有危险。一些电话被呼叫中心工作人员标记为调查对象。然而，该系统无法找到所有虐待儿童的案例。瓦提阿内森和他的同事刚刚赢得了一份价值50万美元的合同，创造一种算法来帮助解决这个问题。[自然相关文章]

新西兰奥克兰科技大学社会数据分析中心的联合主任、健康经济学家瓦伊希亚森告诉观众该算法将如何工作。例如，包含家庭背景和犯罪记录的数据密集型培训工具可以在打电话时生成风险评分。这可能有助于筛查人员标记哪些家庭应该被调查。

在瓦希亚森邀请观众提问后，父亲站起来说话了。他说他曾与毒瘾作斗争，社会工作者过去曾把他的孩子从家里带走。但是他已经很长时间不吸毒了。如果用电脑来评估他的文件，他改变生活的努力会是没有意义的吗？换句话说:算法会不公平地评判他吗？

瓦希亚森向他保证，总会有人参与其中，所以他的努力不会被忽视。但是现在自动化工具已经部署好了，她仍然在考虑父亲的问题。计算机算法越来越多地被用来指导改变生活的决策，包括被指控犯罪后拘留谁，哪些家庭应该调查潜在的虐待儿童行为，以及被称为“预测性警务”的趋势，如警察应该关注哪些社区。这些工具被认为使决策更加一致、准确和严格。但在2016年，美国记者表示，评估未来犯罪活动风险的系统将歧视黑人被告。它潜在的不公平引起了警觉。监管是有限的:没有人知道这些工具有多少被使用。

公平交易

2016年5月，美国新闻网站ProPublica的一名记者报道说，佛罗里达州布劳沃德县的法官使用商业软件帮助决定被告是否应该在审判前获释。记者报道说，该软件对黑人被告有偏见。这个叫做COMPAS的工具产生的分数是用来衡量一个人在被释放后两年内再次犯罪的可能性。

ProPublica团队调查了数千名被告的COMPAS分数，这些分数是他们通过公开记录请求获得的。在对黑人和白人被告进行比较后，记者发现，一定比例的黑人被告是“假阳性”:他们被拉美竞争和消费者保护方案列为高风险，但随后没有被指控犯有另一项罪行。

该算法是由密歇根州一家名为Northpointe(现在俄亥俄州坎顿的Equivant)的公司开发的。该公司表示，COMPAS还擅长预测被列为高风险的白人或黑人被告是否会再次犯罪。匹兹堡卡内基梅隆大学的统计学家Alexandra Chouldechova很快发现，Northpointe和ProPublica的公平标准有冲突。预测奇偶性、相同的假阳性错误率和相同的假阴性错误率都是实现“公平”的途径，但如果两组之间存在差异，在统计上是不可能调和的，例如白人和黑人的再逮捕率。“你不能两样都有。如果你想在某一方面公平，那么在另一个听起来合理的定义下，你一定是不公平的。”伦敦大学学院负责机器学习的研究员迈克尔·维尔说。

事实上，从数学的角度来看，有更多的方法来定义公平:在今年2月的一次会议上，计算机科学家阿尔温德·纳拉亚南做了一份题为“公平的21种定义及其政治性质”的报告。他指出，还有其他方法来定义公平。包括乔尔达乔瓦在内的一些研究人员研究了普罗大众的案例，并表示不清楚不平等的错误率是否表明了偏见。斯坦福大学的计算机科学家沙拉德·戈埃尔说，他们反映了这样一个事实，即一个群体比另一个群体更难预测。"事实证明，这或多或少是一种统计上的人类现象."

虽然统计不平衡是一个问题，但算法中隐藏着更深层次的不公正，它们可能会加剧社会不公正。例如，像COMPAS这样的算法可能声称它们可以预测未来犯罪活动的可能性，但它只能依赖于可测量的代表，如逮捕。警察做法的改变意味着一些社区可能成为不成比例的目标，人们可能因在其他社区可能被忽视的罪行而被逮捕。"即使我们准确预测了一些事情，准确预测的事情也可能是不公正的强加的."华盛顿特区非营利社会正义组织“好转”的执行董事大卫·罗宾逊说。大多数情况下，这将取决于法官在多大程度上依赖这种算法来做出决策，但人们对此知之甚少。

透明度和局限性

尽管一些组织已经建立了自己的工具或者使用了商业软件，但是学术界仍然需要公共部门的算法。人们对透明度有很高的要求。纽约大学人工智能和社会影响研究中心“现在人工智能研究所”的联合创始人凯特·克劳福德说，当算法是“不允许对算法进行检查、评估或公开辩论的封闭循环”时，问题往往会加剧。然而，不清楚如何使算法更加开放。伊利诺伊州芝加哥大学数据科学和公共政策中心主任雷伊德·加尼(Rayid Ghani)表示，仅仅公布模型的所有参数并不能提供更多关于模型如何工作的信息。透明度也可能与隐私保护相冲突。在某些情况下，披露太多关于算法如何工作的信息可能会让人们对系统提出质疑。

Goel说，问责的一个主要障碍是机构通常不收集工具使用或性能的数据。“通常没有透明度，因为没有什么可以分享。”例如，加州立法机构有一份草案，呼吁使用风险评估工具来帮助减少被告支付保释金的频率，这种做法因惩罚低收入被告而受到批评。Goel希望该法案强制要求在法官不同意该工具的情况下收集每个案件的具体细节(包括结果)和其他信息。他说:“我们的目标是在维护公共安全的同时从根本上减少监禁，所以我们必须知道这是否有效。”

许多人希望法律能促进这些目标。纽约伊萨卡康奈尔大学的人工智能伦理和政策研究员梭伦·巴罗卡斯说，这是一个先例。在美国，一些消费者保护法规允许公民在对自己的信用做出不利判断时进行解释。Veale说，在法国，早在20世纪70年代，立法就赋予公民解释的权利和质疑自动决策的能力。

最大的考验是将于5月25日生效的欧洲通用数据保护条例(GDPR)。一些规定似乎促进了算法的可问责性。但牛津互联网研究所的数据伦理学家布伦特·密特斯塔德(Brent Mittelstadt)表示，GDPR实际上可能会为那些希望评估公平性的人设立一个“法律雷区”，从而阻碍其发展。测试一个算法在某些方面是否有偏见的最好方法是了解进入系统的人的相关属性，比如它是否倾向于支持一个种族而不是另一个种族。

审计公式

与此同时，研究人员正在推动尚未被公众公开监控的算法偏差的策略检测。巴罗卡斯说，企业可能不想讨论如何解决公平问题，因为这意味着他们必须承认从一开始就存在问题。他说，即使他们这样做了，他们的行动只能改善而不能消除偏见。"因此，任何关于这个问题的公开声明将不可避免地承认这个问题仍然存在."最近几个月，微软和脸书都宣布开发检测偏见的工具。

一些研究人员已经开始呼吁在刑事司法应用和其他领域后退一步，超越预测算法的建立。例如，一个工具可以很好地预测谁不会出庭。然而，最好是问为什么人们不出庭，也许可以设计一些干预措施，如短信提醒或交通援助，这可能会增加人们出庭率。“这些工具通常可以帮助我们解决边缘问题，但我们需要的是彻底的改变。”纽约大学法学院民权律师和种族正义倡导者文森特·索瑟兰德说。他说，这意味着关于算法的激烈辩论“迫使我们所有人去问和回答关于我们使用的系统和它如何工作的非常棘手的基本问题。”

瓦西阿内森看到了构建更好算法的价值，即使他们嵌入的整个系统有缺陷。"换句话说，该算法不能被直升机投放到这些复杂的系统中."她说，“他们必须在有更广泛背景的人的帮助下运作。”但是即使是最好的算法也会面临挑战，所以在没有直接答案和完美解决方案的情况下，透明是最好的策略。“我总是说，如果你做得不对，就要诚实。”(晋南编)

中国科学新闻(2018-08-21，第三版国际)