性代词指代她,尽管文中出现了像profesora(女教授)这类明显指代女性的术语。[43]谷歌翻译还在将土耳其语译成英语时,赋予了原本性别中立的句子刻板成见的意味。Obirdoktor的意思是“她/他是一个医生”,但被翻译成“他是一个医生”,而Obirhemsire(意思是“她/他是一个护士”)被译成“她是一个护士”。研究人员发现,翻译软件在将芬兰语、爱沙尼亚语、匈牙利语和波斯语译成英语时,也出现了同样的现象。
好消息是我们现在有了这些数据——但程序员们是否会用这些数据来修正他们偏向男性的算法还有待观察。我们希望他们会,因为机器不仅能反映我们的偏见,有时还会放大它们——而且是大幅放大。2017年的图像研究显示,女性出现在烹饪相关图片中的可能性至少比男性高33%,但以这个数据集为基础训练的算法将厨房图片与女性联系起来的概率是68%。这篇论文还发现,原始偏差越大,放大效应就越强,这或许可以解释为什么该算法会将一张站在烤炉前的肥胖秃顶男子的照片标记为女性。因为厨房>男士脱发。
斯坦福大学生物医学科学助理教授詹姆斯·邹解释了这一点的重要性。他举了一个例子,有人在一个程序上搜索“计算机程序员”,该程序受过数据集的训练,而数据集里这个词与男性的关联度高于女性。[44]该算法便可能认为男性程序员开发的网站比女性程序员的更重要——“即使这两个网站完全一样,除了开发者的名字和性别代词”。因此,一个偏向男性的算法如果以有性别数据缺口的语料库为基础进行训练,真的能让女性失业。
但网络搜索还只是触及了算法如何指导决策的表面。据《卫报》报道,全美国72%的简历从未经过真人阅读,[45]而机器人已经参与到面试过程中,它们的算法依据“表现优异员工”的姿势、面部表情和声调进行过训练。[46]听起来好像很厉害——直到你开始考虑潜在的数据缺口:程序员能否确保这些表现优异的员工具有性别和族裔多样性?如果不能,算法能否考虑到这一点?该算法是否经过训练,能够考虑到声调和面部表情的社会化性别差异?我们并不知道答案,因为开发这些产品的公司并不分享他们的算法——但让我们面对现实吧,根据现有的证据,这似乎不太可能。
人工智能系统也已被引入医疗领域,用以指导诊断——尽管这最终可能成为医疗保健的福音,但它目前给人