您当前所在的位置:   
  1. 首页
  2. 新闻
  3. 英国

英国呼吁对考虑年龄因素的福利筛选系统进行法律审查

2021年07月29日 10:43
(作者:英国华商报)

近日,一个自动系统的出现引发了对该系统是否合法的审查呼吁,该系统会对福利申请人进行欺诈或错误的行为迹象进行筛查,同时其判断部分是基于申请人的年龄。

英国科技公司Xantura向约80个地方议会提供“基于风险的验证筛查”,并已经评估了数十万申请者。该公司此前表示,它没有向其算法中加入任何受反歧视法保护的信息。

然而,Xantura的首席执行官瓦吉德·沙菲克Wajid Shafiq)近期承认,该系统衡量的是申请人的年龄,这意味着基于这种特征而对某些人不利的筛选等同于直接歧视,可能是违法的。

公民自由运动组织Big Brother Watch根据《信息自由法》(Freedom of Information Act)获得了一份文件,让人们得以一窥Xantura的系统是如何运作的。

它会自动风险较高的住房和市政税福利申请人进行更严格的检查,这可能导致相关决定的延迟,同时还加快了所谓低风险申请者的申请进度。

Xantura坚称,使用年龄有助于减少欺诈和错误,加快大多数申请的速度,并且没有违反《平等法》(Equality Act),它援引了法律允许金融服务提供商考虑年龄的例子。但是活动人士呼吁对其进行更严格的审查。

公布给BBW的文件显示,Xantura处理了有关人们居住地点的数据,包括他们所在社区的种族比例、性别和家庭状况。

性别和种族是受保护的特征,但沙菲克说,“除了年龄,它不会使用任何其他受保护的特征。”他说,关于社区和性别的信息只是在做出决定后用来检查系统是否以有偏见的方式运行。

他拒绝证实还有哪些个人信息被包含在算法中,称这可能会让申请人利用系统进行博弈,但他表示,申请人所提供的信息被用于防止欺诈和错误。

当被问及该算法预测的是老年人还是年轻人更有可能进行欺诈时,他回答说:“这没那么简单。它是一个多变量模型,需要各种因素才能产生错误的欺诈或索赔申请。”

他之前曾说过:“RBV模型中没有使用受保护的特征。”

Xantura是帮助福利系统自动化的几家公司之一,但“福利机器人”的运作一直处于保密状态。申请者没有被告知他们的申请如何受到算法决策的影响,目前人们越来越担心相关影响。

根据发布给《BBW》的文件显示,Xantura在2012年的一份机密“模型概述”中表示,“被认为在统计上具有显著特征意义”的变量包括一个人所居住的地区类型,在很大程度上反映了其种族构成。当时,英国国家统计局(Office for National statistics)定义的这些群体包括“种族中心”(ethnicity central),以描述典型的非白人多于英国平均水平的地区,“尤其是混合种族或黑人”。

萨尔福德市议会发布了2017年RBV“用户指南”,该指南由Xantura的商业伙伴Northgate撰写,其列出了66条“Xantura要求的特定数据”用于计算包括性别、年龄和残疾在内的风险评分。

沙菲克表示,“这些文件的书写方式存在一个错误”,并不是所有这些因素都被用来确定申请人所构成的风险。

“这是RBV系统和模式之间的区别,这种区别需要在这些文件中更加明确,这是一种误解。”

Xantura的一些当地政府客户在公开文件中表示,他们认为该系统不会产生“平等问题”,因为它没有使用受保护的特征,如性别、种族和残疾。Xantura为客户委员会提供了一个将RBV政策落实到模板的草案,包括绩效报告和签字。

沙菲克说:“根据我们的经验,我们的客户在制定自己的政策时会使用我们的政策草案。”

“我们有责任防止欺诈和错误,”他说。“如果地方当局认为我们不应该在建模过程中使用年龄,我们可以去掉它。”

BBW的研究和调查主管杰克·赫夫特(Jake Hurfurt)说:“数十个地方政府在没有考虑这些算法造成歧视的风险情况下放弃了RBV政策,没有人知道这些算法可能造成的损害,因为偏见和歧视没有受到监督。”

安迪米切尔Andy Mitchell)负责帮助人们申请福利,他说:“所有成为易受打击的群体包括社会上最贫穷的和没有发言权的人都会再次受到这些算法的打击。”

经营AI法律咨询公司(AI Law Consultancy)的律师罗宾•艾伦(Robin Allen QC)表示:“利用受保护的年龄特征来暗示谁可能在欺骗福利体系,这种做法不太可能合法。”年龄并不是诚实的代名词,通常也不应该被当作诚实的代名词。”

沙菲克为该系统辩护说:“我们使用年龄是完全合适的,我们使用其他方面的数据也是完全合适的,因为申请人提供的所有数据都可以用于防止欺诈和错误。”

Northgate是日本科技巨头NEC的一部分,Xantura的产品整合了其收入和福利系统。NEC软件公司表示:“我们没有以任何方式参与这些标准的制定。” 

来源:《卫报》

你需要登录/注册才能发表评论
爆料
Copyright 1998-2019 英国华商报 All Rights Reserved     关于我们     联系我们