机器越来越聪明,但为何机器自动化失败的责任都是人类?

洞察

几年前,科技媒体在围绕自动驾驶可能面临的法律问题时,曾提出一个命题:当一辆完全自动驾驶的汽车撞向行人,那么应该由谁来承担责任?汽车制造商?汽车自动驾驶方案提供商?汽车激光雷达(摄像头)提供商?

2018 年 3 月 18 日晚间,Uber 的自动驾驶测试车辆在亚利桑那发生了一起交通事故。根据当时的视频显示,汽车在经过一个没有信号灯的三岔路口时,对向和路口都没有看到车辆和行人,因此车辆没有减速迹象。但突然,49 岁的 Elaine Herzberg 推着自行车横穿马路,出现在车辆前面,最后导致悲剧发生。

此事引发的讨论非常广泛。从技术难题到法律争议,而在差不多一年后,亚利桑那州检察机构做出了判定:Uber 在此事中不必承担刑事责任。

img

但值得玩味的是,这起全球第一例自动驾驶致死案里的另一位主角——当时 Uber 自动驾驶测试车辆中的司机(安全驾驶员)却受到了「重点关注」。根据亚利桑那州检察机构的说明,事故视频可能没有准确地描述车祸过程,因此 Uber 不担刑责。但检察官同时建议,当地警方对 Uber 的安全驾驶员进行额外调查,因为车祸发生时,车内的安全驾驶员正在用手机观看《美国好声音》。

类似的事件也发生在本月的一起自动化算法导致投资失败的法律诉讼里。Bloomberg 的一篇报道指出,一位名叫 Samathur Li 的香港富翁起诉向其推销自动化交易算法的销售人员,这位富翁因为这个算法,损失了超过 2000 万美元。

根据 Bloomberg 的报道,这位香港富翁使用的自动化算法由一家来自奥地利的 AI 创业公司 42.cx 开发,它通过整合实时新闻和社交媒体信息,在综合信息的同时还可以评估投资者的情绪(通过语言反应出的积极还是消极),从而建立一个预测美国股票期货的模型,然后将预测结果发给股票经纪人执行交易。

但 Li 很快发现,该算法在决策上相当糟糕,仅在 2018 年 2 月的一次错误操作里,单日损失就超过 2000 万美元。因此,Li 以涉嫌夸大自动化机器的能力而导致巨额损失而起诉了这位销售以及其背后的公司。

两个事件里,当无法追究自动化算法的责任时,离自动化算法最近的那个人也就成了众矢之的。

对此,长期关注数据文化的人类学家 Madeleine Clare Elish 在其最新的一篇论文里给出了解释。

Elish 将 2009 年法航 447 航班坠机放在一起对比。这起事件的核心是,该飞机被设计成一个完全万无一失的自动化系统,能够处理几乎所有场景,这也和 Uber 的自动驾驶汽车颇为类似。但不幸的是,这架飞机在大约一个半小时自动飞行后,飞机的空速传感器由于结冰而停止工作。 在自动驾驶系统将控制权交还给飞行员之后,混乱和误传导致飞机失速,最终飞机坠入大海,机上所有乘客全部遇难。

Elish 认为,官方对于这起事故的调查结论相当明确,糟糕的系统设计和飞行员训练不足是主要原因。但对公众而言,相对于复杂的自动化机器运行原理的描述,责怪那个距离自动化机器最近的那个人——飞行员——显然是一件简单的事情。

在其他案例研究中,Elish 发现了同样的模式:即使在高度自动化的系统中,人类对其行为的控制有限,他们的责任仍然首当其冲。

Elish 认为这是一个「moral crumple zone(道德崩溃区域)」,她这样写道:

While the crumple zone in a car is meant to protect the human driver, the moral crumple zone protects the integrity of the technological system, at the expense of the nearest human operator.

这个过程里,人类就像是「责任海绵」,无论是有意还是无意,无论是否真的具备控制能力,人类都在算法事故里承担所有的法律和道德责任。

这样的认知和思维模式已经成为当下界定自动化事故的主流,Uber 车祸、自动化算法投资失败的反应便是如此,我也相信,未来一段时间,类似这样的争议还有很多。当自动化机器与人类之间的沟通越来越紧密,两者之间的责任边界应该如何厘清,将成为未来社会发展的重要议题,当然,这也将是一个漫长的过程。(完)

视野

大公司

VB的报道称,AWS 卫星云服务正式开放,这也是目前唯一一家提供微信云服务的公有云平台。

CNBC的报道称,苹果又收购了一家健康应用服务创业公司。

WSJ 的一篇长文,梳理了华为过去 15 年高速增长背后的争议问题,这些发生在海外的事件几乎鲜有国内媒体报道,这也让我们无力去判断这些事件的真相到底如何,大家各自判断吧。

Bloomberg 本周播放了任正非的专访,这篇专访释放的信号还是很强烈的,其中,任正非表示自己会带头反对中国制裁美国公司(比如苹果)的说法被包括路透社在内的诸多海外媒体报道。

「商业人物」梳理了美团、滴滴和头条的投资版图

 

赵赛坡

View posts by 赵赛坡
赵赛坡,科技博客作者、资深科技观察家、付费科技评论 Dailyio 创始人、出品人,覆盖 3000+ 付费用户。 曾担任 TechTarget 中国区记者、频道主编、AI 自媒体「机器之心」前联合创始人。