释放达斯·维德比监禁卢克·天行者要糟糕得多。这是支撑风险评估工具的哲学论点节奏这是一种被全国刑事司法系统采用的犯罪再犯预测算法，涉及到华盛顿ACLU的技术与自由项目主任尚卡尔·纳拉扬。
纳拉扬周五在西雅图互动大会上引用了《星球大战》。他说，这句话来自一位研究此类风险评估工具的学者，说明了允许人工智能犯错误而把人关起来的风险。
他称COMPAS在“假阳性和假阴性”之间有一种“规避风险的平衡”，这可能对边缘社区的现实世界造成破坏性后果。
他说，“鉴于黑人社区在刑事司法方面的过度代表，”这些工具“将导致更多的人被视为‘高风险’。”
这种对人工智能的担忧在一个名为“人工智能的承诺和威胁”的小组讨论中得到了充分的展示，就连对人工智能的潜力感到兴奋的技术开发人员也在越来越多地采取安全措施。
例如，HTC为其Vive虚拟现实平台提供了身体跟踪技术，但选择创建一个封闭的系统，用户数据不会公开共享。该公司负责平台战略和开发者关系的副总裁维奈·纳拉扬(Vinay Narayan)表示，这一决定平衡了业务创新和消费者隐私。以智能手机和虚拟现实技术闻名的台湾消费电子制造商宏达国际(HTC)将其北美总部设在西雅图。
“从技术角度来看，没有人愿意这么做，因为如果我不把你所有的数据都带回中央服务器，你就无法快速迭代，”他说。“我们意识到，我们打造了一个非常强大的工具，虽然我们加入了很多技术保障措施，但我们不知道其他人会如何使用它。”
虽然HTC意识到自己的产品可能被滥用，但人工智能在日常软件应用中越来越普遍，这意味着其他公司没有那么警惕。
“大多数使用这些工具的公司，归根结底都不是人工智能公司。他们是客户服务公司，希望缩短响应时间。”“你甚至可能不知道自己在使用人工智能。”
对于表现不佳或有偏见的人工智能，一个常见的回应是改进数据集，但Shankar Narayan基本上不认同这一点。
他说:“技术专家和数据科学家对技术非常乐观，但从我的角度来看，实际上我已经看到了权力的运作，以及刑事司法系统中的数据是如何扭曲的，获得干净的数据集来修复你的工具似乎几乎是不可能的。”
Shankar Narayan说，事实上，用更多数据修复人工智能的冲动是，它为更多的数据收集创造了激励。“收集、收集、收集、收集——即使这远远超出了这项技术的既定目的，”美国公民自由联盟官员在描述这种常见方法时表示。
这种冲动让他在推动所谓的智能城市的过程中踌躇不前。智能城市在很大程度上依赖监控技术来优化交通流量和能源使用等城市系统。他更喜欢一种更平衡的方法，就像前波士顿市数据科学家本·格林(Ben Green)在他的新书中概述的那样“足够聪明的城市。”
华盛顿州无人机和随身相机特别工作组的Shankar Narayan说:“几乎每一种监控技术都有很长的历史，对边缘和弱势社区产生了不成比例的影响。”“这就是为什么我经常对那种态度感到困惑，‘让我们把它扔出去，看看会发生什么。’”
这种原则性立场也与人工智能辅助技术试图解决的现实问题相冲突。例如，立法允许西雅图使用对堵塞人行横道和非法在过境车道行驶的车辆进行摄像执法在今年的立法会议期间死于委员会。
对于HTC的维奈·纳拉扬(Vinay Narayan)来说，这样的政治决定回到了低效的现状，即数量有限的警察难以执行交通法规。
他说:“我们正在使用人工界面来处理大规模的交通流量。”“这是计算机视觉和人工智能可以真正帮助解决问题的地方。”
但对尚卡尔·纳拉扬(Shankar Narayan)来说，更广泛的担忧胜过了这项技术的功效。他曾目睹警方和检察官要求华盛顿的红灯摄像头提供其他犯罪的数据。“我们并不反对摄像头的概念，但当时没有安全措施，”他说，并描述了“任务蔓延的问题:一旦有了摄像头，你就会想用它做更多的事情。”
编者按:本文已更新，以反映尚卡尔·纳拉扬的声明
