如何揭开隐藏算法的面纱 - iYouPort
如何揭开隐藏算法的面纱
-
不透明是极权的护身符，是一切专制政权的法宝——包括算法专制；
透明度就是民主自由的大门。
这不是一件容易的事，但并非不可能。
2012年，新奥尔良警察局悄悄与数据采矿公司 Palantir 合作，实施了“少数派报告”那种预测性警务系统。六年来，市议会和法院都没有被告知公民的数据被开采以产生警察“目标名单”。关于该计划的适当性、合法性或价值的问题从未得到解决。
今年3月，新奥尔良官员表示，与 Palantir 的合同不会续签，但是， 这种关系暴露了政府如何使用算法和数据的更深层问题，必需被更广泛关注 。
新软件正在进入公共部门，帮助识别罪犯、匹配学生身份、指导刑事判决、并帮助确定社会福利。但很少有公民知道这些技术的存在，或者它们是如何被使用的。公众应该意识到， 所谓的商业秘密和保密协议可以完全阻止公众了解技术是如何运作的 。
“这些公司的行为是出于私人利益，但他们的决定具有相当大的公共影响，”加州大学戴维斯分校的法律教授 Elizabeth Joh 在2017 年 写道 ，“这种危害影响包括对第四修正案的歪曲、设计责任的破坏以及对透明度规范的削弱。
在即将发表的一篇论文中，伯克利法律和技术中心的联合主任 Sonia Katyal 认为，保护政府购买软件的知识产权法正在悄然超越民权问题。“在人工智能的背景下，我们看到一个世界，有时， 知识产权原则会阻止公民权利充分应对技术挑战，从而导致新一代公民权利完全停滞不前 ，” 她写道。
纽约大学教学研究员 Amanda Levendowski 表示，在透明度失效的情况下，活动家、律师和技术工作者正在转向采取越来越多的策略以对算法和其他技术进行更多的监督。
“如果我们不知道人工智能系统被如何用来监视我们 — 或者我们不了解技术本身，公众就不可能就人工智能系统是否公平、负责、透明或道德进行任何讨论，“ 她说。
透明度的一个重大障碍是所谓的“计算机欺诈和滥用法案” ，该法案于1984年写成，旨在保护政府机构的计算机系统免受黑客攻击。ACLU Washington 的技术和自由项目总监 Shankar Narayan 说， 私营部门公司能够避免对其系统进行外部审计 — — 无法了解其偏见或其缺陷 – — — 他们经常引述该法案声称审计是一种未经授权的访问形式。CFAA 必须改革才能支持民间社会针对不透明的算法系统进行独立审计 。
在没有关于算法的重要法律的情况下，一些市政当局正在为公共部门算法实施自己的透明度规则。2017 年，纽约市议会通过了一项算法问责制法律，创建了一个工作组，就城市机构如何分享与自动决策系统相关的信息提供建议，分析这些机构如何处理危害公民的情况。
在法案听证会上，“发起人 James Vacca 甚至不知道每个使用算法的机构都是谁、或他们如何使用这些算法，”Levendowski 说，他过去五年一直在跟踪监控技术的采购。这些机构的一些代表本身也不知道这一问题。“ 如果这些人都不知道，公众就很难弄明白这一点了 。”
加利福尼亚州的一些城市已经通过了一些最严格的监管技术采购法令。圣克拉拉县于2016年通过了监管法令，要求各政府机构制定一项政策，披露“可收集的信息/数据，数据访问，数据保护，数据保留，公共访问，第三方数据共享，培训和监督机制。“
去年，伯克利市通过了一项法律，为购买快速增长的监控设备提供了更加透明的流程，如 面部识别设备、Stingray 蜂窝基站模拟器、社交媒体分析软件、和车牌阅读器 。奥克兰紧随其后。西雅图和马萨诸塞州的剑桥也是少数几个通过了监管条例的城市。
当礼貌要求透明度不成功时，律师和活动家已经成功地辩称，商业秘密和 NDAs 侵犯了正当程序的个人权利 。一般来说，正当程序允许人们捍卫美国法律赋予他们的权利，并对政府的行动提出异议。
透明度工具包中的其他法律操作也包括信息自由法案请求，并在必要时提起诉讼以强制执行。
2016年6月，纽约大学法学院 Brennan 司法中心向纽约警察局提出了“信息自由法”（FOIL） 请求，“寻求与预测性警务技术的获取、测试和使用相关的记录。”在纽约警察局根据商业秘密和警方保密的 FOIL 请求采取了抵制后，Brennan 中心于2017年9月提起诉讼，并指出 纽约市已经花费近250万美元用于 Palantir 制造的预测性警务软件 。
该诉讼还透露，该部门测试了 KeyStat 公司和 PredPol 公司的另外两个预测性监管平台。与此同时，NYPD 文件显示，该机构 没有严格的隐私政策 来管理其使用预测性警务软件，也无法生成显示已进行强制审计的记录。
2017年12月，法官驳回了纽约警察局的诉讼请求。虽然法院驳回了 Brennan 中心对用于训练预测性警务算法的数据的要求，但它命令警察部门提供与供应商的电子邮件通信、测试的输出数据以及 NYPD 数据分析助理专员的说明。
“公民有权了解监管其社区的执法机构使用的工具、成本和标准做法，” 布伦南中心的律师 Rachel Levinson-Waldman 写道。“在这种情况下，花了一年半的时间和一场诉讼，最终得到了应该在一开始就向公众提供的部分信息。”
上周，纽约警局在争夺保密的斗争中又输了一次。一群 Black Lives Matter 活动人士在2014年的一次抗议活动中被警方监视电子设备。法院驳斥了纽约市警察局的声称，该裁决要求纽约警察局披露 与其使用 Dataminr 相关的记录 — — 这是一种社交媒体监控软件包，以及用于中断手机服务的技术记录 。
伯克利教授 Katyal 认为，由于关于新技术的关键民权问题存在于私人领域，而非公共领域，“如果我们只关注国家来解决算法问题，那肯定是错误的方向“。
她说， 软件透明度的一个潜在强大力量必须来自公司内部 。去年，技术人员开始打破沉默，他们解释了很多活动都集中在政府合同上。在一些员工签名的信函中，工作人员引用了对算法偏差和使用算法的整体道德的担忧，并且在某些情况下，要求他们的公司完全退出政府合同。
去年春天，有 3,100 名谷歌员工抗议该公司收购 Project Maven，这是一个利用 AI 分析无人机视频的五角大楼项目。该公司表示，它将放弃赢得合同的努力并制定一套人工智能原则。
受到谷歌员工的启发，微软员工也奋起反抗，呼吁公司制定人工智能原则，为产品开发和销售流程带来透明度。“一开始就建立并维护这些服务的工人如何知道我们的工作是用来帮助进行剖析、监视还是杀人？”员工写道。
在他们最近的报告中，AI Now 研究人员强调了科技工作者在要求透明度方面的新兴重要性，因为 许多工程人员“具有相当大的辩论能力，并且具有独特的优势，可以要求雇主进行变革。”
该报告呼吁科技公司在董事会中提供员工代表，并要求公司建立外部道德咨询委员会以及独立的第三方监督和透明度工作。微软、谷歌和 Facebook 已宣布旨在评估其软件的社会影响的内部道德项目，去年，身体相机和电子枪制造商 Axon 也推出了道德委员会。董事会由外部顾问组成 — 包括伦理学家、警察官员和坚决反对公司面部识别野心的律师 — — 但是，董事会对公司的建议不具约束力 。
在这里看到视频：
举报人也证明了揭露高度争议性技术的关键 ，包括谷歌的中国 Dragonfly 项目，该项目试图将其服务的审查版本带入中国。员工在8月份向 The Intercept 披露该项目之后，据报道，广泛的员工抗议和公众抗议导致该公司搁置了该项目。
尽管如此，公司高管尚未公开表示他们将停止 Dragonfly 的发展。1月3日，著名的谷歌工程师Liz Fong-Jones 表示， 她将在工作了11年后辞去互联网巨头公司的职务，因为她对自己的方向不满意，“这里缺乏问责和监督”。
展望未来，员工在确保透明度和问责制方面的价值可能会增长。除了鼓励举报人说出来之外，主要的挑战还在于如何通过政府法律或公司政策，在科技行业著名的保密文化中为这些举报人提供保护 — — 保护他们免于因说真话而遭受巨头的迫害。
“幸运的是，我们开始看到 研究人员、活动家、律师、有关技术工作者和民间社会组织之间建立新的联盟 ，以支持 AI 系统的监督、问责和透明度，”AI Now 报告说。
H ow to lift the veil off hidden algorithms? In the absence of rules around algorithms, activists, lawyers, and tech workers are hacking transparency through other means.
文章版权归原作者所有。
