作者：曾毅 中国科学院自动化研究所研究员、中英人工智能伦理与治理中心主任；北京智源人工智能研究院人工智能伦理与可持续发展中心主任；清华大学人工智能国际治理研究院首席专家。国家新一代人工智能治理专委会委员；联合国教科文组织人工智能伦理特别专家组专家
从艾萨克·阿西莫夫的机器人三定律、斯蒂芬·霍金对人工智能与人类生存风险的预见，到诺伯特·维纳对自动控制系统安全的担忧，近五年来各个国家、科研机构和企业相继提出的人工智能发展、伦理与治理原则，相关的思考与行动见证着人类为推进人工智能向对人类有益的方向发展所做出的努力。当人工智能的进展如此深入地与人类社会深度融合时，一方面，我们看到的是人工智能作为赋能技术推进社会的进步；另一方面，人工智能发展中的隐患与不确定性使得我们无法完全脱离彷徨与担忧。也正是因为这种不确定性与风险、挑战的存在，才凸显出人工智能伦理与治理研究、实践的现实和长远意义，更需在人类负责任的创新与呵护下推进人工智能以更稳健的方式向未来探索前行。
我在此借旷视AI治理研究院与人民智库组织的“2020全球十大AI治理事件”评选中的部分案例进行回顾与讨论，并再补充年底发生的一例事件。回望过去，并非仅仅去看走过的路，更是为了反思我们尚未取得的进展。
隐私保护：从意识到行动
针对“欧美、韩国相继出台AI 治理新规，严格限制、甚至禁用相关人工智能技术在某些场景的发展和应用”事件。我仍然认为在国家与社会安全等特殊的需求下应用人脸识别等技术有其意义，仍然应当鼓励人脸识别等技术在十分必要的场景进行合理使用，例如应用于追踪嫌疑人和打拐寻亲。但同时应当指出，人脸识别的潜在风险确实存在，不可忽视，甚至解决其风险仍迫在眉睫。首先，从技术的角度讲，生成对抗网络的进展使得人脸作为加密技术不再绝对安全。其次，从隐私的角度讲，由于人脸等生物特征的相对稳定性，一但泄露即面临终身风险。不仅如此，从人脸图像和视频中甚至有研究尝试可以部分提取出心跳、健康状况、基因缺陷、性取向等隐私信息。此外还应当指出：人脸识别潜在的性别偏见、种族偏见等广泛存在于其他类型的生物特征识别技术中，例如指纹识别、步态识别、虹膜识别、声纹识别。由于人脸识别应用部署最广泛，得到公众普遍关注引发的担忧相对更多，为此，现在部分国家和相关企业出台了暂时性的禁令。然而如果对其他类似技术中的风险与隐患不采取行动尽可能避免潜在问题，将与人脸识别技术一样遭受到同样的挑战。禁用不能完全解决问题，积极采用技术和非技术手段解决隐患才是真正负责任的创新。
针对“技术预警独居老人水表及校园暴力行为”事件。虽然通过水表监测实现对独居老人健康状况的关注是一个另辟蹊径的设计。然而在其实现设计初衷的探索中，我们仍然要进行谨慎地讨论。在这个应用中除了实现对老人身体状况的关注，是否仍然泄露了老人的部分隐私？例如除了呵护健康，似乎也可以基于相关数据推理出老人何时在家，是否外出旅行、探亲，何时回来等信息，这些信息应该被谁掌握？可否确保这些信息不被泄露？倘若是为了防止校园暴力，无论是视觉识别还是语音侦测设备，都有其不同场景的意义。然而这样看似“善用”背后的细节仍然是值得关注的。没有采集人脸和动作等视觉信息就保护了隐私是一种误区，视频和声音信号都可能包含隐私信息。只要是监测设备，可否在没有暴力事件的情况下尽可能地保护隐私？这是人工智能服务的技术创新者应当探索的疆域。
年终：大量明星核酸检测照片在网络传播这一事件引发广泛关注。“只要知道姓名和身份证号，就可以查看他人核酸检测素颜照”引发公众对健康宝系统安全性的担忧。通过这一事件可以看到：一方面，某些承接政府机构信息系统建设的企业并没能很好地实现对公民关键隐私数据的有效保护。另一方面，相关政府机构和企业对包含公民隐私数据的应用，特别是政府委托的相关应用服务，在数据保护方面应需加强管理和监督。之所以通过输入部分信息就可以获取他人核酸检测相关细节信息，从系统设计角度而言存在不严格的伦理设计。虽然他人代查这项功能仍具有现实意义，例如子女和朋友帮助老年人等非手机用户代查这样的需求仍然存在，但是如何确认代查结果经过当事人授权，确保其知情同意，是在系统设计与实现过程中必须思考清楚并通过技术实现的。
从隐私风险到身份认同的挑战：脑机接口伦理研究需跟上步伐
针对“⼈⼯智能可以翻译⼤脑想法将⼤脑信号转化为⽂本数据，让隐私⽆处遁藏”案例。现代脑机接口相关技术的发展使得有可能采用一些映射模型解码部分人类思维的模式，借助脑机接口设备实现打字、遥控玩具与机械臂等“读脑术”的应用已日趋商用。虽然从20年前借助核磁数据解读人脑思考的语义概念到这次基于脑电模式进行文本解码的工作都还是一种端到端的模式分类。但是我们必须未雨绸缪，为其中潜在的伦理问题做好准备。人类的记忆及其激活过程从抽象的层次讲可以认为是特定模式的存储、关联和提取。如果训练的数据以及做的任务类型足够丰富，加以脑机接口算法的改进，我们无法确保人脑中的隐私不会被解读出来。当我们看到“读脑术”有进展时，更希望学术界能够同步产生负责任的创新，研究在算法、实验步骤、应用约束等各方面如何尽可能地保证被试者的隐私得到保障。但仅此而已吗？在“读脑”的过程中是否会产生“误读”？如果是实验性的文本解码甚至是做遥控玩具游戏，似乎风险是有限的。然而如果是用脑机接口操作机械臂，“误读”将有极大风险会引起后果严重的“误操作”。由脑机接口引起误操作伤及受试者、用户本人或者周围的人和环境都是极有可能发生的事情。此外脑机接口技术可能会对人类的能动性产生负面影响，这甚至是会影响到用户对自身的身份认同乃至责任的划分。然而其在医疗、民用领域的意义仍然是积极和广泛的。我们是否能够做到一方面受益于以脑机接口为代表的智能增强技术，另一方面需要让技术发展与应用同步甚至是先一步，采取行动尽可能避免其“侵犯隐私”，消除“误读”导致后果严重的“误操作”等隐患。
来自人工智能的利益：权力与责任并存
针对“全国首例：法院认定人工智能生成文章构成作品，拥有著作权”案例。这让我回想起2019年“欧盟专利局拒绝AI发明专利申请”的案例。正如我对“发明专利”案例的评价：“人工智能在某种受限的领域和场景下确实有可能进行一定程度的发明创造，未来人工智能最重要的探索方向之一就应当是使人工智能真正具备发明和创造的能力”。在“专利”案例中，我不支持人工智能作为专利申请者。原因是权力与义务共存。如果参照人工智能设计的专利研发的产品存在缺陷、风险和安全隐患(如人工智能用于制药)，若发生事故，由于人工智能尚不是责任主体，并不能实质性承担责任。与此类似，如果人工智能生成的文章构成著作权，并由作品自动生成系统的使用人员享有这个著作权，那么文章可能对社会产生的负面影响及相关连带责任也应当由著作权享有者承担。在赋予“著作权”的同时，我们是否合理强调了责任和义务？在人工智能还不能成为责任主体的情况下，倘若我们要享有使用人工智能带来的利益，就必然同时要做好为此承担责任的准备。
从企业诚心自律到政府与社会多方治理
针对“AI 成监工：算法下外卖骑手挑战交通规则，助手可能变杀手”案例。有两件事情可以确定：一是目前的人工智能只有处理数据的能力，没有真正理解的能力。在这个案例中，配送规划算法做的只是基于统计的优化，而对于这种所谓的“优化”过程骑手将如何去执行以及可能导致的后果没有任何理解能力。1950年的“图灵之问”围绕“机器是否能思考”，我认为没有真正的理解何谈思考。在对“交通违规”“生命危险”直至“生”“死”这些对于个人存在具有深刻意义的概念没有真正理解的情况下，骑手却被算法“操控”。算法的设计者和服务提供者可曾认真想过算法“操控”的是人？二是我很难相信相关的算法设计者和服务提供商从未想过“助手”可能变“杀手”。然而什么使得他们做出选择仍然这样做，直至得到社会强烈的反弹？同行之间的恶性竞争使得企业在道德选择上彷徨，直接将风险从服务提供商转到了骑手身上，牺牲掉的是那些将风险与几元配送费反复较量的生命。通过这个案例，我们当然能够得到企业需要反思以及做出改变的结论，但我们能寄希望于所有的人工智能研发、应用、服务企业完全做到自律自治吗？社会舆论的关注、监督与政府的顶层监管必不可少。
军用人工智能：即使无可避免，也要正视风险
针对“人工智能首次控制美国军用系统，或将开启算法战新时代”案例。世界上很多国家都致力于发展军事人工智能，然而人工智能给军用设备与武器带来能力提升的同时，更带来了诸多隐患。如果这已经是不可避免的发展趋势，各国政府、学者及相关机构务必携手应对，尽可能避免由于人工智能的现存风险引发的灾难。人工智能模型存在设计缺陷、难于抵御不可预期类型的外部攻击，这只是人工智能内部、外部安全的冰山一角。现代人工智能技术的进展几乎难以确保系统实现的目标与人类真正的意图完全一致。加之人工智能模型目前普遍缺乏可理解性，并对真实世界不具备理解能力，如果我们不能确保实质性有意义的人类控制，加之复杂多变的战场环境，使用军事人工智能将不可避免的增加不必要的风险。此外，已有研究指出军事人工智能可能的衍生品有可能发展为攻击社会的工具的可能性，我们如何确保这样的事情不会发生？至于致命性自主武器，更应该是全人类联合禁止使用的。
长远人工智能的伦理风险：未雨绸缪，防患于未然
针对“人工智能技术突破现有边界，具备‘ 自主意识’，可实现独立研发、自我修复等功能”案例。生物机器Xenobot的进展是通过算法重塑干细胞的组织方式，使其能够按照程序设定的方式生成身体形态，能够实现一定的功能并且具有可修复能力。它将在医疗与环境保护领域具有广泛应用潜力，但却远远不能说明Xenobot是一种新的生命，更不能说明其具有“自主意识”。没有繁衍和演化能力的Xenobot实际上仍然是一台信息处理机器。Xenobot的自我修复能力来自于原始的干细胞的分化再生能力。而细胞间的自组织使得Xenobot获得一定移动能力，却不具备从自我视角整合身体自身及环境信息的能力。倘若未来人工智能模型能够实现真正意义的“自主意识”，并具有理解能力，那么首先需要做的事情就是发展其认知共情能力，让其在理解和共情的基础上遵循(演化中的)人类伦理道德。这几乎是人类与通用人工智能和谐共生的唯一方式。有人指出通用智能和超级智能可能几十年甚至更长时间之后才能实现，然而我却认为为保证通用智能与超级智能不给人类带来生存风险，我们从现在开始准备也未见得来得及。对于长远人工智能可能带来的伦理风险及可能的解决道路，我们必须未雨绸缪，防患于未然。
人工智能技术与应用日新月异，发展中的不确定性也日益凸显。人类在各种可能性和新奇发展中不免彷徨。聚焦近年来全球相关典型事件，科技界、公众与政府已然意识到人工智能风险、伦理与治理的重要性。未来，如何将对风险、安全、伦理的思考转化为通过技术与社会手段的务实治理，不仅需要全社会的关注和实践，更需要在全球视野下深度协作、长远布局，确保人工智能负责任地前行，为人类的未来保驾护航。
