【摘要】当前，生命科技和人工智能等前沿科技的伦理风险日益引起国际社会的高度关切，我国的科技伦理治理正在走上制度化发展之路。为了更好地推进我国科技伦理治理工作，我们必须切实把握作为科技伦理治理重点的前沿科技的特征，揭示其所呈现出的一系列深层次伦理风险，从而进一步加强对科技社会系统的结构性特征的理解，探索和重构风险认知的底层逻辑。其一，充分认识新兴科技驱动的科技社会系统的革命性变化，以此理解前沿科技深层次伦理风险的结构性实质。其二，立足前沿科技伦理治理的开放性实践，将科技伦理的风险认知和规范视为相关群体不断更新的集体认知和工作假设。其三，强调前沿科技风险认知的系统性与可塑性，赋予科技和创新更大的可能性空间。由此，我们可以得出树立科学认知的伦理边界、设置合理的伦理法律门槛、形成具有开放性和整体性的治理机制、增进公众科技伦理素养以及遵循相称性原则等面向深层次科技伦理风险的预控和应对之道。【关键词】科技伦理 科技伦理治理 深度科技化 深层次伦理风险 系统思维
【中图分类号】B82-057/TP18 【文献标识码】A
【DOI】10.16619/j.cnki.rmltxsqy.2024.01.009
段伟文，中国社会科学院哲学所科技哲学研究室主任、研究员，科学技术和社会研究中心主任，中国社会科学院大学哲学院教授、博导，上海人工智能实验室顾问。研究方向为科学哲学、技术哲学、信息哲学、科技伦理、科学技术与社会。主要著作有《信息文明的伦理基础》《可接受的科学：当代科学基础的反思》《网络空间的伦理反思》等。
问题的提出
2023年11月初，首届全球人工智能安全峰会在英国召开，来自美、英、欧盟、中、印等多方代表就人工智能迅猛发展引发的风险与机遇进行了深入探讨。其间，我国提出的《全球人工智能治理倡议》系统阐述了人工智能治理的中国方案，会议发布的《布莱奇利宣言》凸显了对前沿人工智能的超强技术能力和未来风险的关切。
实际上，对于正在进行中的前沿科技可能导致的人类生命安全与社会伦理风险的关注至少可以追溯至1975年生物学家暂停基因重组研究的决定。尤其是21世纪以来，纳米、人工智能、基因科技、合成生物学等颠覆性科技方兴未艾，科技已成为无处不在和人类须臾不可离的强大力量，但同时也带来了越来越多亟待应对的科技伦理风险。为此，世界各国对科技伦理问题及其治理日益重视，我国从国家层面相继颁布了《关于加强科技伦理治理的指导意见》和《科技伦理审查办法（试行）》等规范性文件，明确了迈向高水平科技自立自强之路应该遵循的伦理原则、治理框架和审查机制。
纵观由近年来出现的基因编辑、人类动物嵌合体、人脸识别、算法推荐、脑机接口、深度合成以及ChatGPT等生成式人工智能所引发的伦理争议，不难看到，前沿科技的风险不单是技术能力的增强所诱发的违背既有伦理和法律的技术滥用等问题，更在于新技术能力的涌现对既有技术社会系统的冲击所导致的结构性价值冲突和深层次伦理风险。换言之，所谓深层次伦理风险是指，由于前沿科技研发越来越多地涉及对人、自然和社会的根本性、全局性的改变，前沿科技的发现和创新必然引起各种复杂的价值伦理矛盾，由此造成的伦理风险是结构性的，往往既难以通过一般的风险收益比较加以权衡，也不能诉诸简单的伦理原则加以有效规范。因而科技伦理治理要真正做到“伦理先行”，必须对前沿科技研发活动中的深层次伦理风险有较为系统的认知，进而从科技创新的整体层面分析其原因，寻求具有全局性和预见性的应对之道。
前沿科技研发中的若干深层次伦理风险
大致而言，当前具有突破性发展并伴随着巨大伦理风险的科技前沿主要集中在生命科学、医学、信息科技与人工智能等领域，它们也是我国在国家层面推动科技伦理治理的主要关切。2019年以来，我国先后通过一系列的举措启动科技伦理治理体系建设：一是，成立国家科技伦理委员会及生命科学、医学和人工智能分委会，由此推动了区域、部门和机构的科技伦理委员会的建立；二是，中共中央办公厅、国务院办公厅印发《关于加强科技伦理治理的意见》，提出伦理先行、依法依规、敏捷治理、立足国情、开放合作等治理要求，明确了增进人类福祉、尊重生命权利、坚持公平公正、合理控制风险、保持公开透明等伦理原则；三是，生命科学、医学和人工智能分委会提出各自领域伦理高风险科技活动清单，如对人类生命健康、价值理念、生态环境等具有重大影响的新物种合成研究，侵入式脑机接口用于神经、精神类疾病治疗的临床研究，对人类主观行为、心理情绪和生命健康等具有较强影响的人机融合系统的研发等；四是，加强科技伦理审查工作，2023年2月，国家卫生健康委、教育部、科技部、国家中医药局四部委联合印发了《涉及人的生命科学和医学研究伦理审查办法》，10月，科技部等十部门联合发布《科技伦理审查办法（试行）》，两个办法将推动开展科技活动的高校、科研与医疗卫生机构、企业等层面的科技伦理（审查）委员会的建立，在常规审查的同时建立需要开展专家复核的科技活动清单制度，对可能产生较大伦理风险挑战的新兴科技活动实施清单管理；五是，中国科协会同相关部门、机构、群体正在发起筹建中国科技伦理学会，以加强我国的科技伦理研究和政策咨询工作；六是，在数字治理领域积极有为，继算法备案、深度合成管理等办法之后，国家互联网信息办公室联合国家发展改革委等六部门正式公布了《生成式人工智能服务管理暂行办法》。当然，数字技术和人工智能法律规制和监管如何应对人工智能的开放性伦理挑战需要在实践中不断展开系统研判，更有待通过试验性的治理实践不断探索前行。
当前，我国科技伦理治理的主要策略是，坚持促进创新与防范风险相统一，客观评估和审慎对待科技伦理风险，强化对科技活动的全生命周期的风险评估和监督管理，预见和防范可能出现的具有严重影响的不确定性风险。为了更有效地贯彻实施这一策略，还应对以下7个方面的深层次科技伦理风险有所认识。
由科学认知活动缺乏伦理边界意识所造成的突发风险。依照一般看法，“科学无禁区、技术有边界”，但这一观念已经跟不上认知、智能等前沿科技领域伦理风险日益加剧的趋势。在合成生物学、基因编辑、脑机接口等领域，科学研究和实验本身就涉及对生命和智能过程的干预，基础研究和转化应用研究如同“旋转门”而难以绝对区分，特别是认知和神经等前沿科学研究可能会极大地影响人的自主、认知、隐私乃至精神等生命权利。例如，涉及对青少年群体的心理和行为的干预和诱导的研究，其伦理风险不仅仅是这类研究是否会对青少年的身心造成显见的伤害、由此获得的知识会不会被滥用和恶意使用，更在于研究者能不能意识到这类研究本身是否合乎伦理（换言之，是否会遭受不合伦理的质疑）、是不是要有一个边界和限度。特别是在运用全新的技术干预人的生命和精神时，纵使对其中所涉及的伦理问题缺乏系统深入的认知，研究者至少应有一种伦理规则意识和边界意识。由此，相关主体才可能从一般科技伦理和生命伦理原则出发，通过讨论和对话制定具体科技活动中的防护措施和限制措施。更重要的是，在遇到科技伦理敏感问题时，这种规则意识和边界意识会促使研究者将相关讨论推进到科学共同体、社会公众乃至国际社会层面，从而使这类技术研发应用可能带来的深远伦理影响得到深入探讨，相关的责任与权利问题也可由此得以提出。例如，随着脑机接口等神经与认知技术的发展，在这类技术应用于神经认知系统尚处于发育和不稳定阶段的青少年时就应有更严格的边界。还要注意的有，可记录大脑活动的神经技术会不会影响人的精神与思想隐私等问题，作为应对是不是应该相应地赋予人们思想隐私权等神经权利，[1]或者划定神经技术对人的精神干预的必要底线。而实际上，这种边界意识和底线意识的缺失在科研人员中并不罕见。
当前，伦理高风险科技活动清单的制定和复核机制固然为涉及伦理敏感性的科技活动设定了具体边界，但如果科研人员和管理者不能在认识上形成伦理边界意识，那么高风险清单所设定的具体边界很可能仅被当作合规的标准；如果相关人员不会在研究中主动认识和探索应有的伦理界限，科技界就有可能再次发生基因编辑事件之类严重践踏伦理底线和红线的恶性事件，出现突发性科技伦理风险。值得指出的是，所谓边界意识并不是简单的禁区意识，而是在认识上强调：一方面，应将存在高伦理风险的科学研究限定在现有科学认知和技术手段可控的范围内，为科技风险设定安全边界；另一方面，要充分认识到前沿科技领域涉及的伦理敏感问题，在认真厘清可能的伦理争议的基础上，划定目前不应该逾越的伦理边界。显然，对前沿科技伦理边界更为积极、主动，全面和动态的探究，是坚持促进创新与防范风险相统一的关键，也是实现敏捷治理的基础。
前沿科技对生命权利的深远影响所引发的不可逆风险。在大数据、人工智能、元宇宙、深度合成等前沿科技研发应用中，经常出现数据泄露、隐私侵犯等伦理风险，危及人的生命、隐私、尊严以及其他合法权益；很多数据的采集具有侵略性，海量数据一旦出现信息安全和伦理问题，很难通过删除数据等方法对相关违背伦理和法律的研发应用造成的后果进行矫正。例如，ChatGPT等生成式人工智能通过采集海量的网络数据训练大模型，产生大量文字、图片和视频内容，其中存在诸多有争议的侵权行为，但由于其机制的复杂性和过程的不透明性，很难逐一确认和维权。对这种具有全局影响的颠覆性创新所带来的不可逆风险，现有伦理法律规范和监管措施难以应对。而这一伦理困境表明，前沿科技的伦理和法律研究应建立在更为系统深入的科技哲学、历史、文化、社会学和人类学等跨学科研究之上。
类似地，在生命医学领域，基因编辑和人类动物嵌合体研究虽然具有极大的有益前景，但也存在高度不确定性的风险。特别是在涉及人类种系的生殖技术和赋予动物具有接近人类智能的人类动物嵌合体研究中，必须认识到冒失地改变人类基因可能造成的不可逆风险。认识到这些不可逆的风险，一方面，有助于相关研发和应用更加负责、透明和可问责，走向更具伦理可接受性和社会稳健性的研究与创新；另一方面，有助于对具体的不可逆风险展开系统深入的研究，推进理论、方法和工具创新，探寻更加安全和更符合人类长远与共同利益的研究路径。
前沿科技研发目标与人的权益的结构性冲突导致的伦理两难。近年来，在内容推荐、金融风控、生物特征识别等领域出现了过度采集数据、行为操纵、信息茧房、大数据杀熟、算法歧视等在伦理和法律层面存在争议的问题，相关部门在数字平台治理和金融科技治理层面推出了一系列规范和监管措施，起到了较好的治理效果。但值得指出的是，其背后存在着数据驱动的智能技术原理和现有社会伦理法律之间的结构性冲突。一方面，内容推荐等必须建立在对大数据的采集与分析之上；另一方面，这些数据所反映的是人们的行为记录和生物特征。也就是说，两者之间的冲突是结构性的，必然会导致伦理两难。例如，元宇宙和自动驾驶技术必然以采集人和场景中的相关数据为前提，这将在一定程度上与隐私保护和信息安全相冲突。这种结构性的冲突使得由此造成的伦理风险难以从根本上得到治理。如果不深入探讨如何解决这些结构性的矛盾、如何通过形成新的伦理和法律规范突破这种伦理两难，则不难想象，随着情感识别等新应用的普及，类似的结构性冲突和由此造成的伦理两难将持续存在，而且更具争议性。
值得指出的是，当前生成式人工智能的发展正在推动一场知识生产方式的革命，文字、图片、视频不再仅仅作为网络和媒介内容，而成为大规模自动化知识生产的原料。由此就带来了知识产权保护和发展新的知识生产引擎之间的结构性冲突，对内容的不同理解——作为知识生产原料的人工智能生成内容与作为信息安全监管对象的网络媒介内容——正在导致一种新的伦理两难。类似地，不难预见，运用自动化智能系统提高效率和“机器换人”之间的冲突，可能会成为未来几年不得不应对的科技社会难题。
物理世界与数字世界界限模糊所引发的“真相”消失的伦理困境。近年来出现的虚拟现实、元宇宙、深度合成和生成式人工智能，使得物理世界（真实）与数字世界（虚构）的界限日渐模糊，特别是虚拟影像的逼真度越来越高，引发了“真相”消失的社会伦理困境。从现实世界的角度来看，随着这些技术的发展，它们很容易被用来混淆伪造的内容和真实的事实，甚至可用于虚构对特定事件和历史的虚假集体记忆，从而干预人们的社会认知，操控人的意识和精神，即有可能导致大规模的伪造真相和意识操控等社会认知伦理和精神伦理层面的颠覆性影响。
然而，数字技术的发展又是未来科技社会的趋势，从认知对象到认知过程的虚拟化趋势越来越显著，虚拟的生活和实践越来越多地可以与物理世界的生活相互替代，虚拟世界中的“不良”行为对人在现实世界中的伦理和道德的影响日益成为莫衷一是但又必须直面的真问题。同时，越来越多的内容将由计算机和人工智能生成，因此，很难再通过“真实”和“虚假”的严格区分应对“真相”消失的伦理困境。更为复杂的是，在科学研究和金融科技等实际应用中，合成数据既可以用于造假，也可以用于矫正样本不足等带来的数据偏差，已经很难用真和假来区分真实数据与合成数据的合伦理性。
智能社会系统中的人机信任问题及其伦理风险。当前，在智能客服、自动驾驶和医疗人工智能应用中出现的人机信任问题值得关注。在智能化早期，自动化和智能化系统的技术问题和服务质量问题可能会导致安全事故和人身伤害的发生，引起人们对技术的不信任感，而这显然会影响对前沿科技发展的社会认可和接受。人们对机器缺失信任显然不利于科技更好地赋能社会发展，但如何增进人们对机器的信任，则一方面需要数字和智能技术不断提升其透明度和可解释性，另一方面要从社会学、心理学、人类学和哲学等多学科入手，加强对人机行为和心理的研究，由此探寻增进人机信任和人机共生的综合性的技术和社会举措。
但同时，对机器的过度信任也存在着深层次的伦理风险，特别是人们在面对机器人等存在拟人化倾向的智能设备时，会误以为它们是有意识的主体。随着数字人、对话机器人技术的进步，这种拟人化的情感投射变得更加强烈，有可能导致人们出现认知上和心理上对自动化智能系统的过度依赖。例如，生成式和对话式人工智能很容易被不恰当地当作知识权威、道德权威和精神权威。因此，特别是在将人工智能用于青少年的陪伴、学习和心理引导时，必须考虑到由此可能引发的伦理风险。
由科技社会系统的难以问责所带来的伦理风险。随着生命医学与人工智能等前沿科技的发展，整个社会日渐发展为一种整体性的复杂的科技社会系统，从个人的医疗、就业到国家的战略决策，各项事务越来越多地取决于一个包括人和机器在内的复杂的决策系统。一旦出现某些问题，因为存在人类和机器多种智能体的参与，往往难以追责。例如，某个自动化智能系统因为误判而决定对某一区域采取不必要的限电措施，或某个智能评分系统对某些考生试卷的自动化评分出现了差错，最后很难找到负责任的主体。随着自动化智能决策系统的普及，很可能会出现数字官僚主义和智能化官僚主义等新的官僚主义的表现形式。
国际科技霸权主义所带来的国际政治伦理风险。近年来，美国在科技领域对中国采取的“脱钩”“禁售”等所谓“去风险”等打压策略正在形成一股国际科技霸权主义的逆流。值得关注的是，在生成式人工智能的发展过程中，中国地区的用户在很多应用软件（包括自动翻译软件）上无法注册，这无疑是科技霸权主义的表现。近期，在芯片、量子计算和核聚变领域，美国明显存在抢占制高点、巩固计算霸权和形成新的能源霸权的盘算。在21世纪前20年全球化作为世界主流时期，我国科技在一段时间采取了跟随与合作战略，西方一方面存在将中国视为没有规则的“野蛮的东方”的偏见，但另一方面也出现了将不合伦理规范的研究拿到当时科技伦理监管制度尚不健全的中国和其他地区的“伦理倾销”。在美国推行《芯片与科学法案》、不断采取“小院高墙”等政策的影响下，美国对我国在价值观和伦理上的偏见和质疑将进一步扩大，并且会与意识形态纠缠在一起。对此，我们应有清晰的认知，应立足人类命运共同体和更具美好的科技未来的大视角，从事实和学理层面予以必要的应对。
新兴科技驱动的科技社会系统的革命性变化
在现代社会中，科学、技术和工程从来都不是孤立存在的子系统，而是无远弗届地存在和融入于整个社会之中。前沿科技并不是一种外在于社会的力量或动能，其创新发展实质上是在科技与社会乃至文化相互交织的科技社会系统中进行的。毋庸置疑，为了进一步认识前沿科技可能引发的一系列深层次伦理风险，需要进一步从系统论、整体论的维度把握前沿科技所驱动的新兴科技社会系统中正在发生的革命性变化。尤其值得关注的有以下几点。
技术空间与技术圈的出现。随着前沿科技的发展，一种全新的技术空间和技术圈正在形成。技术空间不仅包括由技术拓展或介入的物理空间与生命结构，如可观测宇宙、纳米尺度、基因组等，更重要的是在物理空间之外形成了虚拟的信息空间和数字空间，如网络空间、赛博空间以及近期生成式人工智能所形成的生成空间等。由此，技术在地球自然生态圈之上正在构建自然过程中不存在的信息圈、知识圈乃至智慧圈，这些圈层都是由技术作支撑的，可以统称为技术圈。自然生态圈与技术圈的交缠互构决定了世界和人的存在与境况，决定了经济社会发展和国家竞争的总体空间。
虚拟认知与实践方兴未艾。如前所述，通过数据采集和信息计算，人们用数据来刻画世界和人，对其进行模拟、分析和干预，使认知、制造乃至生活与交往实践超越物理空间和现实可能性的限制。因此，应该从这一趋势出发重新认识数据的内涵，重新界定“真”与“假”、“虚”与“实”，在拥抱世界数据化和虚拟认知的同时，充分考虑其伦理风险。
技术成为无形的自动化过程。技术系统的实时化、泛在化和微型化，使得技术无处不在、无所不及地嵌入到物理、生命乃至社会空间与过程之中，越来越隐而不现，使人难以觉察。当我们日益生活在这种技术世界之中时，无疑需要提升整个科技社会系统的稳健性，防范系统性的科技伦理风险。
人与机器间的差异日渐缩小。随着人与机器的交互不断深化，出现了人的机器化和机器的拟人化这种人机同化但又存在内在冲突的趋势。生成式人工智能所带来的最根本性的挑战，即人类可能最终无法区分机器人和人类。应该看到，人们在未来所获取的信息和知识将越来越多地通过机器自动生成，尤其是随着人工智能越来越强大，人们可能最终无法分辨出人类和人工智能分别产出的信息与知识之间的差异，甚至人工智能的表达和说服能力将胜过人类。
在这些革命性的变化的推动下，构建在技术社会系统之上的人类社会正在经历一场激进的变化。这些变化可能主要发生在生命医学、数字与智能技术等领域，其主要表现是天然自然与人工自然的融合、人类智能与机器智能的整合。以合成生物学为例，正在研究中的回收工业废物的“化学机器人”将插入现有细菌底盘来产生所需的代谢反应。这种从新陈代谢到DNA的变化方向意味着，通过合成生物技术，分子生物学的中心法则变成了化学分子世界的部分真理。随着时间的推移，化学机器人将利用代谢生物化学的调节可以驱动DNA变化的事实，将所需反应的指令强制写入细菌蓝图中。这种对生物学中信息流的科学思考方式的颠覆将使我们在碳捕获、固氮和塑料降解等紧迫课题方面取得巨大飞跃，这进一步意味着整个行星正在迈向全新的人工化时期。[2]而生成式人工智能也正在从根本上改变着人类的社会生活和生产劳动，从导航、健康监测、日常写作到科学研究，人工智能助手可能成为人类须臾不可离的“技术伴侣”。虽然大多数技术专家认为目前还谈不上奇点临近，但的确是时候严肃思考我们究竟需要一个怎样的人机共生的未来。
充分认识颠覆性前沿科技对技术社会系统的革命性影响，有助于发现结构性的涌现特征，也是评估新兴科技伦理未知风险的关键。一般而言，大多数科技伦理分析往往关注创新对个人或群体的影响，而忽视其对社会基本结构的影响。例如，在20世纪50、60年代，美国对州际公路系统的预期伦理分析可能会权衡快速个人交通的价值与致命车辆碰撞的危险，但却没有看到对汽油的旺盛需求将为美国在中东扩大军事能力提供理由，从而导致了强大的军工复合体的进一步构建。而智能手机、短视频和无人驾驶等技术在整体上所导致的社会生活层面的改变也与此类似。由此可见，新技术对社会基本结构的影响通常是看似不相关的技术复合体之间协同相互作用的产物。因此我们不仅要研究单个技术的伦理和社会影响，还应进一步关切各种技术综合体在整个技术社会系统中产生的协同效应。[3]最近，在有关前沿人工智能的风险的讨论中，人工智能带来的生物、化学军民两用技术门槛降低所带来的跨领域复合风险备受关注。
前沿科技伦理风险认知的底层逻辑
从国家战略的层面来讲，对前沿科技伦理风险及深层次伦理风险的认知事关重大，是相关科技、产业、社会、教育、环境、卫生健康等各方面政策选择和实施导向的基础。展望未来，人类将进入深度科技化时代，科技影响的复杂性日益呈指数级上升，我们的智慧和意识能否跟上这一加速度，正在成为本世纪文明演进的首要难题。而应对这一难题的关键，不应仅依赖事后的反省，也不应是简单的禁止，而在于不断总结和反思前沿科技伦理风险预见、评估和审查中的方法和经验，不断地发现、探索和重构前沿科技伦理风险认知的底层逻辑。
作为政策工具的科技伦理研究和风险认知。前沿科技所导致的价值冲突和伦理抉择往往是前所未有的，是传统的道德哲学和伦理理论所没有遭遇或处理过的问题。前沿科技伦理研究和风险认知并不是单纯的伦理学或应用伦理学研究（尽管后者为前者提供了重要的学理基础），也不仅仅局限于科技共同体的共识，而更多地是作为政策工具和问题导向的跨学科探究，是参与科技伦理治理的相关群体的集体认知——而这也是当前各国推动科技伦理与治理真正的挑战性所在。
针对前沿科技伦理问题与风险，基本的认知策略是，根据目前所掌握的科技伦理风险相关事实及其未来的可能性，运用伦理、法律、社会、政治、经济、公共管理等领域已有的理论资源，对其中所涉及的伦理和法律等方面的价值问题（如权利、责任、公平等）展开分析，对利益相关者的具体风险和收益加以权衡。
为了加强对科技活动的伦理规范，政府部门、行业、产业和科技共同体制定了科技伦理原则、规范、标准和指南，其中包括一般性的和通用的，而更多的是针对生命医学、人工智能等专业和重点领域的。尽管这些文件是规范性的，但它们的形成只是科技伦理问题的跨学科共识和集体认知的第一步，因此它们可用作科技活动的伦理评估和伦理审查的参考框架和工作假设。换言之，科技伦理与创新一样也应该有一个从0到1的过程，相关规范的实际内涵和认知价值需要通过科技伦理评估、审查等实践才能得到落实、丰富、调整和发展。
前沿科技伦理风险认知的系统性和可塑性。对前沿科技伦理风险的全面与深入的认知建立在系统思维之上，不是单纯的科学、技术、伦理认知及其组合，而是一种综合性与系统性的认知。
其一，包括纯科学在内的现代科技活动都是在科技军工复合体和科技金融复合体等复杂的科技社会系统中进行的，这些复合体或科技社会系统决定了科技活动的目标，特别是如果科技军工复合体占主导地位，两用研究势必强化，科技伦理风险会变得更加复杂。
其二，前沿科技所改变或颠覆的并不仅是单纯的科学事实或技术现实，对前沿科技所带来的全新事实或现实的认知和理解，应该建立在科技社会系统与自然生态系统（生物圈）、信息传播系统（信息圈）、社会政治经济文化系统（文明圈）和正在形成之中的万物智能化系统（心智圈）的相互联系和影响之上。
其三，科技伦理风险与法律、安全、安保等风险紧密相连，要从系统性的维度对其加以把握。可以说，前沿科技风险认知的最大障碍是科技专家、伦理法律公共政策专家和科技政策制定者的认知大多局限于领域知识，而这些领域知识难以与前沿科技带来的系统性的全新现实相匹配。由此难免导致系统性无知，而无法识别科技、自然和人类系统之间复杂的互动纠缠。
其四，前沿科技的伦理价值取向离不开相关的科技文化背景，对它们的深入研究和了解是前沿科技伦理风险认知必不可少的基础。值得指出的是，当前生命科技和人工智能等领域的最新发展，与后人类主义和超人类主义等思想观念有密切的关联。例如，超人类主义相信人类可以通过科学和技术达到一种新的存在状态——更聪明、更强大、更长寿，而有关人工智能长期风险和生存风险与有效加速主义之争的背后是科技末世论与科技乐观主义的对峙。
因此，前沿科技伦理风险认知的宗旨是立足系统思维，超越简单的技术乐观主义和技术悲观主义，赋予科技创新更大的可塑性。首先，通过对前沿科技所带来的系统性新现实的科技伦理分析，最大限度地克服由系统性无知所引发的过于乐观的幻想和过于悲观的恐惧，从而使前沿科技的潜在风险得以相对理性地澄清，也使得其中的不确定性和未知前景得以呈现。
其次，通过对前沿科技伦理风险的系统性分析和认知，研究者与政策制定者应据此更全面地了解、更明确地界定前沿科技伦理争议中的关键问题，进而聚焦于这些问题，在恰当的时机作出最大限度地减少潜在科技伦理风险的政策选择。一方面，研究者与政策制定者应运用系统认知，在前沿科技伦理风险的问题定义和解决方案的提出中掌握主动权，使科技伦理治理免受媒体炒作、新技术反对群体的激进立场以及大科技公司游说的负面影响；另一方面，研究者和政策制定者应该充分认识到前沿科技伦理风险往往涉及的是伦理两难或道德困境，应诉诸权衡、审度、调适等实践智慧，而不是非善即恶的简单抉择。
最后，更为重要的是，前沿科技伦理研究和风险认知赋予科技创新更大可塑性的关键在于研究者和政策制定者的系统认知能力与整体调控能力。转基因技术的伦理争议、剑桥分析干预美国大选等事件表明，对新技术的过早担忧（如脸书等被指责为“全景监狱”可能会干扰对科技伦理风险的系统认知和理性对话）使社会公众和政策制定者难以了解问题的全貌和未来更加丰富的可能性。[4]在另外一些情况下，媒体对丑闻的过度关注和人们对科技可能性的过度想象（如人工智能终结者）可能会转移问题的焦点，不当放大人们的风险感知。因此，研究者和政策制定者要保持必要的风险认知定力，要将对伦理风险的夸大及由此造成的恐慌心理和正在探讨的伦理问题与风险区分开来，致力于澄清具体科技活动中利益相关者的利害关系，在不同的价值观之间（如隐私与安全）进行权衡与调节。
强调前沿科技风险认知的系统性与可塑性，意味着理想的科技伦理风险防范和科技伦理治理并不仅仅是人们常说的方向盘和刹车片，而更是建立在系统权衡之上的战略性的塑造者。简单地讲，就是要认识到前沿科技伦理风险以及我们对其认识的系统性、复杂性和未定性。而科技伦理治理的关键策略是从相称性原则出发，在预防科技伦理高风险和促进有益的科技创新之间保持必要的张力，为前沿科技构造应有的创新空间。因此，为了走向更具可塑性的科技伦理治理，负责任的创新既要最大限度地减少前沿科技可能的伦理风险，又要避免过度科技伦理风险防范抑制有益的前沿科技创新。而这无疑需要相关主体在实践探索中反复磨合共识，不断凝练智慧。
深层次科技伦理风险的预控和应对之道
当前，前沿和新兴科技的发展日益走向一种我们尚未能把握其全貌的深度科技化时代，不论是其中所呈现的深层次的伦理风险，还是新兴科技驱动的科技社会的革命性变化，都表明我们要用一种更加开放和审慎的态度深化认识、预控和应对可能出现的科技伦理风险。
第一，要从树立科学认知的伦理边界意识入手加强科技伦理意识建设，通过科技、伦理、法律等交叉学科研究，探索前沿科技的伦理边界和标准，形成自主的话语权。为了避免国际科技霸权主义置喙，建议通过扎实的学术研究和参与国际主流学术交流推进相关工作。为此，要进一步加强对科技伦理风险的研究和评估，并将这方面的研究能力作为前沿科技创新的核心认知能力。相关关键能力包括三个方面：一是通过跨学科协同，对生命科技和人工智能前沿的具体研究的社会影响和风险展开系统研究；二是通过跨领域探索，聚焦可能出现的跨领域复合性不确定风险，如前沿人工智能与生命科学结合可能带来的机遇与风险等，对其程度和范围作出相对准确的预见和评估；三是整合各学科和各领域，从领域、机构和研究者等维度绘制前沿科技伦理风险地图，以此从总体上提升对前沿科技伦理风险的系统认知。
第二，要将伦理规范、法律规制和技术解决方案三个维度结合起来，设置合理的伦理法律门槛，分级分类管理，构建前沿科技伦理软着陆机制，对深层次的科技伦理风险展开系统性和整体性的治理。值得指出的是，对人工智能等可能出现生产力革命的前沿科技领域的监管，应该尊重科技规律和科技管理规律；对信息安全和内容监管设置的伦理法律门槛应该分级分类，除了少数具有大规模社会动员和重大舆论影响的内容外，应该从容错性的角度使得监管适应人工智能的超速发展；同时需要加强与科技和产业部门的协同治理，共同构建前沿科技伦理软着陆机制。应该看到，在ChatGPT的开发过程中，OpenAI运用“人机价值对齐工程”在原理上解决了价值伦理冲突的调和与矫正，为前沿科技的深层次伦理问题的治理指出了一个可行的方向——人机和人类与技术的价值对齐工程化。
第三，为了不让各种科技伦理原则规范束之高阁，应该通过技术、管理和制度方面的解决方案，形成一套治理机制。其一，通过广泛的调研和预见性研究与评估，建立和不断更新前沿科技领域的科技伦理高风险清单。应通过这些清单的发布和审查复核，让科技共同体、管理者和整个社会认识到具体的科技伦理风险和伦理边界所在。其二，可以从开源创新和开放科学的维度，要求具有较高科技伦理风险的研究和创新活动在启动阶段公开注册，通过数据开放存储与共享，在研究实验的全生命周期保持研究数据的透明性和可核查性，以便及时接受必要的伦理风险评估和审查。其三，要从制度上设计不同部门不同规定之间的接口机制，如不同伦理审查办法以及伦理委员会之间建立互操作、互认可等相互衔接和协同的机制。
第四，推进科技伦理研究、推动科技伦理传播和教育的关键不仅在于科技伦理学、应用伦理学和伦理学方面的研究、教育和传播，更关键的是增进科技工作者和全民的系统思维与系统风险认知能力，尤其是加强科学、技术、工程哲学、历史、文化、政治、经济、社会等方面的交叉学科和跨学科研究，进而全面提升科技人员和社会公众基于系统性认知的科技伦理素养。
第五，科技伦理治理要注重遵循相称性原则，既要避免松懈，也要防止过于严格。国际科技伦理治理中非常重视的相称性原则，其基本内涵是既不忽视问题，也不夸大问题，而是要根据科技理论风险的程度展开针对性的治理。包括联合国教科文组织新近发布的《人工智能伦理问题建议书》等在内的国际科技伦理指引中都强调了这一原则。从相称性原则出发，一方面，科技发展不要“冲”得过快，科技活动的主体应该认识到为了使科技伦理风险可控，需要及时作出伦理回调；另一方面，在对科技企业的伦理治理、法律规制与行政监管中，应该致力于通过恰当的监管促使其及时作出必要的伦理回调，同时应该避免过于严苛的处置。
（本文系国家社会科学基金重大项目“智能革命与人类深度科技化前景的哲学研究”的阶段性成果，项目编号：17ZDA028）
注释
[1]珍妮·戴尔：《拉斐尔·尤斯特：“我们必须尽早采取行动”》，2022年，https://www.unesco.org/zh/articles/lafeieryousitewomenbixujinzaocaiquxingdong?hub=83294。
[2]C. Preston, “Socrates Untenured: Ethics, Experts, and the Public in the Synthetic Age,“ Issues in Science and Technology, 2020(3).
[3]“Ethics in Technology Assessment,“ Issues in Science and Technology, 2020(2).
[4]萨姆·吉尔伯特：《好的数据：乐观主义者的数字未来指南》，孟雁北译，上海人民出版社，2023年，第145～156页。
Deep Ethical Risks of Frontier Science and Technology and Responses to Them
Duan Weiwen
Abstracts: At present, the ethical risks of frontier science and technology, such as life science and technology and AI, have increasingly aroused great concern in the international community, and China's S&T ethical governance is embarking on the road of institutionalized development. To better promote China's ethical governance of science and technology, it is necessary to effectively grasp the characteristics of frontier science and technology as the focus of ethical governance of science and technology and reveal a series of deep ethical risks it presents. Thus, it is necessary to further strengthen the understanding of the structural characteristics of the sociotechnical system, and to explore and reconstruct the underlying logic of risk perception. Firstly, we should fully understand the revolutionary changes in the sociotechnical system driven by emerging science and technology, to understand the structural essence of the deep ethical risks of emerging technology. Secondly, based on the open practice of ethical governance of frontier science and technology, the risk cognition and ethical principles of science and technology are regarded as the collective cognition and working assumptions that are constantly updated by relevant groups. Thirdly, it emphasizes the systemic and plasticity nature of risk cognition in frontier science and technology, giving innovation a greater space of possibilities. As a result, we can find ways to prevent, control and cope with deep ethical risks of S&T, such as establishing ethical boundaries for scientific cognition, setting reasonable ethical and legal thresholds, forming an open and holistic governance mechanism, improving public S&T ethical literacy, and adhering to the principle of proportionality.
Keywords: ethics of science and technology, ethics and governance of science and technology, deep technologization, deep ethical risks, systems thinking
