【摘要】近年来，以预训练大模型为代表的人工智能技术能力快速提升，也加速推动人工智能技术与科技、经济、社会发展深度融合，成为新一轮科技革命和产业变革的重要驱动力量。作为一项新兴技术，人工智能的“双刃剑”效应使得技术在快速进步和应用的同时，也引发了全球对其可能带来各类风险挑战的担忧。特别是随着大模型技术的突破，人工智能可能带来的风险挑战发生了一些新的变化。因此，需要在充分把握人工智能技术发展规律的基础上，从政策法规、技术能力、标准规范等多个方面采取针对性的治理之策，深化全球协作，共同应对风险挑战。
【关键词】人工智能 预训练大模型 风险挑战 治理对策
【中图分类号】TP18 【文献标识码】A
【DOI】10.16619/j.cnki.rmltxsqy.2024.13.007
【作者简介】徐峰，中国科学技术信息研究所人工智能发展研究中心常务副主任、研究员。研究方向为人工智能发展战略、科技政策与战略研究。主要著作有《基于事实的科技政策研究理论与实践》（合著）、《2021全球人工智能创新指数报告》（合著）、《关于人工智能伦理风险的若干认识》（论文）等。
经过近70年的发展，人工智能技术发展经历了三次起伏，2022年以来，以ChatGPT、Sora等为代表的预训练大模型持续取得突破，推动着人工智能技术从感知向认识，从分析判断式向生成式，从专用向通用进入快速发展的新阶段。在技术取得突破的同时，大模型正以颠覆性、扩散性、渗透性方式引发经济、社会、文化、军事、安全等各领域体系化变革，在促进产业升级、引领社会发展中发挥着日益重要的赋能作用。与此同时，技术能力的跃升、技术应用的扩展以及技术治理的介入等多种因素叠加，使得大模型技术在研发和应用过程中带来的各类风险挑战日益受到关注。
当前大模型技术的发展态势
当前，以ChatGPT为代表的预训练大模型技术取得突破，推动人工智能技术进入新的发展阶段，也引发了人们对通用人工智能可见未来的乐观预期。[1]作为当前人工智能主流技术路线，人工智能大模型研究、应用与产业化发展正处于引发各领域体系化变革的关键时期，成为国际人工智能领域研究的焦点。从人工智能发展的长周期上看，大模型技术仍有不断进步的空间，将在相当长时间内持续引领全球新一轮人工智能技术革命向纵深发展。
大模型展现出来的智能水平持续提升。近年来，随着OpenAI、Google、Meta等科技巨头持续加大算力投入、提升大模型研发力度，大模型智能水平不断提升。[2]2022年以来，OpenAI相继发布ChatGPT、Sora和升级的GPT-4o，推动大模型技术能力边界持续拓展，实现了知识理解、逻辑推理、生成速度、多模态实时交互等方面智能水平的代际提升，并初步具备适用于多任务、多场景、多功能需求的通用化能力。从趋势上看，大模型的规模效应（scaling law）仍有望持续，大模型能力的进一步突破还有较大空间，未来3年～5年规模化的人工智能基础大模型仍处于高速发展期。而且，大模型技术能力的不断提升也将推动人工智能多技术路线的融合发展，进一步形成能够自主学习并与真实世界实时交互的具身智能、大规模多智能体协作的群体智能、脑机双向交互增强的人机混合增强智能等新智能形态，推动人工智能的智能水平持续提升。[3]
大模型算法框架等底层技术持续创新。大模型技术的快速发展，离不开以基础语言架构Transformer为代表的基础算法技术的支撑，目前以GPT-4为代表的主流基础大模型大多基于Transformer架构。[4]然而，在持续提升大模型训练规模的同时，Transformer架构模型支撑大模型训练也面临着算力消耗和训练成本过高等瓶颈。为此，国内外许多机构和学者都在积极推动模型架构和计算架构等方面的底层技术创新。例如，美国推出的Hyena、Mamba等新型网络架构破解了Transformer架构平方级的算力损耗瓶颈。[5]这些新网络架构和底层颠覆性创新等大模型发展“新赛道”，将为延续智能时代的“新摩尔定律”提供源头支撑。
大模型引领行业智能化浪潮加速推进。伴随着大模型在大数据处理和通用化任务方面能力的提升，针对特定应用、特定领域、特定问题的专用模型也在蓬勃发展，展现出技术突破与应用拓展相互叠加、大模型和专用模型相互促进的发展态势。ChatGPT等大模型一经推出，便快速被嵌入到办公软件、搜索引擎等产品中，短期内就让我们看到了新数字内容生产方式带来的“颠覆性创新”。与此同时，大模型技术正在作为新的工具被实际运用到制造、金融、交通等生产端，乃至国防军事领域。特别值得关注的是，从医药研发、系统模拟仿真等应用研究领域到数学、物理等基础理论研究领域，从生命的基本组成到世界工业的基本要素，基于大模型的人工智能技术与科学研究的融合程度不断加深，不仅为解决各个科学技术领域具体问题提供了工具，更是重新定义了科学研究方式的系统性思路，形成了新的科研范式。
大模型技术进步与应用带来的风险挑战
当前，在全球持续加快推动大模型发展的同时，其技术快速发展与应用对社会伦理体系和法律监管制度的冲击，以及对经济社会发展带来的各种风险挑战也日益受到国际社会关注。已有很多机构和学者从隐私偏见、数据安全、误用滥用等方面对人工智能技术与应用的各类风险挑战进行了研究，这些研究也为当前人工智能治理提供了指向。[6]随着大模型技术取得突破，智能水平显著提升，应用领域加速拓展，其带来的潜在风险挑战也发生了一些新的变化。
技术能力持续提升引发的新担忧。关于人工智能超出人类控制的担忧，长期以来都是人们关注的热点。随着大模型技术的迅猛发展，其在处理复杂任务和生成高质量内容方面的能力显著提升，再次引发了社会对人工智能技术发展失控的广泛担忧。其中，机器人的高度自主性、通用人工智能的颠覆性以及人机融合可能带来的大规模、前沿性风险尤为引人关注。例如，ChatGPT大模型问世不久，美国特斯拉公司首席执行官马斯克等组织全球3000多名专家以其对社会和人类的潜在风险为由，敦促暂停大模型的训练。人工智能潜在风险导致部分人担心大模型技术可能会超越人类智慧，最终“反噬”人类。此外，大模型技术本身就因算法“黑箱”、模型“幻觉”等因素存在不可解释、不可预测的难题，随着大模型变得越来越复杂和强大，这种不可解释性与固有的算法偏见、数据偏差相结合，使得出现事故后的追溯和归因更加困难，可能进一步加剧公众的信任危机。
技术应用持续拓展面临的新风险。大模型技术在越来越多的应用类型和服务领域得到广泛使用，风险挑战也随之增加。一是因技术应用门槛降低而加剧技术误用滥用问题。大模型相关产品具有易操作和开源开放等特点，使得其应用门槛不断降低，利用相关技术手段生成虚假文字、音频和视频等事件时有发生。二是因技术能力持续提升放大偏见歧视等问题。大模型算法主要基于历史数据进行学习和预测，如果训练数据中包含偏见或歧视内容，算法就会在学习过程中对其不断强化，导致输出带有性别歧视、年龄歧视、种族歧视等问题的内容。三是因大模型多元化内容生成能力而带来的社会伦理问题。内容生成是目前主流大模型的重要技术能力，在加速应用的过程中，可能会突破人类传统内容和知识生产边界，对知识生成秩序形成重大冲击，从而引发学术诚信等伦理风险。
能源资源消耗增长带来的新挑战。大模型技术的快速发展和广泛应用可能造成模型训练、芯片制造、数据中心运营等环节在未来3年～5年内需求的能源呈指数级增长，这一问题越来越受到社会各界的广泛关注。斯坦福大学《2023年人工智能指数报告》研究显示，OpenAI的1750亿参数GPT-3大模型训练耗电量约为129万度，拥有更大参数量的GPT-4大模型训练用电达5177万度～6232万度，能耗为GPT-3的40倍以上。人工智能芯片制造过程也十分耗能，Gartner预测，到2026年绝大部分人工智能芯片的功耗将达到1000瓦，是目前平均水平的1.5倍。数据中心是人工智能运行和承载服务的重要基础设施，在运行过程中会产生大量热量，为使系统散热冷却，需要消耗大量能源。根据国际能源署的研究数据，2021年全球数据中心用电量为2200亿度～3200亿度，约占全球电力需求的0.9%～1.3%，其中冷却系统用电占比达40%。此外，大模型的发展或将进一步加深全球智能鸿沟，影响全球可持续发展进程。不同国家地区、行业以及人群之间，对大模型等人工智能技术的掌握、应用和治理存在差距，由此产生了资源占有不均、发展机遇不同等问题，且差距很可能逐渐拉大。在缺乏技术、应用以及监管的情况下，大模型技术的负面效应对发展中国家的影响可能更为严重。
大模型快速发展下的全球治理新动向
面对以大模型为代表的人工智能技术快速发展与应用带来的风险挑战，各国政府、国际组织、学术和产业界等纷纷开展风险治理的研究与实践。[7]据不完全统计，目前全球已发布100多部人工智能伦理治理相关文件，从政策法规、原则规范、技术标准、行业自律等多个维度持续加强对以大模型为代表的人工智能技术的治理。
通过立法等方式推动完善治理制度体系。近年来，美国、欧盟、德国、加拿大、巴西等国家或地区不断完善人工智能治理顶层设计，相继制定和发布人工智能相关法律法规或法案，希望通过立法等方式，针对大模型等新技术引发的新问题持续完善早期的治理框架体系。虽然美国发布了《人工智能权利法案蓝图》，近两届国会也引入了100余项关于人工智能的法案，但目前仍未出台统一的联邦立法，主要通过总统行政令、指南倡议、部门执法和企业自愿承诺等方式开展较为宽松的治理实践。2023年拜登签发的《关于安全、可靠、可信地开发和使用人工智能的行政令》中，最严格的监管措施不过是要求部分提供大模型的企业承担信息共享义务。欧盟于2024年5月通过了《人工智能法案》，建立了基于风险的分级分类监管机制，尤其重视对高风险的治理。这一立法思路为加拿大、巴西等国效仿，但能否发挥预期作用仍有待观察。该法案自起草至通过3年来，不断引起社会各界的争议，欧盟立法者认为该法案将促进创新并维护公民基本权利，但科技行业却认为该法案将给企业带来高昂的合规成本，[8]公民组织也质疑该法案能否有效落实。2023年英国政府发布《支持创新的人工智能监管规则》白皮书，提出了一个原则性的监管框架，主要由现有部门针对特定行业开展人工智能分类监管，待实施一段时间后再评估是否启动立法程序。此外，国际社会十分关注重点细分领域立法，如美国、德国通过《自动驾驶法》，加拿大颁布《自动化决策指令》等。
基于风险分级分类治理加强监管。2023年以来，随着大模型技术的快速发展，美国、英国和新加坡等纷纷开展了大范围的前沿人工智能风险主题听证会、公众意见咨询和国际论坛等，就以大模型为代表的前沿人工智能应用面临的问题和风险类别、评估与解决方案、负责任的技术开发等议题进行研讨。对人工智能风险进行等级划分，对高等级风险重点监管，是当前人工智能治理的主要模式，欧盟《人工智能法案》、加拿大《自动化决策指令》、新西兰《算法宪章》等，均设计了不同类型的分级分类治理模式。目前，欧盟、美国和中国等已针对大模型进行专门立法或制定相应的监管规则。欧盟和美国均以基础模型能力作为监管标准，以浮点运算数（flops）作为具体指标。中国发布的《生成式人工智能服务管理暂行办法》着重关注大模型可能带来的内容安全风险，设定了安全评估和算法备案制度，在全球范围内具有创新性。值得注意的是，大模型监管引发了各界争议，有观点认为不应对大模型进行严格规定，以免阻碍技术发展进步。例如，德国、法国和意大利曾联合发表声明，要求对大模型进行“自律型监管”，而非由政府部门监管。但出于对先进人工智能系统性风险的考虑，该观点没有被欧盟《人工智能法案》吸收。当然，各国对生成式人工智能的具体治理措施随着对该技术的认识水平提升也在不断变化。例如，德国、意大利等从早期的禁用ChatGPT变为解禁并对模型开发商提出要求。
通过“以技制技”方式应对安全和伦理风险。人工智能的安全性是攻与防的博弈，通过“以技制技”的方式，强化对技术自身不断修正完善以及体系化的安全防护技术研发，也是应对以大模型为代表的人工智能安全新态势的重要路径。一方面，需要通过加强安全性理论和技术研究来应对技术本身带来的风险。2024年5月，包括三位图灵奖获得者在内的多位人工智能专家在美国《科学》杂志联合发表文章，呼吁主要科技公司和政府机构至少将1／3的人工智能研发预算用于确保人工智能安全和合乎伦理的使用。[9]对于大模型而言，突破模型和算法的可解释性、鲁棒性、安全性及价值对齐等关键问题，是人工智能治理的重要路径。另一方面，需要开发新的安全技术应对大模型可能带来的安全风险。美国、英国和日本等相继成立人工智能安全研究所，对人工智能模型评估测试相关标准和工具开展研究。2024年2月，美国商务部牵头包括OpenAI、谷歌、Meta等人工智能领军企业在内的200多个组织，组建人工智能安全研究所联盟，共同制定新的人工智能规则，包括红队测试、能力评估、风险管理、人工智能生成内容添加水印等指南。微软推出集成GPT-4大模型的网络安全平台Security Copilot，通过关联内容发现潜在攻击信号，以加强安全检测能力等。
以公私合作方式协同推动政府监管与行业企业自律。当前，以谷歌、微软等为代表的科技企业引领着大模型技术快速发展与应用，因此在推动大模型治理过程中，引导行业企业开展自律自治十分重要。美国政府把积极推动人工智能企业自律自治作为大模型治理的重要方式。2023年，面对大模型技术的快速发展，美国白宫召集亚马逊、谷歌、微软和OpenAI等7家人工智能头部企业，共同对负责任的创新作出自愿承诺，强调坚持“安全、保障和信任”基本原则，并开展安全测试。此后，又有英伟达、Adobe、IBM等8家科技企业签署此承诺。这一自愿承诺不仅是企业行为，在美国政府推动下也具有了国际影响力。美国政府已就该承诺与澳大利亚、加拿大、印度、日本、韩国等20个国家进行了磋商，希望共同推动建立人工智能开发应用的国际治理框架。除了政府的大力倡导和支持外，美国的人工智能企业之所以积极开展伦理治理实践，也源于市场和技术发展需求、对人工智能的未来判断以及社会责任等因素。特别值得关注的是，当前大模型技术存在不确定性风险，监管尺度难以衡量，企业的承诺和实践反映了人工智能技术研发应用一线的呼声，达成的共识可能上升为国家政策和法律法规等，从而具备执行力和约束力，转化为国家人工智能发展的保障措施。
逐步加强全球治理合作应对人类共同挑战。人工智能安全和伦理风险具有全球性特征，加强合作是应对此类风险的有效措施，国际社会已就此达成了一系列共识，初步建立了相关机制，并取得了一定成果。由大模型引发的新一轮人工智能监管热潮，使得各国在原有人工智能国际合作基础上，纷纷加强治理领域的合作，国际组织也对治理问题表现出极高的关注度，联合国安理会、国际电信联盟等均开展了行动。大模型等新一代人工智能技术治理合作的重心聚焦监管、风险、安全、可信和负责任的人工智能等议题。2023年英国发起举办全球人工智能安全峰会，会上发布的《布莱切利宣言》指出，要加强对通用人工智能模型风险的理解和行动。2024年《人工智能首尔宣言》同样强调人工智能安全、创新和包容性，体现了未来人工智能治理合作的导向。然而也要看到，目前大模型治理国际合作仍面临着诸多挑战。一方面，尚未有国际组织承担起全球人工智能核心监管机构的角色，各国际组织呈现高度分散的状态。另一方面，政府间合作多具有地缘政治特征和大国竞争导向。以G7国家为代表的发达国家的治理原则、标准正在落实中，而以金砖国家为代表的新兴市场和发展中国家在人工智能治理国际合作中的潜力尚待挖掘。值得关注的是，在全球科技竞争的背景下，可能存在一些国家主动削弱监管以获得经济竞争优势的情形。因此，打造一个全方位、多层次、汇聚广泛共识，具有真正的包容性、平等性、多元性的全球人工智能治理框架仍然面临诸多挑战。
对大模型发展带来风险挑战的再认识和应对策略
由于大模型技术迅速应用，特别是ChatGPT为代表的标志性产品以空前的速度和广度进入人们的日常工作生活，使得大模型技术带来的风险挑战逐渐进入了大众的视野。大模型本质是一种新兴技术，需要从人工智能技术发展与治理实践的视角客观地分析和认识其可能带来的风险挑战，从而在积极推动技术治理回应社会关切的同时，持续推进以大模型为代表的人工智能技术的健康发展。
从新兴技术发展的“双刃剑”效应看待大模型技术进步。任何新技术的发展都具有“双刃剑”效应，每一次重大技术突破，在带来巨大的社会和经济效益的同时，通常都会对社会运行、产业体系、政策法规等带来一定的冲击和挑战。从历史经验上看，蒸汽机革命、电力和电气化及互联网都在一定程度上提高了生产效率并推动了社会发展，但同时也产生过包括危害工人权益、安全危机和网络犯罪等问题。大模型作为一项典型的新兴技术，其发展也符合这一规律。一方面，随着技术本身的不断进步，包括模型偏见、可靠性和透明性等问题都有可能被逐步解决。另一方面，随着治理手段的不断丰富完善，一些潜在的风险挑战也将会得到有效应对。即便是目前备受关注大模型技术的发展和应用带来能源消耗大幅增长的问题，大模型技术本身也在向高效低耗方向不断优化，如通过采用剪枝、量化、蒸馏等技术提升大模型算法效能，使大模型运算更快、能耗更低。而且，从社会整体效能看，大模型等人工智能的应用可大幅提高人类社会的劳动生产率，提升能源使用效率，促进节能减排，有力推动绿色、低碳、可持续发展。
从人工智能技术发展规律理解大模型带来的风险挑战。目前人工智能技术正处于一个快速发展的新的阶段，虽然大模型技术的突破让我们看到了通用人工智能发展的可能性，但从人工智能发展的长周期上看，人工智能技术仍处于从专用人工智能向通用人工智能探索的初级阶段。一方面我们需要对包括出现超越人类的高度自主智能等未来可能发生的风险保持关注，另一方面也不应将未来的风险视为现实的直接威胁。要及时研判未来技术发展趋势和可能出现的风险，制定阶段应对策略。同时，不过度限制技术创新。要鼓励大模型技术在更广泛的领域发挥潜力，持续推动社会进步。
从人工智能治理实践认识大模型风险问题带来的新变化。随着人工智能风险治理领域的研究与发展持续推进，人们的认识也不断发生变化。一方面，治理实践的推动使得人工智能原有的部分风险问题得到了一定程度的解决。例如，提高数据源透明度，提升模型的可靠性，明确大模型服务提供者的权利义务，等等。这些问题的逐步解决，使得大模型的风险水平和形态均发生了新的变化。此外治理措施的实施有助于降低风险的实际危害程度，这也会反映在公众的风险感知中。当治理举措有效遏制了风险源或降低了风险事件发生的概率，公众会感受到风险的降低。另一方面，当治理机构或媒体大量报道某一风险事件时，可以显著提升公众对此类事件的关注度。这可能导致人们对该风险的严重性和迫切性的认识加深，甚至可能产生风险放大效应。这些变化将会影响未来对大模型等人工智能治理的理念和策略，值得我们密切关注。
从平衡发展与安全的综合视角推进大模型技术治理。面对快速发展的大模型技术，以及日益复杂的各类风险挑战，应充分兼顾发展与安全的平衡，在继续推动大模型技术创新和拓展应用的基础上，多维度发力开展大模型治理，确保技术的安全、有效和可持续发展。一是加强对大模型技术发展可能带来风险挑战的前瞻研判。建立针对未来技术趋势的研究体系，围绕大模型可能带来的社会影响、伦理挑战和法律问题开展前瞻性研究，为政策制定提供科学依据。推动计算机科学、伦理学、法律、社会学等学科的交叉研究，共同探讨大模型在实际应用中面临的复杂问题，寻找综合解决方案。二是加强大模型安全技术研发与评测体系建设。加强大模型安全可信理论方法和大模型价值对齐技术等的研究，推动打造安全可信的通用人工智能新模型。针对大模型等人工智能自身安全和外来攻击风险，加快推动安全防护技术研发，提高人工智能系统安全防御能力。建立全面的大模型安全评测体系，从算法安全性、数据隐私和输出可靠性等多维度进行评估，确保大模型在应用中的安全性。制定并推广大模型技术标准，规范研发和应用过程中的安全防护措施，为行业提供统一的技术指南。三是完善包容敏捷的监管机制。建立健全适应人工智能发展特点、多主体广泛参与的敏捷治理体系，开展分类分级治理，将伦理和安全风险防控理念贯穿人工智能全生命周期。明确人工智能监管的基础性原则规则，为企业设定容错试错机制以鼓励创新。四是深入推动大模型的全球治理合作。基于近些年来全球国际组织、主要国家、研究机构和企业等在人工智能治理目标和原则上达成的共识，进一步推动建立全球性、区域性、多层次人工智能治理合作平台和合作机制，依托人工智能相关国际组织，共同商讨全球治理规则，共同推动以大模型为代表的人工智能更好地赋能人类社会。
（本文系科技创新2030——“新一代人工智能”重大项目研究成果之一，课题编号：2023ZD0121701；中国科学技术信息研究所博士后赛秋玥，助理研究员刘鑫怡、刘乾对本文亦有贡献）
注释
[1]张凌寒：《生成式人工智能的法律定位与分层治理》，《现代法学》，2023年第4期。
[2]K. Wach et al., "The Dark Side of Generative Artificial Intelligence: A Critical Analysis of Controversies and Risks of ChatGPT," Entrepreneurial Business and Economics Review, 2023, 11(2).
[3]阴和俊：《以科技创新引领人工智能快速健康发展》，《中国网信》，2024年第3期。
[4]刘学博等：《大模型关键技术与未来发展方向——从ChatGPT谈起》，《中国科学基金》，2023年第5期。
[5]T. Dao and A. Gu, "Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality," 2024, https://github.com/state-spaces/mamba.
[6]郭锐：《人工智能的伦理风险及其治理》，《北京航空航天大学学报（社会科学版）》，2020年第6期；赵精武等：《ChatGPT：挑战、发展与治理》，《北京航空航天大学学报（社会科学版）》，2023年第2期。
[7]薛澜、贾开、赵静：《人工智能敏捷治理实践：分类监管思路与政策工具箱构建》，《中国行政管理》，2024年第3期；张欣、宋雨鑫：《全球人工智能治理的格局、特征与趋势洞察》，《数字法治》，2024年第1期；张涛：《人工智能治理中“基于风险的方法”：理论、实践与反思》，《华中科技大学学报（社会科学版）》，2024年第2期。
[8]B. Mueller, How Much Will the Artificial Intelligence Act Cost Europe? 2021, https://www2.datainnovation.org/2021-aia-costs.pdf.
[9]Y. Bengio et al., “Managing Extreme AI Risks Amid Rapid Progress,“ Science, 2024, 384(6698).
责 编∕ 美 编∕周群英
Risks, Challenges and Countermeasures Arising from the Development
of Large Models of Artificial Intelligence
Xu Feng
Abstract: In recent years, the capability of artificial intelligence technology represented by the pretraining large model is improved rapidly. Artificial intelligence technology is deeply integrated with the development of science and technology, economy and society, which has become the important driving force of the new round of science and technology revolution and industrial transformation. At the same time, the "double-edged sword" effect of artificial intelligence as a new technology causes the global concern to the risks and challenges it may bring, with the technology rapidly advance and apply. Especially with the breakthrough of large model technology, the risks and challenges of artificial intelligence have brought some new changes. Therefore, we should take targeted governance countermeasures from policy, regulation, technical capability, standard and so on the basis of grasping the law of the development of artificial intelligence technology, and actively deal with them under the global cooperation.
Keywords: artificial intelligence, pretraining large model, risks and challenges, governance countermeasures
