人工智能是新一轮科技革命和产业变革的重要驱动力量,深度学习作为人工智能的核心技术,具有很强的通用性,并具备标准化、自动化和模块化的工业大生产特征,而大模型的兴起,使得人工智能应用的深度和广度进一步拓展。人工智能已进入工业大生产阶段。
例如,标准化方面,框架和模型联合优化,多硬件统一适配,应用模式简洁高效,大幅降低人工智能应用门槛;自动化方面,从训练、适配到推理部署,提升人工智能研发全流程效率;模块化方面,丰富的产业级模型库,支撑人工智能在广泛场景的便捷应用。人工智能具有多种典型能力,理解、生成、逻辑、记忆是其中的基础能力,这4项能力越强,越接近通用人工智能。而大语言模型具备了这4项能力,且越来越强,为通用人工智能带来了曙光。
百度在3月16日发布新一代知识增强大语言模型“文心一言”,目前文心一言的基础模型已迭代到文心大模型4.0。知识增强大语言模型从数万亿数据和数千亿知识中融合学习,得到预训练大模型,在此基础上采用有监督精调、人类反馈强化学习、提示等技术,具备知识增强、检索增强和对话增强的技术优势。此外,文心大模型4.0在输入和输出阶段都进行知识点增强。在逻辑增强方面,通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络,提升逻辑能力。而在插件方面,通过数据驱动、提示构建,以及插件增强进行场景适配,协同优化。文心一言已上线百度搜索、览卷文档、E言易图、说图解画、一镜流影等原生插件,扩展了大模型能力边界,更适应场景需要。
正是通过飞桨与文心的协同优化,文心大模型周均训练有效率超过98%,训练效率提升到3月发布时的3.6倍,推理性能提升50倍。文心4.0的理解、生成、逻辑、记忆4大能力显著提升,其中理解和生成能力的提升幅度相近,而逻辑和记忆能力的提升则更大,逻辑的提升幅度达到理解的近3倍,记忆的提升幅度也达到理解的2倍多。
文心一言自今年8月31日面向全社会开放,用户规模达到7000万,场景4300个。飞桨和文心生态已凝聚800万开发者,服务22万家企事业单位,创建了80万个模型。面对大模型产业化的挑战,类似芯片代工厂模式,可以采用“集约化生产,平台化应用”的模式,即具有算法、算力和数据综合优势的企业将模型生产的复杂过程封装起来,通过低门槛、高效率的生产平台,为千行百业提供大模型服务。
目前,这一产业化路径已在文心大模型产业实践中得到验证,百度与合作伙伴共建了包括能源、金融、航天、制造、传媒、城市、社科以及影视等10余个行业大模型,正加速大模型产业化落地。
(作者系百度首席技术官、深度学习技术及应用国家工程研究中心主任)