【摘要】人工智能有助于构建各种精准模型为特殊儿童的精准筛查与干预提供便捷的工具。人工智能与特殊教育的融合是智能时代教育发展的一大趋势，有助于保障特殊人群享有均等化的教育服务，最大程度挖掘其潜能，发挥其价值。目前对孤独症与多动症等关键性特殊人群的筛查与干预领域的研究仍处于初始阶段。为此，需要推动构建基于多维数据机器学习的筛查指标体系、基于视觉识别技术的智能快速辅助筛查系统、基于虚拟增强现实技术的互动干预系统，在此基础上推进以学校和家庭为实施场域的远程移动筛查与干预平台建设。
【关键词】特殊教育 人工智能 特殊儿童筛查 特殊儿童干预
【中图分类号】 G76/G434 【文献标识码】A
【DOI】10.16619/j.cnki.rmltxsqy.2024.17.005
【作者简介】王沛，华东师范大学紫江学者特聘教授、博导。研究方向为特殊人群社会认知发展、医患关系等。主要著作有《社会认知心理学》《中国国家形象：内涵与塑造》《大学生职业心理研究：基于职业决策困难与创业心智的视角》等。
特殊教育与人工智能的融合是智能时代教育发展的趋势
人工智能与特殊教育的融合肇始于20世纪90年代。Geiman（1990）最早发现，使用符号来描述和建模复杂系统的软计算方法，能够为教育专家和临床医生提供诸如对学习障碍和孤独症患者的鉴别与筛查工具。借助人工智能技术，Georgopoulos等人（2003）发明的言语障碍筛查的模糊认知图（Fuzzy Cognitive Map, FCM）方法为教育专家和临床医生提供了针对言语障碍的筛查方案。Mayes和Freitas（2004）推出的MindSet（MS）应用模型所支持的“意念耳机”有助于测量注意力缺陷多动障碍（Attention Deficit Hyperactive Disorder，多动症）儿童的注意力水平。Hernández等人（2009）开发了一种筛查儿童学习困难的专家系统，该系统包括由一系列心理学筛查策略组成的知识库，力图找出输入变量（年龄、性别、教育水平等）和输出变量（精神、运动技能、智力等）之间的关系。结果发现，该专家系统能够高效地筛查儿童的学习障碍。Jain等人（2009）提出了学习障碍检测感知器模型（Perceptron Based Learning Disability Detector, PLEDDOR）。该模型是一个人造神经网络，可以识别儿童的阅读障碍、书写障碍和数学学习障碍。ElSayed（2012）则研制了一个用于学习障碍儿童筛查的智能代理分类系统。该系统能够识别学生的教育学和心理学特征，并提供与此相适应的教育活动解决方案。
在此之后，大量研究采用机器学习以及构建模型的方式为特殊儿童的精准筛查提供了便捷的工具。人工智能是以机器学习为核心，以统计学、概率论、数据集以及其他计算机科学方法为基础，从数据集中导出精确预测模型的学科，是研究计算机如何模拟或实现人类的学习行为、获取新的知识或技能、重新组织已有的知识结构以不断改善自身性能的学科。其中，机器学习技术包含支持向量机、决策树、规则演绎、Boosting、Bagging、神经网络、Covering等涉及分类或模型的学习方法。目前已有不少研究团队利用孤独症案例数据集来构建分类系统暨孤独症预测模型，以最少的人类参与自动进行数据处理判断新的病例。此举一方面缩短了孤独症的筛查时间，另一方面大大提高了筛查的灵敏度、特异性和有效性。孤独症的筛查过程实际上是一个标准的分类问题：在自动分类模型中输入数据集，建立预测模型，输出筛查类型，检验结果，得出最终筛查报告。Fadi等人通过基于Covering算法的规则机器学习（rule machine learning, RML）寻找孤独症的病因，为检测边缘社交行为障碍提供了一定的依据。Duda等人利用6种机器学习算法提高了孤独症和多动症高危儿童的甄别能力，缩短了孤独症和多动症的鉴别时间。Pratap等人利用人工神经网络算法，实现了对孤独症严重程度（正常、轻度、中度、重度）100%的正确分类。近年来，智能技术的飞速发展，使得高效、便捷的远程智能筛查成为可能。例如，Galina等人（2016）开发了视觉障碍儿童远程智能学习系统，该系统综合考虑视觉障碍儿童的心理、生理特征和学习信息，采用智能统计方法处理多维数据，进而为视觉障碍儿童提供智能化的学习环境。
除了可用于特殊儿童的筛查之外，人工智能还可用于特殊儿童有关病症的干预和治疗。Strickland（1996）首次提出虚拟现实技术为孤独症患儿的干预与治疗提供了新的途径，并证明了这种新思路的可行性。此后，人工智能用于学习障碍、孤独症等的干预研究开始起步。起初，人工智能用于特殊儿童的干预研究和训练主要集中于阅读或者书写等学习技能、面部表情识别等与社交技能相关的单项技能。例如，Melis等人（2001）介绍了一种基于Web的ActiveMath数学智能辅导系统（ITS），用于提高数学学习障碍儿童的数学学习能力。ActiveMath允许儿童在自己觉得舒适的环境中学习，使用人工智能技术生成自适应课程，学生可以进行建模、反馈以及互动练习。在ActiveMath中，儿童通过对自己掌握的概念进行自我筛查来启动各自的学生模型，选择学习目标和场景，并根据自己的学习进度调整课程安排。与此同时，ActiveMath中的“眼睛追踪器”能够详细追踪和记录儿童的注意力和阅读时间。对该系统多年的实验研究证明，智能辅导系统（ITS）在数学学习障碍儿童的学习过程中具有积极的干预作用和效果。Baschera和Gross（2010）开发了一款面向书写障碍儿童的适应性拼写训练系统。该系统基于推理算法观察儿童的书写错误，筛查每个规则对于学生的难度，引导学生重复训练拼写错误的单词。Sebe等人（2006）基于视觉和音频线索构建了情绪联合识别系统，这种人机交互应用系统不仅能够识别6种基本情绪，包括快乐、惊喜、愤怒、厌恶、恐惧和悲伤，而且可以识别其他情感状态，包括好奇、无聊、混乱、沮丧等。该研究能够给患有言语障碍和情绪障碍的孤独症儿童提供积极有效的干预训练。此外，还有大量研究聚焦虚拟现实技术对视觉障碍、孤独症等特殊人群的干预等相关议题。这些研究发现，虚拟现实技术能够营造安全的教育环境，解决传统干预训练中无法有效解决的多来源感知困难问题，从而提供适合孤独症儿童思维特点的信息呈现方式，促进儿童习得技能的迁移、认知灵活性与心理理论能力的提升，提供个体化的治疗，等等。
近10年来，随着虚拟现实技术的发展与进步，大量研究融合人工智能的虚拟现实技术推动干预训练逐步由单项训练转向综合训练。综合训练以提高特殊人群的整体交际能力为目标，其所创设的情境更接近真实的生活，其中最著名的当属基于人机交互技术的E-CHOES项目和基于Brain Power System（BPS）数字行为辅助系统的社交技能训练系统。在E-CHOES项目中，孤独症儿童通过触摸式屏幕与项目中的虚拟人物进行互动。屏幕上端和两侧各有一个摄像头，用于实时捕捉儿童头部、脸部及注视轨迹的多模态数据。在E-CHOES项目创设的虚拟互动环境中，物体是可以触摸和移动的，并且儿童可与情境中的虚拟人物共同完成某一交际任务。再如，BPS数字行为辅助系统的社交技能训练系统不仅能利用人工智能分析患者所处环境、互动情况等方面的量化数据，而且在此基础上研发了个性化的、具有增强现实技术的智能眼镜。该眼镜能为患者提供包括情感识别、面对面凝视、眼神接触和自我行为管理在内的综合训练。该研究选取年龄分别为8岁、9岁的2名孤独症男孩作为实验对象，以研究BPS的实用性。结果发现，两名男孩在非言语交流、眼神接触、易怒性、嗜睡、刻板行为、多动或不配合性等方面均有所改善。
人工智能与特殊教育的融合是智能时代教育发展的一大趋势。特殊教育是一个极其复杂的系统，人工智能与其深度融合有着科学的思想基础，即全纳教育理念、缺陷补偿理论及多元智能理论。人工智能与特殊教育的深度融合旨在让所有特殊人群拥有正常学习的可能，最大程度挖掘其潜能；让所有特殊人群能够更高效地学习，最大程度发挥其价值；让所有特殊人群的不同需求能够有机会得到满足，最大程度实现其补偿效应。由此，全纳教育理念和人工智能与特殊教育的深度融合在一定程度上有了契合点，为人工智能应用于特殊教育领域指明了方向。缺陷补偿是特殊教育的重要理论之一，也是重要目的之一。所谓补偿，就是抵消损失、弥补缺陷。缺陷补偿有两层含义：一是指用未受损的机体去补偿已受损的机体，进而出现新的机体组合和新的联系；二是指运用新的技术手段治疗已受损机体，使其得到部分或者全面的康复。在智能时代，人工智能可以极大地延伸人类器官功能。凭借人工智能的应用，我们可以传递大致相同的信息给特殊学生，利用不同的人工智能信号帮助特殊学生获得相关信息以更好地融入社会。同时，凭借人工智能技术可以开发出适应特殊学生的特殊工具来帮助其更好地接受教育。人工智能与特殊教育的深度融合将最大程度发挥缺陷补偿的价值，以人工智能技术弥补特殊学生身体或智力的不足，帮助其尽快进入主流社会。人工智能与特殊教育的深度融合旨在充分挖掘特殊学生的优势智能，从而帮助特殊学生培养一定的社会技能，与此同时，提供针对性的个性化教学，以满足不同个体的特殊需求。由此，多元智能理论为人工智能运用于特殊教育领域提供了清晰的理论与方向指引。
综上，在人工智能与特殊教育的深度融合过程中，建设特殊教育智能辅助系统有助于突破传统特殊教育学科发展与教育实践中无法克服的短板或困难，使特殊教育获得飞跃式发展，让特殊儿童获得正常学习机会和适应社会发展的可能。
人工智能技术在特殊教育中的应用
人工智能技术在特殊儿童筛查中的应用。在特殊教育人群中，特殊儿童的发展往往受制于发病机理复杂难解、匮乏无助的教育代偿作用以及对儿童社会适应的巨大破坏。其中，孤独症和多动症儿童的发展一直是特殊教育面临的教育难题。以孤独症为例，据2017年发布的《中国孤独症儿童发展报告》数据推算，孤独症患病率约为1%，0～6岁儿童患病者已超过100万，0～14岁儿童患病者达200余万。孤独症儿童孤僻、刻板的社交行为以及多动症儿童冲动、难以自我控制等特点不仅影响其自身的成长生活，更使教养者承受着巨大的心理压力和经济压力，容易引发严重的社会问题。比照孤独症与多动症儿童的发展需要，当前的特殊教育无法为此类儿童提供系统的专业技术支持体系和高效的筛查与干预手段，不能实时监测与积极干预其发展状况，进而导致特殊教育实践与现实需求相脱节。
孤独症谱系障碍和注意缺陷多动障碍目前通行的筛查方法是通过广泛的检查来确定，包括一组行为儿科医生和儿童心理学家的筛查，以及由合格的专业人员进行筛查。这些严格的筛查检查通常持续数小时，且存在较强的主观性。实验室筛查手段的缺位，导致无法实现相关症状的早期发现、早期干预。研究方便快捷、覆盖面更广的孤独症与多动症的智能筛查与干预系统具有非常重要的现实意义。
总结近10年来国内外人工智能与特殊教育的研究与应用发现，人工智能用于孤独症与多动症群体的研究与应用最多。诸多研究尝试采用智能技术实现孤独症儿童能力的高效筛查，以此推动客观、高效的筛查与干预研究。首先，大量研究团队利用智能算法探讨了经典的筛查标准（如DSM-5）、筛查工具（如ADOS-2、ADI-R等）的有效性问题。例如，Evers（2020）等人在算法中集成开发了决策规则，考察DSM-5发布以来国外广泛运用的三大筛查工具（Autism Diagnostic Observation Schedule-Second Edition, ADOS-2; Developmental, Dimensional and Diagnostic Interview, 3Di; Diagnostic Interview for Social and Communication Disorders-11th edition, DISCO-11）对孤独症儿童和青少年筛查维度和内容的有效性、筛查标准的可操作性和行为的可观察性。结果发现，ADOS-2、3Di和DISCO-11三个筛查工具在筛查的数量、标准等方面存在非常大的差异，排除算法和分数划分，三大工具在遵循DSM-5筛查标准和分类上也存在非常大的差异。这些差异导致对于孤独症筛查的结果与DSM-5描述的症状与标准存在显著差异，即实际发现的孤独症的症状与DSM-5制定的标准无法匹配，因此，非常有必要重新审视DSM-5制定的标准。
此外，一些采用人工智能技术的研究尝试通过先进与多样化的算法以及在此基础上构建的模型进行孤独症和多动症横向筛查与分类，提出新的筛查标准。以孤独症的筛查为例，Dinstein等人（2011）发表在Neuron上的fMRI研究在机器算法的支撑下形成了一个非常简单的分类方法：在所选定的特征变量上设置一个阈值，低于该阈值筛查为孤独症，高于该阈值则归为非孤独症。具体而言，他们以双侧颞上回的静息态功能连接作为特征变量，将阈值设为0.38，低于阈值归类为孤独症，高于阈值归类为非孤独症，该筛查标准最终获得了72%的灵敏度和84%的特异性。Liberoa等（2017）利用决策树分类算法，以结构成像为特征，基于异性值、径向扩散系数及皮层厚度对不同严重程度的孤独症进行分类，获得了91.9%的分类精确度。此外，还有大量研究利用深度学习等算法提炼孤独症大脑成像数据交换库（Autism Brain Imaging Data Exchange, ABIDE）中的大数据，进行孤独症分类研究。例如，Hampton于2017年发表在JAMA上运用常规统计方法的研究显示，具有高遗传风险（high-familial-risk）的婴儿在出生的第一年没有异常行为表现，采用神经成像技术对24月龄或更早的婴儿进行早期脑部扫描可以预测其是否存在孤独症。同年，Nature上发表了一篇基于深度学习网络的机器学习分类算法的研究，指出对具有遗传风险的6个月龄的婴幼儿进行结构性磁共振成像（structural magnetic resonance imaging, sMRI）检测能够有效检出孤独症（准确度为94%，灵敏度为88%，特异性为95%）。也就是说，由人工智能技术支持的脑结构扫描方法可以有效预测孤独症儿童。然而，该方法操作复杂、成本较高，不易普及，很难开展大面积筛查。
值得关注的是，大量研究通过智能技术收集和分析儿童日常活动过程中的行为表现（如动作、面部表情等），进而辅助孤独症与多动症儿童的筛查。例如，Dickstein-Fischer开发的机器人视觉系统通过与计算机系统整合来跟踪儿童的视线方向和关注焦点，进而在儿童凝视的情况下，对比孤独症儿童与正常儿童的差异。视觉系统立体的摄像机可成功跟踪儿童的位置移动，帮助进行简单的数据统计，如儿童与成年人保持多远距离、多久接近成年人一次、与成年人近距离相处时间多长、是否对成年人作出反应等。此外，Anzulewicz等人（2016）通过对孤独症儿童玩平板电脑游戏时的手势动作特征进行向量分析来筛查儿童是否患有孤独症，准确率高达93%。此外，也有研究将机器人技术与其他先进技术整合，实现了孤独症儿童动作和情绪状态的同步捕捉。比如，在机器人系统中安装Kinect设备，能动态捕捉人类30个左右的关节运动，同时跟踪人类情感反应。因此，分析儿童日常活动过程中的行为表现为广泛的筛查提供了可能。
人工智能技术在特殊儿童干预中的应用。基于智能技术干预的主要技术路线包括智能机器人和虚拟现实技术。一些研究借助机器人代替／减少传统治疗师长期、反复干预所需的各种成本。更重要的是，机器人能精准捕捉到儿童在互动环境中的真实表现，进行实时传输、数据储存和行为分析；并且通过检测儿童的注意力水平和互动同步性，提供反馈干预方案。例如，Bevil基于罗素的情绪环状模型理论提取多维度和不同层级的情感对机器人进行情感设置，并通过其肢体动作和面部表情表达出来，让儿童对机器人的肢体动作和表情进行简单识别并模仿。此外，机器人技术可以创造简单的交互式环境，以“同伴”身份与孤独症儿童进行游戏互动，训练其各种技能，包括共同注意、模仿、轮流、语言表达和社会互动等。Boccanfuso（2016）设计了一个机器人遥控模式，操控机器人以玩伴身份与孤独症儿童进行有趣的一对一的“模仿你，模仿我”和一对多的“姿势传递”“帽子游戏”。在游戏过程中，机器人可做出有趣的动作或发出搞笑的声音吸引孤独症儿童注意力，并能用语言或鼓掌的方式表示称赞。
虚拟现实（VR）也是孤独症和多动症核心缺陷干预的重要技术手段。VR是以一种安全的、可控的模式让孤独症儿童体验真实生活，并通过反复实践，使其身临其境于各种模拟场景中学习社交互动、对话技能、辨识他人情绪等。Parsons（2006）采用虚拟现实技术实现了基于现实生活的社会场景仿真，训练孤独症儿童在不同拥挤程度的咖啡馆和公共汽车中就座，来提高其社会互动能力。Bekele（2006）设计的虚拟环境下多模式适应社会互动系统（MASIVR），通过跟踪孤独症儿童在不同虚拟社交环境中观察人物面部表情的注意力，生成视线扫描图案，进而干预孤独症儿童的社会互动。Lorenzo等人（2016）利用沉浸式虚拟现实技术对孤独症儿童的情绪识别能力进行了干预训练。
此外，智能技术的发展使得其在远端干预方面的优势逐步凸显，表现为智能技术可以应用于特殊儿童干预效果的监测：智能系统能精准捕捉到特殊儿童在互动环境中的真实表现，并能进行实时传输、数据储存和行为分析。例如，Kim（2010）开发了一个机器人辅助试验台系统（robot assisted test-bed system），该系统由机器人辅助系统、个人数字辅助设备（Personal Digital Assistance, PDA）、远程服务器、接点、交换中心以及装有麦克风的摄像机组成。治疗师可通过机器人系统观察孤独症儿童和机器人之间相互作用的过程，随时使用PDA设备输入观测数据，利用手持设备IEEE802.11b/g无线频道将数据传送到远程服务器，存储录像和音频信息，方便进一步的数据分析。这种干预不仅体现了智能干预过程中人机互动的特点，而且呈现出智能干预客观性和准确性的优势。
当前，基于虚拟游戏和人际互动相结合的方式，研究者基于大样本孤独症儿童在VR场景中的眼动、头动和身体运动指示的注意机制、持久度和专注度等指标，对其进行个性化干预，同时基于VR技术进一步开发“化身”的运动和面部表情技术，赋予“化身”更加自然的面部表情，进而减少从现实到虚拟的社交信息的损失。
人工智能技术应用于特殊儿童筛查和干预相关研究的进展及主要领域。尽管国际上人工智能的发展非常迅猛，但其在孤独症与多动症筛查与干预领域应用的相关研究仍处于初始阶段。主要表现在：在筛查方面，机器学习算法对孤独症和多动症分类系统的“预测能力”除了依靠采样和特征选择方法之外，还严重依赖于输入特征。同时，机器学习对孤独症筛查的研究还需要考虑去除特征重叠的数据、噪声处理、筛查期间使用的措施、孤独症合并多重障碍的复杂病例识别以及数据集在筛查类型方面的不平衡等问题。更重要的是，机器学习因未能与传统筛查／筛查工具有机整合而不够完善，尚需各种预测模型与筛查工具有机整合后，才能为临床和研究提供有效的筛查决策，这也为未来研究提供了方向。此外，远程虚拟技术已经为家庭、学校筛查和康复创造了可能，有研究验证了其可行性，并且回答了不同干预地点的结果一致性问题。但是，目前远程技术用于孤独症和多动症的筛查研究还比较少，有待进一步挖掘。更为重要的是，目前国内外很少有研究将孤独症和多动症这两个在病因上联系非常紧密的特殊群体相结合来开展智能化筛查与干预的系统研究。
综上所述，当前人工智能用于孤独症和多动症筛查与干预的研究主要集中于以下方面：（1）通过智能算法对评价标准的有效性进行筛查；（2）通过观察儿童行为表现进行早期筛查和预测；（3）通过机器学习算法分析脑功能等筛查过程的数据，获得更好的筛查结果；（4）通过游戏化场景来进行孤独症的干预。同时我们注意到，尽管人工智能技术目前已经可以对孤独症和多动症的筛查和干预辅以一定工具和手段，但由于病症本身的复杂性，相关应用仍存在以下几方面问题：（1）高质量的数据源缺乏。现有数据（行为数据、认知数据、生理数据、遗传数据等）并非通过智能技术收集，无法为人工智能的发展提供高质量的训练数据集。一方面，若原始数据存在大量缺失甚至异常情况，则会导致数据无法使用；另一方面，大量的源数据可能因为来自多个子数据源而出现格式不一致问题，导致冗余信息等情况出现。（2）高性能的算法不足。面向各类筛查与筛查模型的算法虽然可以得出非常精确的结果，但神经网络算法的内部是“黑箱”，且目前因没有相关理论破解其内部机制（“知其然而不知其所以然”）而饱受质疑，因此有必要针对具体任务设计新的智能算法。（3）高沉浸的系统有待完善。目前游戏化互动场景虽然可以做到一定程度的干预和引导，但是沉浸感和互动性不足，加之孤独症和多动症儿童对于环境的反馈不同于一般儿童，导致取得的效果较为有限。因此，针对特殊教育领域的筛查与干预，特别是孤独症和多动症，迫切需要设计新的基于大数据学习技术的评价体系、基于感知智能识别技术的行为筛查技术、基于移动可穿戴互动系统的干预系统，以便更精确、更便捷、更早期、更有效地进行筛查和干预。（4）在数据集相对易于获得、数据量较大的情况下，人工智能系统虽然能够在算力支撑下得出高性能的模型，但是同样需要考虑到模型过拟合的问题，并在孤独症个体特征差异较大的情况下需要特别注意提高模型的泛化能力。
人工智能与特殊教育学科融合的可能发展方向
方向1：基于多维数据机器学习的筛查指标体系建设。目前孤独症和多动症的筛查是由专家进行的，他们使用标准问卷并通过人工观察寻找特定的行为标志。一方面，对儿童观察、家长访谈和手工测试进行解释性编码既昂贵又耗时。此外，由于专业培训、使用资源和文化背景的不同，临床医生的观察可能存在主观性，结果的可靠性和有效性有待商榷。同时，行为评级通常不会收集儿童在自然环境中的数据，而这实际上对于病症的判断也十分重要。开发可以作为人类专家决策工具的机器学习方法，不仅可以节省筛查时间，而且有助于在决策过程中引入更客观、可重复的措施。
总结近10年来国内外人工智能与特殊教育相融合的研究与应用发现，其在孤独症和多动症这一应用领域亟待突破的科学问题是筛查标准的精度和敏感度相关问题。为此，可以应用机器学习对国际通行常用的孤独症与多动症筛查工具与筛查方法所指向的数据库（量表数据、脑结构数据、表情数据、动作数据等）进行大数据分析，开发可以高精度区分多动症和孤独症的简化分类算法。通过已经生成的筛查数据，训练和测试不同的机器学习算法，为每种算法定制前向特征选择方法，探索构建适合中国国情特色的儿童筛查维度、内容等分类系统。在此基础上，利用机器学习算法获得的预测模型，对实时收集的儿童目标行为特征进行精准匹配，创立适合中国国情特色的智能孤独症和多动症多维筛查体系，使其性能高于或不低于国际公认的最佳临床筛查系统。同时，探索将该系统架构在智能移动设备上的方法路径，以便广大家长、教师和专业干预人员掌握和运用。
方向2：基于视觉识别技术的智能快速辅助筛查系统建设。孤独症与多动症的早期筛查一直是个难题。当前随着视觉感知识别技术的飞速发展，“刷脸”、视频监控等已经得到了广泛普及和应用，视觉识别技术在自动化医疗筛查领域也有一些应用。例如，基于计算机视觉的面部分析可以用于监测血管脉搏、筛查疼痛、检测面部瘫痪、筛查精神疾病等。同时，基于视觉识别技术能够捕获患者病情不显著的客观信息进行智能辅助筛查，由此提供了一种低成本和非侵入性的方法，较之医疗检查大大降低了费用和时间成本，具有高效性和便捷性。此外，由于视觉识别技术能够做到“悄无声息”的筛查，有利于消除潜在的偏见，减少决策过程中与人为因素有关的错误，其检查结果可重复、更客观。
社交障碍是孤独症谱系障碍的核心特征，包括表情在内的面部特征被认为是孤独症相关临床研究的有效标记物。因此，可以采用面部表情分析和RGBD头部运动分析技术来建立孤独症与多动症自动筛查系统。具体地，可以尝试采用深度学习方法从RGB数据中识别面部动作单元，并使用双目摄像机记录的RGBD（颜色＋深度）图像中的面部跟踪数据来获取头部动作和面部动画单元参数。对于通过三维传感器检测和跟踪到的儿童相关数据（包括面部表情数据，如持续表情、动态表情、微表情等），我们能够提取特定区域的数据，对数据进行采样和过滤，并跟踪数据找出该区域中人或物体的大小和速度。除了面部表情以外，瞳孔、脉搏、行为变化等也可以作为筛查的依据。对此，可以研发基于视觉识别的非接触式脉搏测量方法。实验证明，通过摄像头记录受试者的脸部数据并对其进行数据分析获得的结果与通过传统把脉方式获得的脉搏情况有较高吻合度。同时，研发可以长时间准确记录情绪面部表情的可穿戴设备，用以量化用户的面部表情、推断他们的情感状态，并实现其在多种环境中的运行，方便儿童日常佩戴和不受阻碍地随意移动，从而辅助研发设计进一步的干预活动、人机交互模式以及反馈机制。
方向3：基于虚拟增强现实技术的互动干预系统建设。基于虚拟现实技术干预特殊儿童的着力点，包括内容可控的交流、反馈可测的互动、泛化的想象空间，聚焦于社交技能、情绪技能、日常生活技能、沟通能力、认知训练（注意、执行功能、认知灵活性、对象的语境处理）等核心障碍的矫正。干预形式主要为虚拟游戏和人际互动，组织形式为“模仿＋交互”，内容涉及“游戏中的模仿”“接触中的模仿”“社会／人际交往中的模仿”“话轮行为”“社会惯例的理解与应用”“学习新的交往方式”“听与口头表达能力”“提出问题／寻求帮助”等单元。游戏设置由易到难，由简单图形要素到丰富的社会化信息元素，同时根据年龄和智商等级设置不同难度的游戏内容，以增强儿童的体验感。在此基础上采用智能化多维筛查系统对干预效果进行过程评价与反馈，同时不断利用机器学习算法优化干预方案和廓清干预指标。创建这样的系统基于两个目的：一是将儿童的心理表现（例如情绪）考虑在内，构建与其需要相契合的引导型社会情境；二是自动确认儿童的行为在所代表的社会情境里是否合适，进而更新IVRS的运行模式或运行主题。
另外，可利用增强现实（AR）智能眼镜技术来建设干预环境。增强现实（AR）智能眼镜是一项新兴技术，可以作为患有孤独症的儿童和成人的社交工具。大量研究表明增强现实（AR）智能眼镜具有良好的耐受性，可适用于不同严重程度和多种年龄的特殊儿童群体。智能眼镜包含多种传感器，例如加速计和照相机，并且能够收集视频、音频、运动、生理和用户数据。增强现实（AR）智能眼镜中的内置传感器收集关于环境和交互的定量数据后，可利用人工智能算法分析这些数据。
方向4：远程移动筛查与干预平台。特殊儿童具有不愿意与人沟通，多疑、敏感等特征。面向特殊儿童，通过增强现实、增强虚拟环境、混合现实等技术手段辅助营造移动便捷式筛查与干预平台，以跨模态的形式表示内容，提升内容的可达性和亲近性，有利于进一步开发有效的监控和筛查工具，帮助老师有效监控、科学筛查和实时干预学习者的学习行为。
智能教育远端筛查与干预系统为特殊儿童家庭提供了便利的筛查与干预手段。其用于学校、家庭等儿童生活的重要场景中，能够实时筛查儿童的发展情况，为个性化教育方案的设计、干预提供便捷有效的轻量化平台。特殊儿童足不出户，即能在任意可连入网络的位置接受专业的筛查与干预。
一方面，建立具有场景适应性的XR协同工作模式和方法。在教育实践中，虚拟现实构建合理、夸张或虚幻的VR环境，为特殊儿童带来想象性、交互性、沉浸性的学习体验；而增强现实则更加强调学习过程的兴趣性、智能性、自主性，从而提升特殊儿童在现实生活或学习中的思维动力和实践能力。根据特定教育场景，分析VR和AR功能的平行与互补关系，建立XR协同工作模式，能够实现物理空间和虚拟空间的交互影响和信息共享。在儿童智力开发领域采用VR-AR混合技术，弥补了单一VR或AR技术弱化了儿童对真实世界的观察和感知能力的缺陷，能够通过积极健康的学习内容、丰富的视听体验、积极多样化的交互方式来吸引儿童的注意力。
另一方面，优化多模态的交互设计和跨模态的内容表达方法。组合手势、声音、体感等不同类型的用户输入通道，能够减少技术使用层面的困难，提供更好的设备使用体验。平衡利用文本、图像、视频、动画、3D模型、声音等跨媒体元素构建学习内容，可作为学习的催化剂，且能实现设计元素之间并列的、交替的或互相影响的关系。同时，可构建具有真实感的探究学习过程和学习情境。XR的建构基础是在真实活动中产生的关于视、听、触感等的感受和体验，在此基础上通过不断提高干预的可达性，XR系统可适应具有各种需求和喜好的学习者。此外，从平台可缩放、社会可缩放和真实世界可缩放实现XR系统的可达性。在平台可缩放中，从桌面设备、移动平台和大屏环境来设计内容的表示、表达和参与度；在社会可缩放中，主要考虑在线或远程社会空间中的交互用户规模；在真实世界可缩放中，关注VR和AR之间的切换，以及用户、环境、对象的同步。
总之，智能教育远端筛查与干预系统能够为出行困难的特殊儿童家庭提供便捷、有效、可靠的筛查与干预方式。特殊儿童在异地佩戴XR头盔、XR眼镜或者在移动设备如智能手机、平板等打开浏览器、登录提供的网址，即可接受专业的筛查与干预。
（内蒙古师范大学心理学院王彦姣博士在前期文献整理等方面作出重要贡献）
参考文献
A. Anzulewicz; K. Sobota; J. T. Delafield-Butt., "Toward the Autism Motor Signature: Gesture Patterns During Smart Tablet Gameplay Identify Children with Autism," Scientific Reports, 2016, (6).
E. Bekele et al., "Multimodal Adaptive Social Interaction in Virtual Environment (MASI-VR) for Children with Autism Spectrum Disorders (ASD)," IEEE, 2016, DOI:10.1109/VR.2016.7504695.
L. Boccanfuso et al., "Emotional Robot to Examine Different Play Patterns and Affective Responses of Children with and without ASD," ACM, 2016, DOI:10.1109/HRI.2016.7451729.
H. Cody et al., "Early Brain Development in Infants at High Risk for Autism Spectrum Disorder," Nature, 2017, 542.
L. Dickstein-Fischer; G. S. Fischer, "Combining Psychological and Engineering Approaches to Utilizing Social Robots with Children with Autism," Engineering in Medicine & Biology Society, 2014.
I. Dinstein et al., "Normal Movement Selectivity in Autism," Neuron, 2010, 66(3).
M. Duda et al., "Use of Machine Learning for Behavioral Distinction of Autism and ADHD," Translational Psychiatry, 2016, 6(2).
M. Duda et al, "Crowdsourced Validation of A Machine-Learning Classification System for Autism and ADHD," Transl Psychiatry, 2017, 7(5).
K. Evers et al., "How Well are DSM-5 Diagnostic Criteria for ASD Represented in Standardized Diagnostic Instruments?" Eur Child Adolesc Psychiatry, 2021, 30(1).
V. C. Georgopoulos; S. Chouliara; C. D. Stylios, "Fuzzy Cognitive Map Scenario-Based Medical Decision Support Systems for Education," IEEE, 2014, DOI:10.1109/EMBC.2014.6943961.
T. Hampton, "Early Brain Imaging in Infants May Help Predict Autism," JAMA, 2017, 318(13).
K. Jain; P. M. Mishra; S. A. Kulkarni, "A Neuro-Fuzzy Approach to Diagnose and Classify Learning Disability," Springer India, 2014, DOI:10.1007/978-81-322-1602-5_69.
M. Kast et al., "Computer-Based Learning of Spelling Skills in Children with and without Dyslexia," Annals of Dyslexia, 2011, 61(2).
Y. D. Kim et al, "Design of Robot Assisted Observation System for Therapy and Education of Children with Autism," in G. Goos (eds.) Lecture Notes in Computer Science, 2010, Springer: Berlin, Heidelberg.
G. Lorenzo; A. Lledó; J. Pomares, "Design and Application of an Immersive Virtual Reality System to Enhance Emotional Skills for Children with Autism Spectrum Disorders," Computers & Education, 2016, 98.
T. Mayes and S. D. Freitas, Review of E-Learning Theories, Frameworks and Models, London: Joint Information Systems Committee, 2004.
E. Melis and J. Siekmann, "ActiveMath: An Intelligent Tutoring System for Mathematics," in G. Goos (eds.) Lecture Notes in Computer Science, 2004, Springer: Berlin, Heidelberg.
N. Sebe et al., "Emotion Recognition Based on Joint Visual and Audio Cues," Proceedings of the 18th International Conference on Pattern Recognition, 2006.
D. A. Strickland, "A Virtual Reality Application with Autistic Children," Teleoperators and Virtual Environments, 1996, 5(3).
Development Trend of Special Education Discipline in Intelligent Era
Wang Pei
Abstract: Artificial intelligence helps to build a variety of accurate models and provides convenient tools for accurate screening and intervention of exceptional children. The integration of artificial intelligence and special education is a major trend in the development of education in the intelligent era, which will help ensure that special groups enjoy equal education services, maximize their potential and give full play to their value. Research in the field of screening and intervention for key special populations such as autism and ADHD is still in initial stages. To this end, it is necessary to promote the construction of a screening index system based on multi-dimensional data machine learning, an intelligent and rapid assisted screening system based on visual recognition technology, and an interactive intervention system based on virtual augmented reality technology, and on this basis, promote the construction of a remote mobile screening and intervention platform with schools and families as the implementation field.
Keywords: exceptional children, artificial intelligence, screening for exceptional children, intervention for exceptional children
责 编∕张 贝 美 编∕梁丽琛
