题目：视觉任务信息流与生理认知耦合的信息可视化表征
作者：吴晓莉，张蓝，瞿敏，江晓曼，晏彪
第一作者单位：南京理工大学人机融合与智能交互研究中心
摘要：
针对工业智能环境中的人机交互隐患问题，基于工业可视化表征的视觉信息流特征，对多模态指标信息可视化评估与融合，提出了一种面向工业信息可视化表征的视觉信息流与多模态指标研究框架．结合典型研究案例构建了基于多模态指标的工业信息可视化表征评价模型，旨在揭示多目标、多维度信息编码到多模态生理反应源解码的过程，建立视觉信息流与多模态指标耦合的工业信息可视化表征方法．
引用信息：
吴晓莉,张蓝,瞿敏,等.视觉任务信息流与生理认知耦合的信息可视化表征[J].华中科技大学学报（自然科学版）,2025,53(12):1-11.
随着物联网、信息物理系统(CPS)、大数据等智能技术的出现和发展，第四次工业革命将带来工业制造的全面智能化转型．新一代工业智能制造面临如何融合物理世界与信息世界的重大挑战，而人、机、物的协同共生是关键[1]．在人与生产制造系统交互的过程中，达成人、机、物的沟通共享、实时告警、协同作业．系统的运作、监管和决策主要取决于信息输入端的可视化表征方式，即当操作员执行排查、调度、应急通信等任务时，完全依赖可视化的信息呈现进行感知、分析判断、预测，并做出决策．如美国智能维护系统(intelligent maintenance system，IMS)中心提出未来智能工业系统，通过信息可视化的服务传递，达到即时传递(just-in-time)，从而实现零停机(near-zero downtime)，在完全掌控预测中将信息反馈到从设计端至制造端的全过程中，最终实现信息的闭环[2]．
然而，复杂制造场景中可视化的生产流程参数记录、实时工序生产情况及紧急情况等信息实时交互任务凸显了执行的高难度和环境的复杂性．操作员面临的是费解的信息符号、糟糕的信息结构、找不到的任务程序、信息间断(阻断)的任务执行、多维度的信息干扰等，极易造成注意捕获中断、感知决策速度下降、工作记忆缺失等严重的感知失误，降低认知绩效指数．针对这些问题，在工业智能转型升级过程中须要深入考量信息获取过程中人的认知加工，不仅要从技术层面升级智能工业系统，还要从认知加工角度改良工业信息可视化表征，实现人、机、物协同共生的发展目标．
工业信息可视化表征是将工业抽象数据和信息通过图形、图像、图表等可视形式进行表达和呈现的一门学科与技术，旨在帮助工程师、管理者和决策者更高效地监控、分析和优化工业过程，提高生产效率、质量和安全性．然而，在将抽象的工业信息映射为可感知形式的过程中，可视化的生产流程参数记录、实时工序生产情况及紧急情况等信息实时交互加剧了任务难度和环境的复杂性，进一步造成视觉感知的认知负担．面对复杂制造场景下的工业信息感知、交互隐患，现有技术已经实现通过测量眼动、脑电、心率等生理指标对视觉感知能力进行评估，进而关联相应的工业信息或任务，从而充分实现人对工业信息的感知融合．本研究从工业制造信息可视化领域中信息认知加工需求出发，阐述了工业信息可视化表征的视觉信息流特征、基于多模态指标的信息可视化评估现状及多模态指标融合方法，提出了基于多模态指标的视觉信息流及可视化表征研究框架，并通过三个研究案例阐述了该理论框架在实际研究中的应用，最后对未来工业信息可视化方法进行展望，构建了基于多模态指标的工业信息可视化表征评估模型．
在对工业信息可视化表征的感知过程中离不开视觉信息处理，视觉信息流作为视觉信息的传递和处理过程，是视觉感知的重要组成部分．大量研究者从生理学、心理学等角度对视觉信息流展开了广泛研究．Treisman等[3]以特征整合理论为基础，将人类视觉感知进程划分为特征匹配阶段与特征整合阶段．在特征匹配阶段中对颜色、亮度、方向及大小等特征进行提取与处理；在特征整合阶段，运用集中注意力将这些分散的特征整合为一个完整的物体，从而完成视觉感知的过程[4]．Bullier等[5]认为视觉信息流是指在视觉系统中从感光细胞接收到的原始视觉输入开始，经过一系列的神经处理和传递，最终形成对视觉世界的认知和理解的过程，这个过程可以看作是信息从低级特征逐渐转化为高级语义表示的流动．Hubel等[6]研究发现视觉信息的感知是由光感受器细胞接收输入刺激，提取视觉特征映射成携带特征的视觉信息．Ungerleider等[7]提出大脑视皮层中存在两条视觉通路理论，双视通路之间存在动态耦合的连接关系，两者与大脑协同完成对目标形态、颜色、空间和姿态等信息的感知．
综上所述，视觉信息流通过视觉系统进行逐级传递和处理，在每个阶段视觉信息会被不同的结构和区域进行加工和解码，最终形成对外界环境的视觉感知和认知．
随着工业制造的快速发展，工业制造系统充当了用户理解和操作信息的关键接口，扮演着将信息、人、机器有机融合的角色．通过充分利用计算机的计算能力和人类天生的视觉感知模式，信息可视化协助个体从那些因规模或复杂性而无法仅通过自动化分析或独立可视化处理的数据中提取有意义的模式[8-9]．
视觉信息流作为支持工业系统中复杂数据集成的关键过程，其概念被广泛用于机器视觉、三维视觉等方面．在工业制造领域中，视觉信息流始于通过摄像头等传感器捕获图像或视频数据，这些原始数据包含大量未经处理的视觉信息，而后计算机视觉系统通过一系列算法对数据进行处理，这些算法包括特征提取和模式识别等步骤，旨在从原始数据中提炼出关键的视觉特征[10]．Jia等[11]、徐哲壮等[12]、Zhu等[13]及Zhao等[14]运用机器视觉技术解决工业生产中缺陷检测、设备识别、智能测量、运动估计等问题．同时，卷积神经网络、深度学习等方法在图像分类、图像特征提取等方面具有优势，促使视觉信息流的处理过程从低级的数据捕获逐步演进至高级的语义理解，广泛应用于当前工业视觉系统的核心架构[15-17]，并且混合现实、增强现实等技术使工业信息呈现从二维走向三维．Izquierdo-Domenech等[18]基于深度学习方法构建了一种工业增强现实系统架构，增强了异常检测和信息检索能力，明显提升了操作效率和安全性．Su等[19]集成了2D与3D视觉系统，提出了一个混合现实框架，增强远程场景的空间感知和感知显著性．在工业信息可视化表征的认知层面，国内外研究者也开展了一系列研究．Qin等[20]探讨了使工业数据可视化更加高效的技术方法，包括有效的数据可视化方法处理数据和给定的可视化规范．Wu等[21]基于隐喻认知中的“能指”和“所指”以及“主题”和“载体”的概念，研究了工业图标的语义-实体相关性并进行工业图标可视化设计．Li等[22]等将所有工艺数据集成到工艺流程图的工艺节点上，实现对车间生产进度的图形化监控，用于提高车间的信息管理和工作效率．Li等[23]开展眼动追踪实验，综合分析了工业电器元件运行信息的设计问题，提出了提高开/关符号大小和颜色的关键点，改善对工业电器元件的视觉识别效率．Tainaka等[24]考虑到工业任务中工作情况、操作员的性能技能、工作空间、设备和操作对象等信息在AR系统中可视化呈现，提出了AR信息设计中31种子任务类型的标准定义．
在数字化、智能化驱动下国内外研究者在工业信息可视化表征的视觉信息流方面获得了一定成果，包括工业视觉系统、图像信息识别等技术方面的支持以及工业信息可视化规范、设计等认知层面的研究，为进一步研究人机交互过程中信息获取的信息结构模型及视觉信息流规律起到关键作用．
基于多模态指标的信息可视化评估与融合是通过测量并整合来自不同感官的生理数据，来理解各类操作员在执行任务时的生理和认知状态，已被广泛应用于航空、航海和汽车等领域．多模态指标主要指来自眼睛、大脑、心脏、皮肤等器官的生理数据，包含脑电图、眼动追踪、肌电图、皮肤电活动和心率等指标．眼动指标主要包括注视、扫视、眨眼及瞳孔等眼球运动数据，通过眼球运动可以反映个体的认知状态和行为．脑电图被用于分析大脑对视觉刺激的反应，记录大脑活动中的细微变化，提供关于认知过程的深入见解．具体来说，脑电图在时域方面主要为N100，P200，P300，N400及P600等事件相关电位成分，在频域方面包含α，β，γ，θ及δ等功率谱密度．心率指标、皮肤电活动和肌电图等也能反映心理和生理状态的变化，并与认知功能和心理健康密切相关．
在视觉信息可视化表征方面，各类生理指标主要作为信息可视化评估的量化工具，眼动指标已广泛应用于不同领域的研究中．Babić等[25]通过眼动追踪研究交通标志对眼动行为的影响，发现不熟悉的标志产生了最长的平均注视和凝视持续时间．Schwerd等[26]通过眼动对不同可视化信息进行注意力衡量，发现与文本和数字的元素相比，图形或移动的元素可以用更短的注视时间．Guo等[27]探讨了视觉复杂度对用户搜索行为和满意度的影响，数量复杂度增加了用户的重访次数、注视次数和眼跳次数．布局复杂性增加了用户的重访次数和扫视次数，而注视次数则先下降后增加．Yu等[28]研究不同背景颜色下图标颜色特征对用户感知和视觉搜索性能的影响，白色背景及80%饱和度图标带来了最佳搜索性能．He等[29]通过眼动追踪和主观评价，发现指导界面的信息布局和展示方式对任务完成时间、注视次数和可用性得分具有交互效应．部分研究采用眼动指标与脑电指标或心率指标结合的方式，实现多模态指标的信息可视化表征评估．Luo等[30]对脑电数据和瞳孔测量数据的同步分析表明，信息类型和呈现率对事件相关电位成分和瞳孔散大的影响不同．Zhou等[31]通过瞳孔直径、注视持续时间和脑电振幅，研究了界面布局、颜色、信息密度及图标大小等对老年人任务表现的影响．Jia等[32]对增强型3D显示的眼动和心率变异性进行研究，发现可视化信息的不同立体显示下微扫视平均瞳孔直径增加，心率变异性变化更显著．Yang等[33]通过眼动、心率生理测评仪表信息布局之间的关系，心率最低的概率受到与特定布局相关的平均注视时间影响．
另一方面，大量研究者运用神经网络、机器学习等方法开展多模态指标融合研究，通过构建多模态融合框架，提升多模态指标提取的可靠性与准确性，实现基于多模态指标融合的生理和认知分析．Rankawat等[34]开发了一种基于统计和概率的融合评估方法，能够有效地对多模态生理信号进行鲁棒性评估．Zhou等[35]采用贝叶斯优化的多粒度级联森林算法进行疲劳状态识别，结果表明多模态特征融合模型在脑疲劳识别中具有可靠性．Liu等[36]基于多模态生理特征融合设计了一种基于L2正则化堆叠自编码器的方法，采用控制变量的实验方法验证了模型的最优超参数，降低了压缩融合中多模态特征数据的损失和融合指数的信息损失率．Tai等[37]采用贝叶斯网络对生理数据进行融合，并对所提融合方法进行评估，结果表明与没有融合的方法相比，融合后的生理数据具有更高的有效性．Chen等[38]提出了一种结合心电图、光电容积脉搏波和血压三种信号的多模态疲劳分级方法，研究表明多种生理特征的融合包含的信息更全面，能更好地识别精神疲劳的程度．Wu等[39]提出了一种基于高斯混合模型与巴特沃斯和切比雪夫信号滤波融合模型的技术，进而提出了一种融合脑电指标和眼动指标的多模态信号分类的深度梯度神经网络，所提出的神经网络对8种情绪事件刺激实验下的情绪预测准确率为88.10%．Mehmood等[40]提出了一种采用三种机器学习模型和多模态数据融合对精神疲劳状态进行分类的新方法，采集了脑电图、皮肤电活动和视频信号，采用多模态传感器数据融合的决策树模型优于其他模型．Wang等[41]同时记录脑电图、心电图和眼球运动，对提取的地面任务、空中任务和巡航任务的多模态特征进行训练，生成基于监督学习的支持向量机行为模型，用支持向量机模型对不同生理特征进行区分．Mou等[42]提出一种基于注意力的深度学习技术，通过多模态融合进行驾驶员压力检测的框架，用于融合非侵入性数据，包括眼动数据、车辆数据和环境数据．综上所述，在视觉信息可视化研究中，多模态指标被广泛用作评估工具，特别是在眼动追踪、脑电图和心率变异性等方面应用．此外，大量基于多模态指标融合的研究提高了生理和认知状态识别的准确性．这些研究成果为研究基于多模态指标的视觉信息流提供了理论与实践依据，通过探寻多模态生理指标之间的关联性，促进信息可视化表征向多模态融合的方向发展．
3 基于多模态指标的视觉信息流及可视化表征研究框架
本研究提出一种基于多模态指标的视觉信息流及可视化表征研究框架如图1所示，该框架是一个多层次、多维度的研究体系，以视觉感知理论与认知加工理论为基础，通过关联多模态生理指标与视觉信息流中各个环节的相互作用，为工业复杂场景中的信息可视化设计提供科学的生理反馈．其中包括四方面研究内容，分别为用户感知行为分析与信息元建模、任务时序性视觉信息流规律探索、视觉信息流与多模态指标可视表征关联、多模态指标的信息可视化表征评价模型及构建．
首先，通过用户感知行为分析与信息元建模来深入研究当用户面对工业制造系统中的视觉信息时的行为特征，并构建信息元模型，为任务时序性视觉信息流研究奠定基础．基于工业制造系统中信息元开展用户认知行为分析，运用引力模型计算工业制造系统中各信息元之间的引力值，构建了工业制造信息链的时序性呈现结构．
其次，在探索任务时序性视觉信息流规律中，以视觉感知为起点，关联中央视觉区、周边视觉区的视觉属性对视觉感知强度、任务逻辑、信息布局等可视化表征展开研究．任务、信息总量及逻辑关系构成了视觉信息流，通过信息可视化表征转化为直观形式．视觉感知在视野位置和任务时序的影响下，聚焦关键信息进行加工存储，通过认知模块与信息流耦合范式，建立信息可视化表征与视觉认知之间的自然逻辑关系及映射关系．在信息可视化表征方面，主要探讨图元关系布局、视觉编码元素等；在认知表征方面涉及注意捕获、知觉容量、记忆负荷等内容．
针对典型工业制造任务开展眼动、脑电、肌电等多模态生理指标测量，进行视觉信息流与多模态指标的关联性研究．具体而言，通过眼球运动追踪技术捕获任务搜索中的行为特征，提取瞳孔变化幅度与凝视/扫视的视觉认知指标；通过眼动指标对界面视觉信息的获取、理解和搜索策略进行定量表达．运用高时间分辨率的事件相关电位技术，提取事件相关电位成分，分析不同控制条件下的成分差异特征，为界面信息可视化认知过程提供脑区时空二维的解读，得到实时监控过程信息获取的关联性生理指标．同步采集心率、肌电、皮肤电等指标数据，通过多模态生理指标行为特征进行捕获和视觉阈值分析，实现视觉信息流与多模态指标的紧密关联建立．
最后，构建一个基于多模态指标的信息可视化表征评估模型，选取多模态生理指标集，结合机器学习算法如森林机器学习，通过分类预测模型和可视化效果的评估，为可视化设计提供数据支持和效果验证．可视化范式、其他可视化表征的动态生理指标以及任务信息流分割和设计，则从不同角度完善可视化设计方案．
4.1 基于知觉跨度的视觉信息流研究
知觉跨度描述了在阅读注视过程中获取信息的视野大小，可以理解为在阅读过程中，读者在单次注视过程中所获取有用信息的区域．而在视觉搜索任务中，知觉跨度表示无须中央凝视即可有效处理的视觉信息区域．它不仅揭示了视觉系统如何优化信息的摄取，还有助于理解在复杂场景中注意力的引导和分配方式．通过知觉跨度概念探讨视觉注视到扫视的视觉流向是如何有效地引导信息搜索，解析任务时序性驱动的视觉信息流规律．
该案例将信息是否出现在有限的知觉跨度内及其出现方位(左或右)作为变量因素，探讨反应时间、注视/扫视时间及注视次数的变化规律．如图2所示的实验材料中，标出黄色区域为有限知觉跨度视觉范围，中心高亮度区域为眼注视区视觉范围，探索与任务相关的信息在有限的知觉跨度内是否对目标搜索具有引导作用．
研究发现从一个信息点到下一个的注视-扫视规划中信息的识别是否完成，取决于从信息n到n+1的注视-扫视规划是否已完整执行，如图3所示．在第一个扫视规划执行期间，如果信息n容易识别，那么启动后续扫视规划的可能性会增加．为了保证第一个扫视规划在启动第二个扫视规划前完全执行，注视必须持续到信息识别完成，这一过程受限于知觉跨度的范围．在扫视规划的第一阶段(M1)，若下一个目标信息的准备在此阶段内完成，则当前的扫视可以被取消并转为跳过到下一目标．然而在第二阶段(M2)，一旦扫视开始，通常无法取消．若没有发生跳跃或强迫注视，则信息将被注视较长时间，因此须要通过持续的注视来启动下一步的眼动．这种注视和扫视的动态反映了知觉跨度在信息处理中的关键作用，指出了视觉搜索中对信息易识别性的依赖，以及对扫视规划和执行的影响．
表1行为数据及眼动数据显示，当任务相关信息出现在知觉跨度内时，被试的搜索效率明显提高，反应时间和注视次数减少．特别是当信息出现在与任务目标更近的右侧时，搜索效率进一步增加，说明与任务相关的信息其出现位置对搜索效果有显著影响．这些发现强调了在界面设计中合理安排信息元素的重要性，以及根据任务需求动态调整知觉跨度的必要性．通过优化利用知觉跨度，不仅可以加速发现目标，还能提高在复杂视觉环境中识别目标的准确性．
4.2 面向可视化表征编码的视觉感知研究
以往研究表明面向视觉感知中的大量内外源信息，视觉场的视敏度和分辨率在注视点最高，并向周边急剧下降．为补偿周边视觉分辨率不足，通过快速眼球运动(扫视)进行注视点的转移，将周边视觉中的物体带入高敏锐度的中央视觉中，以整合探索更加精密的视觉细节，如图4所示．
虽然中央视觉区域敏锐度高，对物体感知能力最强，但是中央视觉边缘区(副中央凹边界)的感知性能尚不明确．考虑到信息可视化领域的特定需求，电子显示屏对视觉注意力范围的限制，在500 mm的观察距离下，周边视觉的偏心率为10°和15°，本案例探讨了中央视觉区域为5°偏心率边界范围．将属性维度(3种形状和3类纹理)和空间维度(3种位置和8种角度)作为可视化编码变量，如图5所示，通过注视时间、注视次数、扫视幅度等眼动指标及反应时间、正确率的行为指标，探讨中央视觉与周边视觉对不同视觉编码变量的感知效果．
实验结果表明：中央视觉内目标搜索速度更快，周边视觉内目标搜索速度较慢，在这过程中往往伴随着注意力的转移，产生了路径更长的扫视过程．眼动数据如表2所示(窗口条件1表示仅5°偏心率内可见；窗口条件2表示5°～10°偏心率范围可见；窗口条件3表示10°～15°偏心率范围可见；窗口条件4表示全视场可见；目标位置1表示目标位于3.5°偏心率，目标位置2表示目标位于7.5°偏心率，目标位置3表示目标位于12.5°偏心率)，表明当目标刺激位于中央视觉时高分辨率的视觉处理模式表现出平均注视时间和次数增加，而位于中央和周边视觉的边界表现出平均注视次数减少．因此，容易造成认知负荷的形状和容易造成掩蔽效应的纹理应放置在中央视觉区域或偏心率较小的周边视觉区域内，设置的角度可按被试倾向的东(E)、西(W)、北(N)方向．简单图形和易辨识纹理应放置在偏心率较大的周边视觉区域，设置角度可侧重于水平方向和对角线方向，以提升整体视觉搜索效率．
该研究通过属性维度变量与空间维度变量的视觉感知实验，探讨了中央视觉与周边视觉对不同视觉编码变量的感知效果．研究表明5°～10°偏心率的周边视觉具有边界效应，可提升搜索效率．中央视觉与周边视觉的协同作用促进了跨扫视期间注意力的高效转移和目标精确定位．
4.3 基于工业监测任务的多模态指标关联性研究
多模态生理测评已广泛应用于机器人辅助手术、汽车驾驶、空中交通管制室工作等领域．随着智能制造环境下的工业任务执行难度提高，环境更为复杂，任务执行者进入复杂性认知．因此，通过精确监测操作员的生理反应，不仅能够更好地识别和预防操作失误，还能够在设计智能系统时更精确地调整其对人的适应性，从而提高整体的操作效率和安全性．
该案例通过测量在工业连续监测任务过程中处理工作负荷时脑电、眼电、肌电的相关指标，系统地分析了任务负荷中听觉工作记忆负荷和感知负荷对视觉检测任务的影响，并进一步探究多模态指标之间的相关性．实验以智能工厂中串焊视觉检测系统的操作任务界面为实验材料，将工作记忆负荷与感知负荷作为变量因素，采集脑电数据(Delta，Theta，Alpha，Low Beta，High Beta，P300和P200振幅)、眼电数据(眨眼率、脑电反应(EBR))、肌电数据(均方根(RMS)，积分肌电图(iEMG))展开分析．
采用Pearson和Spearman双变量相关分析对以上指标进行相关性分析，对显著性和相关系数进行热图呈现，部分数据如图6所示．结果发现Delta，Theta，Alpha和Low Beta频段功率谱密度之间具有很强的正相关性，Cz，C4，Fz电极的P300和P200幅值具有很强的正相关性，肌电指标均方根和积分肌电图具有很强的正相关性．此外，不同模态指标之间也显著相关，脑电反应和Low Beta频段功率谱密度具有负相关性，均方根、积分肌电图和F4电极P300幅值正相关．这些不同生理测评模态之间的相关性提供了有关工作记忆负荷处理的神经机制的线索，对未来发展预测和评估工作记忆负荷水平的方法可提供帮助．
前面分析了采用不同生理指标对信息可视化表征进行评估的研究案例，这些案例展示了通过生理数据深入解析视觉信息流的有效途径．然而，通过单一或有限的生理指标难以全面捕捉用户在复杂工业制造环境中的生理和心理反应；因此，有必要通过多模态生理指标耦合的方式，构建一个更加全面的信息可视化表征指标评价模型．多模态生理指标能够更加准确地反映用户的注意力分布、认知负荷及整体生理状态等，从而为信息可视化表征的优化提供更为详尽和客观的依据．本研究将从多模态指标选取和指标间关联性的模型构建进行耦合方法展望．
信息可视化表征评价模型的建立及验证过程如图7所示．在信息可视化表征的评价模型构建中，眼动、脑电、皮电等生理指标提供了多维度的用户状态信息．眼动指标方面，注视点反映可视化元素对用户注意力的吸引程度；注视持续时间反映用户对特定信息的理解与认知深度；扫视路径和扫视幅度可提供用户信息处理逻辑的线索，并反映其视觉搜索行为及界面信息分布的合理性；瞳孔直径变化可用于推断用户的认知负荷和情感状态．在脑电指标方面，P300波幅与潜伏期可揭示用户在视觉刺激下的注意力分配与认知负荷水平，α波与β波的变化则反映了情绪状态和认知资源的使用情况．皮电活动中的皮肤电导率可作为用户情绪波动、紧张度和压力水平的有效指标．此外，心率变异性和呼吸频率这类一般生理指标，也可分别用于评估用户总体的生理紧张度、压力水平以及放松或焦虑状态．
本研究中信息耦合指的是多模态生理数据之间的相互关系，通过对眼动、脑电、皮电等多模态数据进行综合分析，反映用户注意力、认知负荷的耦合效应．因为不同生理指标在反映用户视觉、认知、情感及整体生理状态方面各有侧重，所以应当通过恰当的耦合方法，综合各类生理数据的优势，形成统一且具有科学依据的评价结果．相关的耦合方法有主成分分析法、支持向量机、随机森林等，均为经典的机器学习方法，用于多模态生理指标的整合和分析．
主成分分析法能够有效降低数据维度、保留重要特征并降低模型复杂性，但其缺点是对数据噪声和异常值较为敏感，且降维后的结果可解释性较差．机器学习方法中，支持向量机算法擅长处理高维数据，泛化能力较好，尤其适用于小样本分类任务，但存在计算复杂度高、参数调优复杂，以及在大规模数据集上效率不足的问题．随机森林算法具有良好的抗过拟合能力，可处理高维数据并输出特征重要性，但其计算和存储要求较高，模型结构也较为复杂．卷积神经网络算法能够自动提取高层次特征，擅长处理复杂模式，尤其适用于时序数据和图像数据，但该方法依赖大量数据与计算资源．典型相关分析方法能够有效挖掘多模态数据之间的线性相关性，且易于解释特征之间的关系，但其主要局限性在于仅适用于线性关系，同时计算复杂度也较高．
综上所述，基于随机森林的机器学习耦合方法在多模态生理指标的融合过程中展现了处理高维数据的优越性，能够提供特征的重要性分析，精准识别可视化表征评价中关键生理信号，确保模型的强大预测能力，为信息可视化表征提供明确的生理反馈依据．因此，本研究采用基于随机森林的机器学习耦合方法构建信息可视化表征评价模型并进行展望．首先，通过行为认知实验采集生理指标数据，选择与可视化表征高度相关的差异化指标构建评价指标集，并将其用于随机森林模型中，预测视觉信息流任务的可视化表征水平及量化值．模型经过训练后，通过其他可视化表征编码验证其可用性，最终评估其对可视化表征效果的高低分类预测及量化预测的准确性．
视觉信息流经过视觉系统处理，最终形成对外界环境的视觉感知和认知．基于新一代工业智能带来的人机交互隐患问题及研究现状综述，本研究将认知学、生理学研究融入到工业领域中，构建了面向工业信息可视化表征的视觉信息流与多模态指标研究框架，并通过三个典型研究案例，探讨视觉信息流与多模态生理指标在工业信息可视化表征中的内在联系与作用机制．案例一基于知觉跨度的视觉信息流研究，探讨了知觉跨度内视觉注视与扫视的视觉流向对信息搜索的引导作用．案例二面向可视化表征编码的视觉感知研究，从属性和空间维度讨论了不同可视化编码对视觉感知的中央视觉与周边视觉的影响．案例三通过工业监测任务的多模态指标关联性研究，解析了不同工作负荷下脑电、眼电、肌电指标之间的相关性．最后，从多模态指标选取和指标间耦合方法方面，进行信息可视化表征评价模型的构建．
