Language: Chinese | English

1 四川大学 电气工程学院（成都 610065）, School of Electrical Engineering, Sichuan University, Chengdu 610065, P.R.China

1 四川大学 电气工程学院（成都 610065）, School of Electrical Engineering, Sichuan University, Chengdu 610065, P.R.China

1 四川大学 电气工程学院（成都 610065）, School of Electrical Engineering, Sichuan University, Chengdu 610065, P.R.China

1 四川大学 电气工程学院（成都 610065）, School of Electrical Engineering, Sichuan University, Chengdu 610065, P.R.China

1 四川大学 电气工程学院（成都 610065）, School of Electrical Engineering, Sichuan University, Chengdu 610065, P.R.China

视觉是人类与外界交互并获取信息的重要方式。为了研究在不同条件下人类的视觉行为，本文采用了混合高斯-隐马尔可夫模型（GMM-HMM）对扫视过程中的眼动路径进行建模，并提出了一种新的模型优化方法——时移分段法（TSS）。TSS 方法可突出眼动序列中时间维度的特征，提升模式识别结果，增强模型稳定性。本研究对多维特征模式识别采用了线性判别分析（LDA）方法，以评价各模型的合理性及识别的准确性。全文共进行了四组对比试验，第一组应用了 GMM-HMM 模型对眼动路径进行建模分类，三分类准确率均值可达到 0.507，大于三分类机会概率（0.333）；第二组试验应用 TSS 方法，分类准确率均值提高至 0.610；第三组将 GMM-HMM 与 TSS 结合，分类准确率均值达到 0.602，且相较于第二组模型更稳定；最后，将模型分析结果与眼跳（SA）等特征分析结果进行比较，建模分析方法远好于基础信息分析方法。同时，通过对三类任务特性分析，结果显示，自由查看任务特异性较高，而对象搜寻任务的敏感度较高。综上所述，GMM-HMM 模型应用在眼动模式识别领域有较好的特征提取效果，引入 TSS 方法可以加强眼动特征差异，尤其对搜寻类任务的眼动路径识别有更好的优势，也为单一状态眼动序列提供了新的解决方案。

Vision is an important way for human beings to interact with the outside world and obtain information. In order to research human visual behavior under different conditions, this paper uses a Gaussian mixture-hidden Markov model (GMM-HMM) to model the scanpath, and proposes a new model optimization method, time-shifting segmentation (TSS). The TSS method can highlight the characteristics of the time dimension in the scanpath, improve the pattern recognition results, and enhance the stability of the model. In this paper, a linear discriminant analysis (LDA) method is used for multi-dimensional feature pattern recognition to evaluates the rationality and the accuracy of the proposed model. Four sets of comparative trials were carried out for the model evaluation. The first group applied the GMM-HMM to model the scanpath, and the average accuracy of the classification could reach 0.507, which is greater than the opportunity probability of three classification (0.333). The second set of trial applied TSS method, and the mean accuracy of classification was raised to 0.610. The third group combined GMM-HMM with TSS method, and the mean accuracy of classification reached 0.602, which was more stable than the second model. Finally, comparing the model analysis results with the saccade amplitude (SA) characteristics analysis results, the modeling analysis method is much better than the basic information analysis method. Via analyzing the characteristics of three types of tasks, the results show that the free viewing task have higher specificity value and a higher sensitivity to the cued object search task. In summary, the application of GMM-HMM model has a good performance in scanpath pattern recognition, and the introduction of TSS method can enhance the difference of scanpath characteristics. Especially for the recognition of the scanpath of search-type tasks, the model has better advantages. And it also provides a new solution for a single state eye movement sequence.

视觉是人们与周围环境进行互动并感知万物的重要途径，视觉行为可看作是一连串的眼球运动过程，这个过程称为眼动，而反映视觉行为的眼动主要受到三个因素的影响。第一，眼动受自上而下的观察机制影响，观察者有意识的扫视或无意识的自身条件（年龄、文化、性格等）都会对眼动路径产生影响，即思维影响行为；第二，眼动也会受到与视觉刺激有关的自下而上的观察机制影响，当观察者注视不同的图像时会有不同的眼动，这些眼动也映射着观察者不同的视觉目标与心理活动，即刺激影响思维；第三，与观察者动眼系统固有的特性有关，例如：个体生理盲点造成的影响[1]。目前，已经可以通过眼动仪来观察和采集眼动路径信息。眼动路径包含两类基础信息：注视点信息与眼跳（saccade amplitude，SA）信息；注视点信息包括：注视时长、注视坐标等，SA 信息包括：距离、方向、时长等[2]。通过量化眼动路径中的基础信息，可以清晰地描绘各种眼动模式，例如扫视、追踪和注视等。

随着眼动追踪技术的发展，眼动技术的应用领域及研究方式也有了扩大与更新。有学者根据阅读过程中任务的不同造成观察者注视模式的不同，从而对观察者的注视模式进行分类的方法来研究任务与注视模式的关系[3]。另有研究发现，眼动也可应用于量化精神工作量上，尤其当任务繁多且要求苛刻时差异明显[4-6]。此外，由于视觉相关的神经在大脑中分布密集，许多疾病会影响脑部功能，导致眼动行为发生改变，因此可以利用眼动分析为相关疾病的筛查、定量和评估提供新的途径[7]。目前已知相关研究包括：精神疾病和眼部疾病的筛查诊断；其中，精神疾病包括帕金森综合征、注意力缺陷多动障碍、自闭症等；眼部疾病如青光眼、斜视和弱视等[8-9]。相对于传统疾病诊断方法，应用眼动分析来筛查和评估疾病更加方便快捷。

近年来，眼动分析方法的研究备受关注。到目前为止，针对眼动数据分析和分类的方法大多基于眼动路径基础信息的相关参数展开，主要有持续时间、位置、扫视幅度、方向和速度、瞳孔扩张、眨眼频率等。除此之外，也可以使用热图表达眼动空间信息，它表示在视觉平面的x、y 方向和注视密度三个维度下的眼动空间分布[10]，但热图的主要缺点是没有考虑到注视和扫视的时间顺序。针对这一问题，有学者提出了用不同度量方式来比较两个眼动路径的方法，例如编辑距离、扫描路径相似度比较等[11-13]。这类方法能在时间维度上对眼动路径进行比较，但仍然存在严重依赖自由参数（例如感兴趣区划分）、不能为用户提供可解释的视觉探索模型的缺点。

有学者假设眼动数据是由随机过程产生的随机变量，因此采用概率方法对眼动数据进行分析，常用的概率模型为高斯混合模型（Gaussian mixture model，GMM）[14]。此外，隐马尔可夫模型（hidden Markov model，HMM）也可以用于眼动数据建立概率模型[15-16]，通过最大似然估计直接从眼动数据中学习 HMM 参数，可以解决预测、分类等问题。概率模型的优点是数据驱动，在数据量足够的情况下模型的仿真效果好，但是当数据量较少或数据存在时间维度信息时，仅依靠概率模型分析所得的特征会与真实情况存在较大偏差。然而眼动数据恰好具有数据量不大且包含有时间信息的特点，因此用已有的概率模型无法达到良好的分析效果。

针对上述问题，本文采用了 GMM-HMM 模型，对眼动序列进行建模，并针对眼动数据集的特点提出了时移分段法（time-shifting segmentation，TSS）对 GMM-HMM 模型进行优化。最终，通过建模提取的多维特征实现视觉行为的模式识别，提升了模型的识别率，验证并说明模型的普适性和方法的优势，也为单一状态序列提供了新的解决方案。

本文采用了 Koehler 等[17]在 2014 年公开的眼动数据集，目前收录于加州大学视觉和图像理解（Vision & Image Understanding，VIU）实验室数据库（https://data.mendeley.com/datasets/8rj98pp 6km/1）[18]。该数据集包含 158 名受试者的眼动序列，所有受试者均为加州大学学生（18～23 岁），且视力正常或矫正到正常范围。在试验中，每位受试者随机参加三个视觉任务中的一个，包括自由查看（freeview）任务、显著性搜索（salview）任务和对象搜索（objsearch）任务。自由查看任务是指让受试者自主查看图像，眼动轨迹只受图像内容影响。显著性搜索任务中受试者需确定图像中显著对象的位置是在图像的左半边还是右半边。在对象搜索任务中，演示真实场景之前，会给出了一个词语（例如：汽车），指示要搜索的目标，受试者需确定显示的图像中是否存在目标对象。后两种任务所得的眼动轨迹会受到图像内容与任务内容的双重影响。试验图像囊括了各种室内外场景图共计 800 张，大小均为 405 × 405 像素。眼动数据集内共有 44 110 个眼动路径，每个眼动路径由 10～15 个注视点坐标按照时间先后排列而成。本文要针对每一个眼动路径进行建模，分析受试者在完成不同任务过程中的视觉行为特征，再通过视觉行为特征的差异对各眼动路径进行模式识别。

本文使用了两种眼动路径模型构建方法。第一种为 GMM-HMM 模型，核心是用 GMM 来拟合 HMM 模型中的发射概率，将两种模型融合应用在眼动数据上。第二种是针对 GMM-HMM 模型缺点引入 TSS 方法，将眼动路径在时间维度上进行分段对齐，可扩大时间特征在模型中的贡献。

眼动数据坐标点与图像中内容之间存在不可观的对应关系。当有多个坐标点在连续时间段内，并在图像中同一区域呈一定规律分布，则认为受试者在该时间段内注视图像中相应位置的内容。眼动数据的这一特点，可以使用 HMM 模型中的隐状态进行描述，因此，本文以 HMM 模型为主框架对眼动数据进行建模。

具有 K 个隐藏状态的 HMM 模型会涉及到三个概率，初始概率（original probability）以符号 pi0 表示，转换概率（tansition probability）矩阵以符号 A 表示，发射概率（emission probability）以符号 Ni 表示。它们的定义如式（1）所示：

其中，i 和 j 表示状态，aij 为转换概率，表示从状态 i 转换到状态 j 的概率。Ni 为发射概率，即状态 i 到输出之间的生成概率，mi 和 Σi 为高斯发射的中心和协方差系数。HMM 的建模过程中三大概率问题的求解至关重要，初始概率 pi0 与转换概率矩阵 A 均由样本统计而来，而发射概率 Ni 可以应用 GMM 进行拟合求解。在眼动序列的研究中，注视点在空间的分布是呈现一定规律的，这种规律通常比较复杂，并非是单一分布模型。仅应用常见的高斯分布不能够十分精确地拟合数据的分布规律，本文应用 GMM 模型，在数据量适合的情况下，可以较精准地拟合分布。以 GMM 模型来拟合求解 HMM 模型中的发射概率，GMM-HMM 模型相较于两个单独建模的模型而言有更大的优势。

GMM-HMM 模型的建模过程是将一个眼动序列拟合成有 K 个状态的数学模型，状态数 K 值是 HMM 建模过程中的关键参数，本文应用了变分方法来确定 K 值。为了使模型尽可能地受数据驱动，参数值 K 的先验值应根据眼动序列确定[16]。传统的最大似然方法往往用于复杂的模型结构中，它可以为 HMM 模型训练多个状态（K 值），但也易导致过度拟合。状态数较多的 HMM 模型相对更贴合数据实质，但多状态很难用感兴趣区来解释，也很难与其他方法进行比较，因此将初始 K 值设定为 3。

经过 GMM-HMM 建模后，一个眼动序列会由初始概率（1 × 3）、转换概率矩阵系数（3 × 3）、状态中心坐标（2 × 3）和状态协方差系数（2 × 3）共计 24 个参数来表征。由于眼动路径中只有 10～15 个注视点，眼动序列所含信息过少或特征不明显，模型最终的拟合状态数 K 值会存在为 1 的情况，表示该序列仅拟合了一个状态且所得参数为单高斯模型参数。单一状态的高斯模型仅能表征这一眼动序列在相应刺激下的空间分布情况，无法映射受试者随时间维度的眼动变化趋势，削弱了眼动序列在时间维度上的特征提取，不利于眼动扫描模式的研究。

针对上一节所提出的问题，为了提升时间维度上的特征提取，本节提出 TSS 方法来优化眼动数据模型。

TSS 方法共有两步，第一步是将眼动序列根据时间维度划分段位。依据时间的先后可以将眼动路径分为 M 段，M 值的大小决定了数据的贴合程度。当 M 值和注视点数量一致时，每个注视点为一段，这样虽然可以完全贴合数据，但数据量太大，并不利于后面的建模与分析。在 M 值的选取过程中，并不是越大越精确，通常会根据注视点数量选择 3～5 中合适的数值，如图 1 所示，图中白色小圈代表注视点坐标分布，橙线和橙圈组成的标识代表分段后的眼动扫视趋势。由此可以看出同一眼动路径在不同 M 值情况下的呈现方式的差异性。

The comparison of scanpaths

眼动路径对比

TSS 方法的第二步是在确定 M 值并分段之后，对每段眼动路径进行数学建模。在此，建模的方法可以直接采用上节所说的 GMM 模型，拟合数据在该段中的空间分布情况。最后，将同一眼动路径的不同段的 GMM 参数按照时间先后整理合并，作为该眼动路径的特征参数。

TSS 方法得到的特征参数可以表征眼动路径在扫视前期、中期和后期等各时段间的模型变化趋势，并将这些特征整合到 GMM-HMM 模型训练参数中，可完善原模型在视线转移方面的不足之处，应用于仅拟合出单一状态的眼动序列上有明显的优势。模型仅拟合出单一状态的成因难以细究，但针对这种眼动序列，可以进行优化使它尽可能地映射出数据在时间维度的信息，突出特征。GMM-HMM 模型与 TSS 方法针对单一状态眼动序列的处理方法对比，如图 2 所示，图中黄色椭圆代表 GMM-HMM 模型对单一状态眼动序列拟合的眼动扫视趋势。

Comparison of different models for a single state eye movement sequence

不同模型针对单一状态眼动序列的对比

TSS 方法可以反映受试者在浏览或扫视刺激对象时的视线转移过程，视线转移特征对于搜寻类任务具有高表象性，对于显著性搜索任务和对象搜索任务有较大的正向作用，对于自由查看任务的特征提取能力较小。

眼动数据建模之后，需要量化评估模型效果，应用线性判别分析（linear discriminant analysis，LDA）对眼动模型参数进行模式识别，可以直观地对比不同方法训练的模型的实用性及优缺点。

LDA 方法是应用眼动特征来创建新的特征空间，并优化类与类之间的分隔。首先设 g ∈ ℝk 为 k 维眼动特征向量，样本集 D = {gi, ci}i∈［1, N］, ci∈［1, M］ 为 N 个由 M 类标记的观测值的集合，ni 表示第 i 类的示例数，Gi 表示第 i 类的示例集合。组内离散矩阵 Sw 和组间协方差矩阵 Sb 定义如式（2）所示：

其中，μ 为所有示例的均值向量，μi 为 i 类的均值向量，Swi 为其协方差矩阵。LDA 方法的目标是使广义瑞利商（generalized Rayleigh quotient）最大化，如式（3）所示：

其中，u 为新空间的特征向量。基于 LDA 的三类分类方法使 y1、y2 和 y3 分别是 u 上 1 类、2 类和 3 类的平均投影，如式（4）所示：

设 g0 是分类的新观测值，y0 = uTμ0 表示其平均值的投影。分类包括将 g0 分配给其平均值最接近于 u 的类。

本文使用“留一法”，即在每次迭代中，去除一个观察项用来测试，然后对其他项进行训练。正确的分类率就是正确猜测类的迭代次数除以 N（迭代总数）。在此基于眼动模型的分类应用中，眼动特征向量 g 是由 HMM 参数构成的，如式（5）所示：

K 代表 HMM 中使用的状态数，为了使 g 对于所有观测值具有相同的维数，将 Kmax 定义为最大的状态数。对于 K < Kmax 的观测，将其注视特征向量填充零。

试验过程中将每个眼动路径训练了一个 GMM-HMM 模型，即每个受试者观看每个图像的眼动序列搭建一个 GMM-HMM 模型。在大多数情况下，采用变分法选择的模型中 K ≤ 3，因此初始 Kmax 设置为 3。由于至少需要四个点来计算三态 GMM-HMM 模型，从数据中丢弃少于四个注视点的眼动路径。

本文共进行了四组对比试验，第一组用 GMM-HMM 模型建模分类，第二组应用 TSS 方法来优化 HMM 模型，第三组用 TSS 方法建模所得参数替换 GMM-HMM 模型建模中的单一状态眼动序列所得参数，第四组根据 SA 信息距离和角度提取特征，对扫描路径进行基础信息分析。800 个图像在四组对比试验中的建模与分类结果如图 3 所示，其中，纵坐标为分类正确率。从结果图中可以看到，GMM-HMM 模型针对 800 个图像的分类正确率分布在 0.27～0.76 之间，正确率中位数为 0.509；TSS 方法优化模型的分类正确率分布在 0.3～0.9 之间，分布范围较分散，但整体平均数值提高了约 0.1，正确率中位数为 0.603；GMM-HMM 模型及 TSS 方法参数结合的分类正确率分布在 0.37～0.83 之间，分布较集中，平均数值提升量与 TSS 方法接近，正确率中位数为 0.607；SA 分析的正确率分布在 0.23～0.52 之间，正确率中位数为 0.365，略高于机会均值（0.333）。

The results of scanpaths classification

眼动路径分类结果

四组试验 800 个图像的分类正确率均呈正态分布，如图 4 所示，其中，横坐标为分类正确率，纵坐标为频数，图中曲线为频数柱状图的趋势拟合曲线。绿色点划线代表 GMM-HMM 模型结果；红色实线代表 TSS 方法优化的 HMM 模型结果；蓝色虚线代表用 TSS 方法所得参数替换部分 GMM-HMM 模型参数的结果；黑色虚线代表用 SA 参数所得模型结果。从图 4 中可见，搭建模型的三组试验结果均远大于三分类的机会均值（0.333），其结果表明，应用 GMM-HMM 模型对眼动路径进行建模及分类是可行的，且 TSS 方法对 GMM-HMM 模型有明显的优化作用，两种方法结合后使模型更加稳定可靠。SA 分析效果较差，无法将扫描路径分类，SA 分析不适用于当前数据特征。

The frequency of the accuracy of scanpaths classification with different models

不同模型用于眼动路径分类得正确率频数

按任务类型进行眼动数据比较，以研究不同任务条件下不同模型的优势和特点。各任务的比较分析结果如表 1 所示。其中，敏感度（sensitivity）是指真阳性（true positive，TP）数量占真阳性和假阴性（false negative，FN）数量总和的比例；特异性（specificity）是指真阴性（true negative，TN）数量占真阴性和假阳性（false positive，FP）数量总和的比例；正确率是指真阳性和真阴性数量总和占总样本数量的比例。

四组试验任务不同模型对比结果

从表 1 中可以看出，在自由查看、显著性搜索和对象搜索三种不同的任务中，自由查看任务的特异性高于其他任务类型，而对象搜索任务的敏感度高于其他任务类型。这种差异是由任务特性引起的。相较于其他两种任务，自由查看任务的眼动扫视模式共性较少，眼动路径相对杂乱，因此其特异性高于其他两种任务类型。而因为受试者在对象搜索任务的扫视过程中常常以注视到任务目标而结尾，这种任务特性增加了数据区分的辨识度，因此相较于自由查看和显著性搜索任务而言，它的敏感度较高。对象搜索任务的正确率比其他任务的高，而 TSS 方法相较于其他两种方法更适用于对象搜索类任务，这两点可以从四组试验所得结果的混淆矩阵中看出，如图 5 所示，列为眼动路径任务分类结果，行为眼动路径任务标签。

The confused matrix of the scanpath classification using different models

不同模型的眼动路径分类结果混淆矩阵

四组试验的受试者工作特征（receiver operating characteristic，ROC）曲线如图 6 所示，在自由查看任务环境曲线下面积（area under curve，AUC）指标由高到低分别为 0.881、0.853、0.833 和 0.671；在显著性搜索任务下 AUC 分别为 0.877、0.835、0.824 和 0.656；在对象搜索任务下 AUC 分别为 0.896、0.885、0.831 和 0.678。由此可见，应用 TSS 方法优化过的模型效果最好，仅用 TSS 方法替换 GMM-HMM 模型中部分参数的模型次之，GMM-HMM 模型低于前两种方法的 AUC 指标，只应用 SA 分析的结果远低于建模分析结果。

The ROC curve for the same task using different models

不同模型在同一任务下的 ROC 曲线

本文根据眼动数据特点使用 GMM-HMM 模型进行眼动数据建模，并以数据驱动的方式从眼动时空分布中捕获凝视特征等信息。这些特征参数揭示了眼动模式之间有意义的视觉行为差异，为眼动模式识别提供了依据。通过眼动数据模型验证，结果表明 GMM-HMM 模型应用于眼动路径建模是合理且可行的。

经验证，TSS 方法可以优化 GMM-HMM 模型的不足之处，并能够在时间维度上提取眼动数据特征，提高模型的分类正确率。TSS 方法较适用于搜寻特定目标的任务类型，在搜寻任务上有明显的区分优势。因为搜寻任务的特性可以增加眼动路径的辨识度，而 TSS 方法可以提取这种任务特性作为特征，所以在搜寻类任务中存在优势。但其也存在一定局限性，对于自由查看类的任务分辨率略低一些。之后，可对不同眼动模式特征，进行有针对性的模式提取，并应用于精神状态差异的眼动模式研究中。SA 作为眼动信息的直接参数，比经过提取变换过的模型参数识别效果差很多，但其可解释性突出。因此，通过眼动数据建模可以围绕眼动数据特性或任务特性提取特征，描述人类的视觉行为。

利益冲突声明：本文全体作者均声明不存在利益冲突。

四川科技计划项目（2019YFS0140）；成都市技术创新研发项目（2020-YF05-01386-SN）

Sichuan Science and Technology Program; Chengdu Science and Technology Innovation Program