评估学生专注度的方法和装置与流程

1.本技术涉及数据处理领域，尤其涉及一种评估学生专注度的方法和装置。


背景技术：

2.在传统的线下课堂中，教师在讲课的同时也关注学生的状态，观察学生是否在专心听讲、是否跟上讲课进度，以便及时对教学过程作出调整，提高教与学的效果。然而，在远程在线教育场景中，教师往往难以评估学生在听课过程中的专注度，也难以判断学生是否能跟上讲课进度。这种情况下，教师通常会采取临时提问的方法来确认学生的专注度和跟随程度。但这种做法会打断课堂节奏，占用讲授时间，检验的效果也并不理想。
3.随着机器学习、计算机视觉、智能感知等技术的快速发展，越来越多的研究和实践开始关注在线学习中的痛点难点，探索能对学生上课注意力状态进行智能识别和评估的方法。这类方法将有助于设计开放更具适应性的智能学习辅助系统，提高在线教育的效率和效果。
4.现有的对学生上课专注度的检测主要是采用以下步骤和技术实现的：1)通过设备内置或外置的摄像头记录学生上课过程中的视频；2)通过人工主观判断的方法标注学生的特定状态(比如分神、活跃、困惑、疲劳等)；3)经过计算机视觉方法提取视频中的学生外部特征，比如眼睛对屏幕注视时间、眨眼次数、面部表情、头部动作、身体姿态等等。 4)通过机器学习的方法，以学生的外部行为特征为输入，以标注的学生状态为输出，建立预测模型。最终，通过该模型实现对学习者状态的实时预测。
5.然而，学生的注意力应该是与课程内容节奏相吻合才能达到最好的学习效果。而目前的检测技术只关注了听课端学生的行为表现，评估结果不准确，可信度较低，因此无法了解学生的注意力是否在跟随教师讲述的课程内容。


技术实现要素：

6.本技术提供一种评估学生专注度的方法和装置，可以提高在线教育场景中评估的学生注意力的准确度和可信度。
7.第一方面，提供一种评估学生专注度的方法，包括：
8.获取课件中的待注视区域，所述待注视区域包括多个区域，所述多个区域中的每一个区域对应一个时间区间；
9.获取目标学生分别在每一个所述时间区间的实际注视区域；
10.根据每一个所述时间区间中所述待注视区域和所述实际注视区域的交集评估所述目标学生的专注度。
11.本技术提供的方案，通过分别获取教师或优秀学生的待注视区域，以及被测学生的实际注视区域，并对这两个区域取交集，从而获得该被测学生的专注度，由于本技术的方案考虑了与授课内容的节奏和进度相关的信息，即待注视区域与被测学生的实际注视区域，因此，可以提高在线教育场景中评估的学生注意力的准确度和可信度。
12.结合第一方面，在一些可能的实现方式中，所述获取课件中的待注视区域，包括：
13.根据所述课件中动态展示的课件内容获取所述待注视区域，所述动态展示的课件内容包括具有动画效果的课件内容。
14.本技术提供的方案，由于课件中动态展示的课件内容一般是教师希望学生注意的内容，因此，通过课件中动态展示的课件内容获取待注视区域，有利于评估学生注意力的准确度和可信度。
15.结合第一方面，在一些可能的实现方式中，所述根据所述课件中动态展示的课件内容获取所述待注视区域，包括：
16.根据所述课件中动态展示的课件内容确定所述课件中的骨干帧序列，所述骨干帧序列包括多个骨干帧，所述骨干帧为目标自然帧，所述目标自然帧满足以下条件：所述目标自然帧与后一自然帧的像素差值大于第一阈值，所述目标自然帧与前n个自然帧的像素差值均小于第二阈值；
17.计算所述骨干帧序列中的相邻骨干帧之间的帧间差分连通区域；
18.根据所述帧间差分连通区域获取所述待注视区域。
19.本技术提供的方案，通过确定课件中的骨干帧序列，并计算该骨干帧序列中的相邻骨干帧之间的帧间差分连通区域，以获取待注视区域，可以进步一提高评估学生注意力的准确度和可信度。
20.结合第一方面，在一些可能的实现方式中，所述获取课件中的待注视区域，包括：
21.根据教师使用的光标或激光笔移动的轨迹获取所述待注视区域。
22.本技术提供的方案，由于教师使用光标或激光笔移动的轨迹一般是教师希望学生重点注意的内容，因此，通过教师使用的光标或激光笔移动的轨迹获取待注视区域，可以进一步提高评估学生注意力的准确度和可信度。
23.结合第一方面，在一些可能的实现方式中，所述根据教师使用的光标或激光笔移动的轨迹获取所述待注视区域，包括：
24.根据所述光标或激光笔移动的轨迹计算所述轨迹扫过的区域，所述区域包括所述轨迹上方的上一行的内容；
25.将所述轨迹扫过的区域确定为所述待注视区域。
26.结合第一方面，在一些可能的实现方式中，所述方法还包括：
27.对所述轨迹进行预处理，所述预处理包括分段处理和/或标准化处理，所述分段处理包括滤除速度大于第三阈值的轨迹点和/或设置速度等于0的轨迹点为断点，所述标准化处理包括对分段后的轨迹进行重采样，使得所述分段后的每一段轨迹包含相同的轨迹点数；
28.所述根据所述光标或激光笔移动的轨迹计算所述轨迹扫过的区域，包括：
29.根据预处理后的轨迹计算所述轨迹扫过的区域。
30.本技术提供的方案，通过对光标或激光笔移动的轨迹进行预处理，并根据预处理后的轨迹计算该轨迹扫过的区域，可以进一步提高评估的学生注意力的准确度和可信度。
31.结合第一方面，在一些可能的实现方式中，所述获取课件中的待注视区域，包括：
32.根据教师的视线或优秀学生的视线获取所述待注视区域。
33.本技术提供的方案，由于教师的视线或优秀学生的视线所集中的地方应该是需要
重点关注的地方，因此，通过根据教师的视线或优秀学生的视线获取待注视区域，可以进一步提高评估学生注意力的准确度和可信度。
34.结合第一方面，在一些可能的实现方式中，所述根据教师的视线或优秀学生的视线获取所述待注视区域，包括：
35.基于摄像头获取所述教师或所述优秀学生的面孔影像；
36.根据所述面孔影像确定所述教师的视线或所述优秀学生的视线；
37.根据所述教师的视线或所述优秀学生的视线确定所述教师或所述优秀学生在所述课件中所注视的区域；
38.确定所述所注视的区域为所述待注视区域。
39.结合第一方面，在一些可能的实现方式中，所述获取目标学生分别在每一个所述时间区间的实际注视区域，包括：
40.根据所述目标学生的视线获取所述目标学生分别在每一个所述时间区间的实际注视区域。
41.结合第一方面，在一些可能的实现方式中，所述根据所述目标学生的视线获取所述目标学生分别在每一个所述时间区间的实际注视区域，包括：
42.基于摄像头获取所述目标学生的面孔影像；
43.根据所述面孔影像确定所述目标学生分别在每一个所述时间区间的视线；
44.根据所述每一个所述时间区间的视线确定所述目标学生在每一个所述时间区域所注视的区域；
45.确定每一个所述时间区间所注视的区域为对应时间区间的实际注视区域。
46.结合第一方面，在一些可能的实现方式中，所述根据每一个所述时间区间中所述待注视区域和所述实际注视区域的交集评估所述目标学生的专注度，包括：
47.根据每一个所述时间区间和每一个所述时间区间中所述待注视区域确定第一时空二元组；
48.根据每一个所述时间区间确定每一个所述实际注视区域，每一个所述时间区间和每一个所述实际注视区域组成第二时空二元组；
49.根据所述第一时空二元组和所述第二时空二元组评估所述目标学生的专注度。
50.本技术提供的方案，通过根据每一个时间区间和每一个时间区间中所述待注视区域确定第一时空二元组，再基于每一个时间区间确定每一个实际注视区域，组成第二时空二元组，并根据第一时空二元组和第二时空二元组评估目标学生的专注度。本技术通过结合时间和空间信息的时空二元组将评估目标学生的专注度进行可视化，可以进一步提高在评估的学生注意力的准确度和可信度。
51.结合第一方面，在一些可能的实现方式中，所述目标学生的专注度小于或等于第四阈值，所述方法还包括：
52.采用聚光灯对所述待注视区域进行高亮处理。
53.本技术提供的方案，在目标学生的专注度小于或等于第四阈值时，采用聚光灯对待注视区域进行高亮处理，可以帮助目标学生纠正不合适的注视模式，使他们的注意力导向待注视区域，进一步地，可以提高目标学生的专注度。
54.结合第一方面，在一些可能的实现方式中，所述方法应用于在线教育场景。
55.第二方面，提供了一种装置，该装置包含在电子设备中，该装置具有实现上述方面及上述方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。
56.第三方面，提供了一种电子设备，包括：一个或多个处理器；存储器；一个或者多个应用程序；以及一个或多个计算机程序。其中，一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令。当指令被电子设备执行时，使得电子设备执行上述第一方面任一项可能的实现中的方法。
57.第四方面，提供了一种芯片系统，包括至少一个处理器，当程序指令在所述至少一个处理器中执行时，使得上述第一方面任一项可能的实现中的方法在所述电子设备上的功能得以实现。
58.第五方面，提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述第一方面任一项可能的实现中的方法。
59.第六方面，提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面任一项可能的设计中的方法。
附图说明
60.图1为本技术实施例应用的场景示意图。
61.图2为本技术实施例提供的一种系统架构的示意图。
62.图3为本技术实施例提供的一种评估学生专注度的方法的示意性流程图。
63.图4为本技术实施例提供的一种评估学生专注度的方法的示意性图。
64.图5为本技术实施例提供的一种课件动态内容的示意图。
65.图6为本技术实施例提供的另一种课件动态内容的示意图。
66.图7为本技术实施例提供的一种差分结果的示意图。
67.图8为本技术实施例提供的一种利用三维空间长方体表示的视某个区域持续了某段时间的示意图。
68.图9为本技术实施例提供的光标轨迹的示意图。
69.图10为本技术实施例提供的一种光标轨迹的示意图。
70.图11为本技术实施例提供的一种对光标轨迹处理的示意图。
71.图12为本技术实施例提供的一种待注视区域的示意图。
72.图13为本技术实施例提供的一种教师视线的示意图。
73.图14为本技术实施例提供的一种优秀学生群体注视的示意图。
74.图15为本技术实施例提供的一种被测学生实际注视区域和待注视区域的交集的示意图。
75.图16为本技术实施例提供的一种利用时空二元组三维表示的长方体以表示被测学生实际注视区域和待注视区域的交集的示意图。
76.图17为本技术实施例提供的一种评估学生专注度的方法的示意性流程图。
77.图18为本技术实施例提供的一种评估学生专注度的装置的示意性框图。
78.图19为本技术实施例提供的另一种评估学生专注度的装置的示意性框图。
具体实施方式
79.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。其中，在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a 和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，在本技术实施例的描述中，“多个”是指两个或多于两个。
80.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
81.本技术实施例提供的评估学生专注度的方法可以应用于手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra
‑
mobile personal computer，umpc)、上网本、个人数字助理 (personal digital assistant，pda)等电子设备上，本技术实施例对电子设备的具体类型不作任何限制。
82.在传统的线下课堂中，教师在讲课的同时也关注学生的状态，观察学生是否在专心听讲、是否跟上讲课进度，以便及时对教学过程作出调整，提高教与学的效果。然而，在远程在线教育场景中，教师往往难以评估学生在听课过程中的专注度，也难以判断学生是否能跟上讲课进度。这种情况下，教师通常会采取临时提问的方法来确认学生的专注度和跟随程度。但这种做法会打断课堂节奏，占用讲授时间，检验的效果也并不理想。
83.随着机器学习、计算机视觉、智能感知等技术的快速发展，越来越多的研究和实践开始关注在线学习中的痛点难点，探索能对学生上课注意力状态进行智能识别和评估的方法。这类方法将有助于设计开放更具适应性的智能学习辅助系统，提高在线教育的效率和效果。
84.现有的对学生上课专注度的检测主要是采用以下步骤和技术实现的：1)通过设备内置或外置的摄像头记录学生上课过程中的视频；2)通过人工主观判断的方法标注学生的特定状态(比如分神、活跃、困惑、疲劳等)；3)经过计算机视觉方法提取视频中的学生外部特征，比如眼睛对屏幕注视时间、眨眼次数、面部表情、头部动作、身体姿态等等。 4)通过机器学习的方法，以学生的外部行为特征为输入，以标注的学生状态为输出，建立预测模型。最终，通过该模型实现对学习者状态的实时预测。
85.然而，学生的注意力应该是与课程内容节奏相吻合才能达到最好的学习效果。而目前的检测技术只关注了听课端学生的行为表现，评估结果不准确，可信度较低，因此无法了解学生的注意力是否在跟随教师讲述的课程内容。
86.本技术提供一种评估学生专注度的方法，可以提高在线教育场景中评估的学生注意力的准确度和可信度。
87.下文先简单介绍本技术的方案可以应用的场景。
88.本技术针对在线教育平台提供一种底层能力，教育应用(application，app)运行在平台上，教学课程可以是直播课程，也可以是录播课程。
89.如图1所示，为本技术实施例应用的场景示意图。
90.参考图1，在直播课程的场景下，教师可以通过客户端展示教学材料(可以是视频或动画，既可以有课程材料也可有教师影像)；也可以通过外部输入设备(鼠标、笔、触控板
等)在呈现教学材料时显示出光标轨迹等视觉引导信息。当教师端设备具有摄像头或眼动跟踪装置时，可以拍摄或跟踪老师视线方向。
91.在录播课程的场景下，课程平台播放提前录制好的视频。在录制视频的过程中，教师也可以通过外部输入设备(鼠标、笔、触控板等)在呈现教学材料时动态显示出光标轨迹等视觉引导信息。
92.上述两种场景，学生均可以通过客户端(电脑、平板、手机等)的教学平台观看教学内容。当学生端具有相关设备(比如内置或外接摄像头，或眼动跟踪仪)时，可以捕获学生的视线方向信息。
93.如图2所示，为本技术实施例提供的一种系统架构的示意图。
94.其中，图2中的左半部分包括的模块用于获取教师或优秀学生的待注视区域，图2中的右半部分包括的模块用于获取被测学生的待注视区域，被测学生专注度生成模块通过对获得的2个待注视区域进行处理，可以获得被测学生的专注度。
95.需要说明的是，教师或优秀学生的待注视区域可以通过两种方式获得，一种可以通过面部信息采集模块、眼动跟踪模块以及注视区域生成模块获得，另一种可以通过课件视频获取模块、课件特征提取模块以及注视区域生成模块获得。
96.获得教师或优秀学生的待注视区域的两种方式：
97.方式一：
98.面部信息采集模块负责通过相机采集包括老师、优秀学生的面部数据，然后传递至眼动跟踪模块；眼动跟踪模块对视频中的眼睛视线方向进行计算并持续更新；随后注视区域生成模块对视线区域进行量化分析建模，得到一系列时空二元组。
99.方式二：
100.课件视频获取模块获取视频课件，然后在课件特征提取模块中对课件呈现出的相关特征进行提取，包括动态内容、光标轨迹等的位置、范围及驻留时间。所得到的特征被传递至待注视区域生成模块中，得到一组时空二元组。
101.获得被测学生的待注视区域的方式：
102.面部信息采集模块负责通过相机采集被测学生的面部数据，然后传递至眼动跟踪模块；眼动跟踪模块对视频中的眼睛视线方向进行计算并持续更新；随后注视区域生成模块对视线区域进行量化分析建模，得到一系列时空二元组。
103.最后，将不同输入得到的多个时空二元组在被测学生专注度生成模块中进行处理，得到最终结果。
104.上述模块可以灵活部署，示例性地，对授课端视频的处理可以在授课端实现，也可以在云端或服务器实现，甚至可以在传输后在听课端实现。本技术可以作为一个底层能力，该能力可以作为操作系统(如鸿蒙)的一部分，也可以作为软件开发工具包(softwaredevelopment kit，sdk)的一部分提供应用程序接口(application programming interface， api)给第三方教育内容机构。
105.如图3所示，为本技术实施例提供的一种评估学生专注度的方法300的示意性流程图。该方法300可以包括步骤s310
‑
s330。
106.s310，获取教师或优秀学生的待注视区域。
107.本技术实施例中的优秀学生可以包括1个学生，也可以包括多个学生，不予限制。
108.本技术实施例中，获取教师或优秀学生的待注视区域可以通过多种方式实现，下文先结合图4简单介绍这几种方式。
109.如图4所示，为本技术实施例提供的一种评估学生专注度的方法的示意性图。参考图 4，可以看出，获取教师或优秀学生的待注视区域包括四种方式。
110.方式一：根据课件中动态出现的内容确定待注视区域
111.通过对在线课程视频时序划分，获得骨干帧序列，计算该骨干帧帧间差分区域，获得显示注意事件，从而获取教师或优秀学生的待注视区域。
112.方式二：根据移动光标确定待注视区域
113.通过对教师的光标轨迹进行检测、分类，获得光标注意事件，从而获取教师或优秀学生的待注视区域。
114.方式三：根据教师的视线确定待注视区域
115.通过对教师的注视点进行检测，获取教师的待注视区域。
116.方式四：根据优秀学生群体的注视视线确定待注视区域
117.通过对优秀学生的群体注视点检测，获得群体指导注意事件，从而获取优秀学生的待注视区域。
118.其中，上述方式一、方式二以及方式三均是基于授课端获得，方式四是基于听课端获得。
119.s320，获取被测学生的实际注视区域。
120.参考上述图4，本技术实施例中，可以通过对被测学生个体的注意区域进行检测，获取该被测学生的实际注视区域。
121.s330，评估被测学生的专注度。
122.本技术实施例中，评估被测学生的专注度可以通过对上述两个区域(即教师或优秀学生的待注视区域，和，被测学生的实际注视区域)取交集获得，这两个区域之间的交集越大，则说明该被测学生的专注度越高，这两个区域之间的交集越小，则说明该被测学生的专注度越低。
123.本技术提供的方案，通过分别获取教师或优秀学生的待注视区域，以及被测学生的实际注视区域，并对这两个区域取交集，从而获得该被测学生的专注度，由于本技术的方案考虑了与授课内容的节奏和进度相关的信息，即待注视区域与被测学生的实际注视区域，因此，可以提高在线教育场景中评估的学生注意力的准确度和可信度。
124.上文步骤s310中简单介绍了获取教师或优秀学生的待注视区域的四种方式，下文将详细介绍关于这四种方式的内容。
125.方式一：根据课件中动态出现的内容确定待注视区域
126.如图5所示，为本技术实施例提供的一种课件动态内容的示意图。其中，图5中的(a) 为动态出现前的显示界面，图5中的(b)为动态出现后的显示界面。
127.参考图5中的(a)和(b)，可以看出，在动态显示出现前，界面显示“长方形周长”和“长方形面积”，当教师点击鼠标后，界面动态显示“(长+宽)*2”和“长*宽”。该动态出现的内容可以包括从无到有、闪烁动画效果、视频播放等，其目的是让学生可以紧随进度，集中注意力在这些动态内容上。
128.下文将结合图6详细描述基于该方式获取待注视区域。
129.(1)在视频时间轴上选取有动态内容出现时的骨干帧序列
130.其中，骨干帧f
i
的定义可以为：在时间轴上同时满足下述两个条件的动画起始帧：(a) 当前自然帧f
j
与后一自然帧f
j+1
的像素差值大于阈值(即有新内容出现)；(b)当前自然帧f
j
与其前n个自然帧(如f
j
‑
n
,
…
,f
j
‑1)保持一致(即已经保持了一段时长的稳定状态)。其中，n可以为大于5的整数。
131.换句话说，当某一自然帧f
j
同时满足上述条件(a)和(b)时，则当前自然帧f
j
即为骨干帧f
i
。此时，可以将该骨干帧f
i
与其对应的时间区间(t
i
‑1,t
i
)加入骨干帧序列 {(f
i
,(t
i
‑1,t
i
)),i∈n
+
}，其中，t
i
‑1是f
i
‑1的出现的时刻，t
i
是f
i
出现的时刻，即(t
i
‑1,t
i
)是从一次动画开始到下次动画开始的时间区间。
132.值得注意的是，虽然上述方案中将骨干帧f
i
与时间区间(t
i
‑1,t
i
)加入骨干帧序列 {(f
i
,(t
i
‑1,t
i
)),i∈n
+
}，但是，骨干帧f
i
出现的时刻与上述自然帧f
j
出现的时刻是一致的，因此，上述t
i
是f
i
出现的时刻可以理解为：t
i
也可以是f
j
出现的时刻。
133.参考图6，可以看出，自然帧f
j
与自然帧f
m
‑
n
之间在时间轴上用虚线连接，可以表示自然帧f
j
之后的自然帧f
j+1
开始有动画出现，即界面开始动态出现“(长+宽)*2”和“长* 宽”这些内容；自然帧f
j
‑
n
与自然帧f
j
之间在时间轴上用实线连接，表示自然帧f
j
与之前的n个自然帧保持一致，即从自然帧f
j
‑
n
至自然帧f
j
一直处于稳定状态；则该自然帧f
j
即为骨干帧，并将其表示为骨干帧f2。
134.假设图中的自然帧f
h
也为骨干帧，并将其表示为骨干帧f1(图中未示出关于该帧的动态变化)，则对于骨干帧f2来说，可以将该骨干帧f2与时间区间(t
h
,t
j
)加入骨干帧序列 {(f2,(t
h
,t
j
))}，其中，t
h
是骨干帧f1出现的时刻，t
j
是骨干帧f2出现的时刻。
135.类似地，假设图中的自然帧f
m
也为骨干帧，并将其表示为骨干帧f3(图中未示出关于该帧的动态变化)，则对于骨干帧f3来说，可以将该骨干帧f3与时间区间(t
j
,t
m
)加入骨干帧序列{(f3,(t
j
,t
m
))}，其中，t
j
是骨干帧f2出现的时刻，t
m
是骨干帧f3出现的时刻。
136.(2)确定待注视区域
137.计算骨干帧序列{(f
i
,(t
i
‑1,t
i
)),i∈n
+
}中的骨干帧f
i
与前一骨干帧f
i
‑1的帧间差分连通区域d(f
i
,f
i
‑1)，计算该连通区域的包围盒(bounding box，bb)，将该bb作为骨干帧f
i
的待注视区域b
i
，或者，在获得骨干帧f
i
与前一骨干帧f
i
‑1的帧间差分连通区域d(f
i
,f
i
‑1) 后，可以计算多个bb，并对这多个bb取并集作为为当前骨干帧的待注视区域b
i
。
138.需要说明的是，上述帧间差分连通区域是由于帧与帧之间的像素的差值而存在的，即 d(f
i
,f
i
‑1)是不规则区域，而连通区域的bb可以是规则的区域，如用矩形框圈起来的区域。
139.如图7所示，为本技术实施例提供的一种差分结果的示意图。
140.参考图7，可以看出，通过对骨干帧f
i
与前一骨干帧f
i
‑1的帧间差分，获得帧间差分连通区域，并计算该连通区域的bb，即用矩形框圈起来的“(长+宽)*2”所形成的区域，则该矩形框区域可以为当前骨干帧的待注视区域。
141.将时空二元组(b
i
,(t
i
‑1,t
i
))作为待注视区域事件，表示注视某个区域b
i
持续了某段时间，可以形象地表示为三维空间的长方体，如图8所示。
142.参考图8，t轴表示时间，x轴和y轴所形成的投影可以表示区域，该长方体在xy平面上的投影表示需要注视的区域，即上文中的待注视区域；该长方体在t轴上的投影表示注视
的矩形框可以为图10中第四行划线部分所形成的矩形区域，包括数字2的矩形框可以为图10中第一行划线部分所形成的矩形区域，依次类推。需要说明的是，图12中示出的矩形框的个数大于图10中划线部分的数量，可以理解为，图10中还包括多个划线部分，在图10中未示出而已。
163.方式三：根据教师的视线确定待注视区域
164.通过教师端的摄像头获取教师面孔影像，提取眼睛运动特征，确定其视线在屏幕上对应的注视点，将注视点按时间顺序相连，计算轨迹扫过区域的bb，计算时空二元组 (b
i
,(t
i
‑1,t
i
))，作为教师关注的待注视区域事件。
165.如图13所示，为本技术实施例提供的一种教师视线的示意图。参考图13，可以看出，在第一行(以a开始的所在的行)和第四行(以d开始的所在的行)用椭圆圈出了部分内容，则说明这两个部分应该是学生注意的地方。基于该方式，确定的待注视区域与上述图12中的基本一致，可以参考上述图12，不再赘述。
166.方式四：根据优秀学生群体的注视视线确定待注视区域
167.确定多名优秀学生，通过学生端的摄像头或眼动仪获取这些学生的视线方向，确定其视线在屏幕上对应的注视区域。将多人注视数据整合，计算出群体注视轨迹，作为待注视区域。
168.如图14所示，为本技术实施例提供的一种优秀学生群体注视的示意图。其中，用实线椭圆圈出的内容区域表示优秀学生1的注视区域，用虚线椭圆圈出的内容区域表示优秀学生2的注视区域，用较粗的双点划线椭圆圈出的内容区域表示优秀学生3的注视区域。
169.假设在[t1，t2]这一时间区间内，优秀学生注视第一行的内容，在[t3，t4]这一时间区间内，优秀学生注视第四行的内容。参考图14，可以看出，在[t1，t2]这一时间区间内，上述3个优秀学生(即优秀学生1、优秀学生2、优秀学生3)所注视的区域略有不同，对于这3个学生群体注视区域，可以取这3个区域的并集，即图中所示出的用矩形框圈出来的区域。
[0170]
类似地，在[t3，t4]这一时间区间内，上述3个优秀学生(即优秀学生1、优秀学生2、优秀学生3)所注视的区域也略不同，对于这3个学生群体注视区域，可以取这3个区域的并集，即图中所示出的用矩形框圈出来的区域。
[0171]
需要说明的是，在一些实施例中，也可以取多个学生所注视的区域的交集，不予限制。
[0172]
上文步骤s320中获取被测学生的实际注视区域，可以通过学生端的内置或外接摄像头获取学生面孔影像。选取同样的时间区间的影像，提取眼睛运动特征信息，通过学生的视线特征算出其在屏幕上对应的注视区域。将注视点按时间顺序相连，计算轨迹扫过区域的bb，作为该学生的实际注视区域。
[0173]
基于此，上文介绍了确定教师或优秀学生的待注视区域的四种方式以及确定被测学生的实际注视区域的方式，下文将介绍确定该被测学生的专注度。
[0174]
参考上文，通过上述四种方式获取教师或优秀学生的待注视区域可知，最终在某一时间区间内确定的待注视区域均可以是矩形区域。应理解，在一些实施例中，待注视区域也可以为椭圆形、圆形等，不予限制。
[0175]
步骤s330中评估被测学生的专注度，可以通过对上述两个区域(即教师或优秀学生的待注视区域，和，被测学生的实际注视区域)取交集获得，下文将结合图15进行详细介
绍。
[0176]
如图15所示，为本技术实施例提供的一种被测学生实际注视区域和待注视区域的交集的示意图。其中，用实线矩形框圈出来的区域为确定的待注视区域，用较粗的虚线圈出来的区域为被测学生实际注视区域。
[0177]
参考图15，可以看出，在[t1，t2]这一时间区间内，被测学生实际注视区域与确定的待注视区域这两个区域之间的交集较多，即该被测学生在[t1，t2]这一时间区间内的专注度较高，注意力比较集中；在[t3，t4]这一时间区间内，被测学生实际注视区域与确定的待注视区域这两个区域之间的交集较少，即该被测学生在[t3，t4]这一时间区间内的专注度较低，注意力不是特别集中。此时，可以对其进行干预和引导，如采用聚光灯效果，将待注视区域做高亮处理而其他区域变暗，使得学生可以集中注视待注视区域。
[0178]
当然，也可以利用时空二元组三维表示的长方体确定被测学生的专注度。如图16所示，为本技术实施例提供的一种利用时空二元组三维表示的长方体以表示被测学生实际注视区域和待注视区域的交集的示意图。其中，实线长方体表示的是在某一时间区间内的待注视区域，较粗的虚线长方体表示的是在该时间区间内被测学生的实际注视区域。
[0179]
参考图16，可以看出，在[t1，t2]这一时间区间内，这两个长方体重叠的区域较多，即被测学生实际注视区域与确定的待注视区域这两个区域之间的交集较多，则说明该被测学生在[t1，t2]这一时间区间内的专注度较高，注意力比较集中；在[t3，t4]这一时间区间内，这两个长方体重叠的区域较少，即被测学生实际注视区域与确定的待注视区域这两个区域之间的交集较少，说明该被测学生在[t3，t4]这一时间区间内的专注度较低，注意力不是特别集中。
[0180]
上述方法300中的步骤s310获取教师或优秀学生的待注视区域这一步骤可以通过本技术提供的平台实现，即当教师在展示教学材料时，可以上述四种方式中的任一方式确定待注视区域；当然，步骤s310获取教师或优秀学生的待注视区域这一步骤也可以通过幻灯片(power point，ppt)插件和平台共同完成，如，ppt的插件可以向平台提供区域位置、动态效果、光标的位置、移动方向、移动速度以及持续时间等信息，平台可以直接计算出时空二元组。
[0181]
下面介绍本技术提供的一种评估学生专注度的方法的流程。
[0182]
请参见图17，图17示出了一种评估学生专注度的方法1700的示意性流程图。
[0183]
如图17所示，该方法1700可以包括：
[0184]
s1710，获取课件中的待注视区域，所述待注视区域包括多个区域，所述多个区域中的每一个区域对应一个时间区间。
[0185]
可以理解的是，随着课件的播放，待注视区域处于动态变化中，对于每一个待注视区域，可能对应一个时间区间。示例性地，在第一个时间区间，待注视区域可能位于课件的右上方；在第二个时间区间，待注视区域可能位于课件的左下方；在第三个时间区间，待注视区域可能位于课件的中间；不予限制。
[0186]
s1720，获取目标学生分别在每一个所述时间区间的实际注视区域。
[0187]
对于上述每一个时间区间，目标学生会有实际注视的区域。实际注视区域可能与待注视区域一致，也可能不一致。本技术实施例中，目标学生可以为1个，也可以为多个，不予限制。
[0188]
s1730，根据每一个所述时间区间中所述待注视区域和所述实际注视区域的交集评估所述目标学生的专注度。
[0189]
如上所述，待注视区域和目标学生的实际注视区域可能一致，也可能不一致，因此，可以从这两个区域之间的交集评估该目标学生的专注度。
[0190]
可选地，在一些实施例中，所述方法应用于在线教育场景。
[0191]
本技术提供的方案，通过分别获取教师或优秀学生的待注视区域，以及被测学生的实际注视区域，并对这两个区域取交集，从而获得该被测学生的专注度，由于本技术的方案考虑了与授课内容的节奏和进度相关的信息，即待注视区域与被测学生的实际注视区域，因此，可以提高在线教育场景中评估的学生注意力的准确度和可信度。
[0192]
本技术实施例中，步骤s1710获取课件中的待注视区域可以通过多种方式获取。
[0193]
方式一：
[0194]
所述获取课件中的待注视区域，包括：
[0195]
根据所述课件中动态展示的课件内容获取所述待注视区域，所述动态展示的课件内容包括具有动画效果的课件内容。
[0196]
可选地，在一些实施例中，所述根据所述课件中动态展示的课件内容获取所述待注视区域，包括：
[0197]
根据所述课件中动态展示的课件内容确定所述课件中的骨干帧序列，所述骨干帧序列包括多个骨干帧，所述骨干帧为目标自然帧，所述目标自然帧满足以下条件：所述目标自然帧与后一自然帧的像素差值大于第一阈值，所述目标自然帧与前n个自然帧的像素差值均小于第二阈值；
[0198]
计算所述骨干帧序列中的相邻骨干帧之间的帧间差分连通区域；
[0199]
根据所述帧间差分连通区域获取所述待注视区域。
[0200]
方式二：
[0201]
所述获取课件中的待注视区域，包括：
[0202]
根据教师使用的光标或激光笔移动的轨迹获取所述待注视区域。
[0203]
可选地，在一些实施例中，所述根据教师使用的光标或激光笔移动的轨迹获取所述待注视区域，包括：
[0204]
根据所述光标或激光笔移动的轨迹计算所述轨迹扫过的区域，所述区域包括所述轨迹上方的上一行的内容；
[0205]
将所述轨迹扫过的区域确定为所述待注视区域。
[0206]
可选地，在一些实施例中，所述方法1700还包括：
[0207]
对所述轨迹进行预处理，所述预处理包括分段处理和/或标准化处理，所述分段处理包括滤除速度大于第三阈值的轨迹点和/或设置速度等于0的轨迹点为断点，所述标准化处理包括对分段后的轨迹进行重采样，使得所述分段后的每一段轨迹包含相同的轨迹点数；
[0208]
所述根据所述光标或激光笔移动的轨迹计算所述轨迹扫过的区域，包括：
[0209]
根据预处理后的轨迹计算所述轨迹扫过的区域。
[0210]
方式三：
[0211]
所述获取课件中的待注视区域，包括：
[0212]
根据教师的视线或优秀学生的视线获取所述待注视区域。
[0213]
可选地，在一些实施例中，所述根据教师的视线或优秀学生的视线获取所述待注视区域，包括：
[0214]
基于摄像头获取所述教师或所述优秀学生的面孔影像；
[0215]
根据所述面孔影像确定所述教师的视线或所述优秀学生的视线；
[0216]
根据所述教师的视线或所述优秀学生的视线确定所述教师或所述优秀学生在所述课件中所注视的区域；
[0217]
确定所述所注视的区域为所述待注视区域。
[0218]
关于上述三种方式可以参考上述方法300中所介绍的四种方式。其中，本技术实施例中的方式一可以参考上述方法300中的方式一，本技术实施例中的方式二可以参考上述方法300中的方式二，本技术实施例中的方式三可以参考上述方法300中的方式三和方式四，在此不再赘述。
[0219]
本技术实施例中，步骤s1720获取目标学生分别在每一个时间区间的实际注视区域可以通过以下方式实现。
[0220]
所述获取目标学生分别在每一个所述时间区间的实际注视区域，包括：
[0221]
根据所述目标学生的视线获取所述目标学生分别在所述每一个时间区间的实际注视区域。
[0222]
可选地，在一些实施例中，所述根据所述目标学生的视线获取所述目标学生分别在每一个时间所述区间的实际注视区域，包括：
[0223]
基于摄像头获取所述目标学生的面孔影像；
[0224]
根据所述面孔影像确定所述目标学生分别在每一个所述时间区间的视线；
[0225]
根据所述每一个所述时间区间的视线确定所述目标学生在每一个所述时间区域所注视的区域；
[0226]
确定每一个所述时间区间所注视的区域为对应时间区间的实际注视区域。
[0227]
本技术实施例中，获取目标学生在每一个时间区间的实际注视区域，与上述方式三中获取优秀学生的待注视区域基本类似，可以参考上述关于步骤s320的内容，在此不再赘述。
[0228]
本技术实施例中，步骤s1730根据所述待注视区域和所述实际注视区域的交集评估所述目标学生的专注度可以通过以下方式实现。
[0229]
可选地，在一些实施例中，所述根据每一个所述时间区间中所述待注视区域和所述实际注视区域的交集评估所述目标学生的专注度，包括：
[0230]
根据每一个所述时间区间和每一个所述时间区间中所述待注视区域确定第一时空二元组；
[0231]
根据每一个所述时间区间确定每一个所述实际注视区域，每一个所述时间区间和每一个所述实际注视区域组成第二时空二元组；
[0232]
根据所述第一时空二元组和所述第二时空二元组评估所述目标学生的专注度。
[0233]
本技术实施例中，评估目标学生的专注度可以参考上文图15和图16的相关内容，不再赘述。
[0234]
可选地，在一些实施例中，所述目标学生的专注度小于或等于第四阈值，所述方法
还包括：
[0235]
采用聚光灯对所述待注视区域进行高亮处理。
[0236]
本技术提供的方案，在目标学生的专注度小于或等于第四阈值时，采用聚光灯对待注视区域进行高亮处理，可以帮助目标学生纠正不合适的注视模式，使他们的注意力导向待注视区域，进一步地，可以提高目标学生的专注度。
[0237]
可以理解的是，用于评估学生专注度的装置为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0238]
本实施例可以根据上述方法示例对上述装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0239]
在采用对应各个功能划分各个功能模块的情况下，图18示出了上述实施例中涉及的评估学生专注度的装置1800的一种可能的组成示意图，如图18所示，该装置1800可以包括：获取模块1810和评估模块1820。
[0240]
其中，获取模块1810可以用于支持装置1800执行上述步骤s1710、s1720等，和/ 或用于本文所描述的技术的其他过程。
[0241]
评估模块1830可以用于支持装置1800执行上述步骤s1730等，和/或用于本文所描述的技术的其他过程。
[0242]
需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
[0243]
本实施例提供的装置，用于执行上述本技术的方法，因此可以达到与上述实现方法相同的效果。
[0244]
在采用集成的单元的情况下，装置可以包括处理模块、存储模块和通信模块。其中，处理模块可以用于对该装置的动作进行控制管理，例如，可以用于支持该装置执行上述各个单元执行的步骤。存储模块可以用于支持该装置执行存储程序代码和数据等。通信模块，可以用于支持该装置与其他设备的通信。
[0245]
其中，处理模块可以是处理器或控制器。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，dsp)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、wi
‑
fi 芯片等与其他电子设备交互的设备。
[0246]
此外，还需要说明的是，该装置1800可以安装于平台中，且该装置1800中的处理器可以从存储器中调用并运行计算机程序，使得安装有该装置1800的平台执行上述本技术中的方法。
[0247]
图19示出了上述实施例涉及的装置800的另一种可能的组成示意图，如图19所示，
该装置800可以包括通信单元810、输入单元820、处理单元830、输出单元(或也可以称为显示单元)840、外设接口850、存储单元860、电源870、视频解码器880以及音频解码器890。
[0248]
通信单元810用于建立通信信道，使装置800通过所述通信信道以连接至远程服务器，并从所述远程服务器下媒体数据。所述通信单元810可以包括wlan模块、蓝牙模块、 nfc模块、基带模块等通信模块，以及所述通信模块对应的射频(radio frequency，简称 rf)电路，用于进行无线局域网络通信、蓝牙通信、nfc通信、红外线通信及/或蜂窝式通信系统通信，例如宽带码分多重接入(wideband code division multiple access，w
‑
cdma) 及/或高速下行封包存取(high speed downlink packet access，hsdpa)。所述通信模块810 用于控制装置中的各组件的通信，并且可以支持直接内存存取。
[0249]
输入单元820可以用于实现用户与装置的交互和/或信息输入到装置中。在本技术具体实施方式中，输入单元可以是触控面板，也可以是其他人机交互界面，例如实体输入键、麦克风等，还可是其他外部信息撷取装置，例如摄像头等。
[0250]
处理单元830为装置的控制中心，可以利用各种接口和线路连接整个装置的各个部分，通过运行或执行存储在存储单元内的软件程序和/或模块，以及调用存储在存储单元内的数据，以执行装置的各种功能和/或处理数据。
[0251]
输出单元840包括但不限于影像输出单元和声音输出单元。影像输出单元用于输出文字、图片和/或视频。在本技术的具体实施方式中，上述输入单元820所采用的触控面板亦可同时作为输出单元840的显示面板。例如，当触控面板检测到在其上的触摸或接近的手势操作后，传送给处理单元以确定触摸事件的类型，随后处理单元根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图19中，输入单元820与输出单元840是作为两个独立的部件来实现装置的输入和输出功能，但是在某些实施例中，可以将触控面板与显示面板集成一体而实现装置的输入和输出功能。例如，所述影像输出单元可以显示各种图形化用户接口以作为虚拟控制组件，包括但不限于窗口、卷动轴、图标及剪贴簿，以供用户通过触控方式进行操作。
[0252]
存储单元860可用于存储软件程序以及模块，处理单元通过运行存储在存储单元的软件程序以及模块，从而执行装置的各种功能应用以及实现数据处理。
[0253]
本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在装置上运行时，使得装置执行上述相关方法步骤实现上述实施例中的评估学生专注度的方法。
[0254]
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的评估学生专注度的方法。
[0255]
另外，本技术的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的评估学生专注度的方法。
[0256]
其中，本实施例提供的装置、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
[0257]
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简
洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0258]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0259]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0260]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0261]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存储器(randomaccess memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0262]
以上内容，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。