评价学生表现 点击流数据可信吗?

2023-01-09 16:03:04 来源:教育在线

近期,弗吉尼亚大学研究团队对学生背景数据与点击流数据进行比较测试,试图发掘点击流数据在预测学生表现中的实际作用。

点击流数据能否预测成功

今年9月,一篇名为《大数据更好吗?在高等教育中通过学生管理平台数据进行预测分析》的研究论文发表,论文中,研究团队系统评估了将点击流数据纳入课程成绩预测模型能否提高模型性能,最终结果好坏参半,超出了研究团队的预料。


(资料图片仅供参考)

点击流数据,或称行为追踪数据,即学生在学习管理系统中进行的任何活动的记录,如访问任何学习内容页面、参与讨论和发送信息,以及提交、完成作业和测验。每条记录都有丰富的元数据,如活动的时间戳、活动触发的URL,以及活动涉及的对象ID(如作业ID)等。

具体而言,研究团队专注于自2000年以来弗吉尼亚州所有社区学院的数据。她们建立了两个模型系统来预测学生是否会完成一门课程:一个仅基于学院掌握的学生背景数据,如学生的高中GPA、现有成绩单、累积的学分和收到的财政援助。另一个则基于上文提到的点击流数据。

对数据建模分析后,研究团队发现,在首次入学的新生中,仅有点击流数据的模型表现优于仅有背景数据的模型。而在老生当中,仅有背景数据的模型大大优于仅有点击流数据的模型,并能准确预测学生是否会在课程中遇到困难。

弗吉尼亚大学教育学助理教授、论文第一作者凯利·伯德表示:“我们发现预测最成功的对象是刚刚入学、处于第一个学期的学生。这可能是因为社区学院非常开放,学生背景复杂多样,所以在刚入学时,学院并不了解学生的情况,凸显了‘点击流’数据的重要性。”

同时,收集和处理LMS数据需要大量的时间和精力。伯德表示,即使是经验丰富的程序员也在处理数据时花费了数百个小时,因为这些系统数据极为庞大。

伯德承认,一旦大学建立了一个系统来处理学生管理系统的数据,那么在未来几年内,计算这些数据将花费更少时间。论文的研究团队在网上免费分享了她们的代码,帮助那些想在此基础上继续研究的人进一步深入。

如何干预

伯德是弗吉尼亚大学Nudge4解决方案实验室的研究主任,该实验室致力于调查如何使用学生数据预测学生表现并设计相关的干预方案。

在得到分析预测的结果后,常见的做法是向系统识别出的学生发送短信或电子邮件,建议他们寻求辅导或更加努力。但是,也有人对这些方式提出质疑,他们表示,如果行为不当,可能会使学生失去信心,导致他们放弃学习,而且这种方式可能更倾向于对第一代大学生或不适应大学环境的学生产生负面影响。

而伯德也表示,她的实验室正在研究不同的方法,例如将预测系统的结果提供给顾问或教授,让他们决定是否以及如何进行干预。其中一个尚待研究的方法是,给参加辅导或寻求学习帮助的学生提供经济奖励,以激励他们完成课程。

中佛罗里达大学数字学习影响评估主任帕西·莫斯凯表示,她的团队也在学习如何从学生管理系统的数据分析中获益。她们没有使用预测系统,但她们试图为教师们建立仪表盘(dashboards),帮助教师识别规律或更好地注意到学习困难的学生。

“这是一项正在进行的工作”,她表示,“在线或混合课程比完全面对面的课程更依赖于学习管理系统的使用。然而,有一些课程很少布置评分类的作业,所以在学期刚开始时,没有数据可供分析,这也使得早期干预难以进行,错过最佳的干预窗口。”

而且,建立仪表盘和教会教师们使用仪表盘需要时间和精力,她补充说:“这仍是一个需要大量研究的领域,我们希望我们积累的经验不仅可以帮助我们对学生进行咨询、辅导,同时,我们希望提供一些关键信息,助力未来高质量的课程设计”。

责编:陈荣

关键词:
分享:
x 广告
x 广告

Copyright   2015-2022 魔方网版权所有  备案号:京ICP备2022018928号-48   联系邮箱:315 54 11 85 @ qq.com