MOOC评价系统中同伴互评概率模型研究

2012年起,基于网络、针对大众人群的大规模开放在线课程呈井喷式发展。目前的MOOC虽然能支持视频课程、论坛、测试和评价等功能,但对于学习者学习效果的评价和给予反馈的能力仍受到限制。在线学习的学习效果评价方法中,选择题和判断题等客观类试题可以通过机器进行评判反馈,但一些主观类试题,比如数学演算、设计问题和论文等一些复杂和开放性的作业任务就无法通过机器评判反馈。针对这一情况,一些MOOC平台正逐步引入同伴互评机制。虽然同伴互评机制的设立使得主观类试题得到有效评价,但学习者对同伴建议的准确性和权威性表示怀疑。调查发现,94%学生更喜欢老师评语。如此,需要依据一定的理论或过程模型保证同伴互评的准确度、信服度和价值。本文构建了三种关联复杂度不同的同伴互评概率模型来提升MOOC评价系统中主观试题评分的客观性和准确性,并利用Cousera中"人机交互"课程的相关数据组来评测各同伴互评概率模型的准确度。评测方法采用了吉布斯采样法和期望最大化法。文章通过对使用三种概率模型得到的评测结果与通过Cousera平台同伴互评系统所得到的相应结果进行了比较,结果显示,准确度有显著提高。本文构建的模型可以提升同伴互评系统整体效果,且最高达到30%。文章最后还对同伴互评概率模型的进一步改进方向和其在MOOC系统中的实际应用进行了探讨,包括增加新的关注参数,例如评分者在评分时投入的关注度等。