如今，不少教育类App都引入了智能评分系统，旨在提高阅卷效率，及时出分，受到了广大师生的欢迎。也有诸多家长反映智能评分系统存在诸多不合理之处。例如某些英语口语练习App的评分系统，即便用户发音标准、表达流畅，测试得分却往往不尽人意。
在AI技术飞速发展的背景下，除了口语练习App，智能阅卷系统也广泛应用在了学校日常考试中。然而这款受到质疑的AI阅卷系统却频频“翻车”，原因就在于其过于依赖关键词判断答案的正确性，而忽视了答案的逻辑性和语义连贯性。学生们只需掌握这一规律，便能轻松应对考试，获得高分。
针对这一现象，天津大学智能与计算学部的教授、博士生导师熊德意为我们揭示了智能阅卷系统的内在逻辑。他强调，自动测评打分系统首先要设定明确的标准和规则，然后根据这些规则设计出合适的算法和模型。对于口语测评，机器需要判断发音是否标准、语调是否正确、语句是否流畅等。而对于AI阅卷系统来说，则需要涉及到对语言文字的评判，包括语法、语义等多个层面，运用大量的自然语言处理技术。
熊德意还指出，不同的自动评测方法之间存在显著的差异。他以机器翻译常用的评测指标EU为例，详细解释了如何计算学生答案与参考答案之间的相似度。即使是这样的评测指标也存在局限性，难以全面反映答案的质量。他还提到，制定合适的评测标准、应对语言的千变万化、设计综合性的评测指标等是智能阅卷系统面临的主要挑战。
在此次AI阅卷系统的争议中，一位历史系教授的儿子在考试中遇到了极大的分数差距，引起了广泛关注。同样一份答案，人工评价和机器评价为何差距如此之大？熊德意指出，这正是基于AI算法的自动评测面临的最大挑战——如何与人工评价保持一致。这其中涉及到的问题包括如何制定合适的评测标准、如何应对语言的多样性以及如何设计综合性的评测指标等。他还强调，不同的评测系统、不同的出发点会导致截然不同的结果。
