1.gpt49

近年来,大模型在知识问答、数学推理等方面取得了惊人进展然而,当这些技术被引入复杂的教育环境时,一个关键问题随之而来:我们现有的评估方式足够吗?我们如何全面评估它们的能力?一个好的「AI老师」仅仅是一个「解题高手」吗?。

2.gpt46

当前的评测基准,尤其是在中文领域,存在两大局限性:维度单一:绝大多数基准(如C-Eval, MMLU等)主要关注模型的知识储备和理解能力,即「知识维度」此外大多数基准题型简单,很难涵盖现实考试场景中的全部题型类型。

3.gpt40

忽视能力:它们很大程度上忽视了教育场景中不可或缺的「育人维度」(Cultivation Capabilities),例如启发式教学、情感支持、道德价值观培养、批判性思维引导等近日,来自华东师范大学的研究者们推出了。

4.gpt43

OmniEduBench,一个专为评估中文大模型「综合教育素质」而设计的全新基准,包含24,602个高质量问答对研究指出,现有基准大多集中在知识维度,而严重忽视了真实教育场景中至关重要的「育人能力」

GPT-4o准确率仅为24%!权威中文教育基准:知识 情商的双重考验(插图

5.gpt 4927

项目主页:https://mind-lab-ecnu.github.io/OmniEduBench/论文链接:https://arxiv.org/pdf/2510.26422代码仓库:https://github.com/remiMZ/OmniEduBench-code/tree/main

6.gpt47

论文第一作者为华东师范大学智能教育学院副研究员张敏,其主要研究方向为多模态大模型及AI赋能教育研究团队发现,即便是Gemini等顶尖闭源模型,在OmniEduBench的特定评测维度上也表现不佳,显示出当前大模型在真正「懂教育」上仍有显著差距。

7.gpt54

OmniEduBench覆盖全学段、全学科

GPT-4o准确率仅为24%!权威中文教育基准:知识 情商的双重考验(插图1

OmniEduBench的核心创新在于其独特的双维度评估体系维度一:知识维度 (Knowledge Dimension)这部分包含18,121个条目,旨在全面考察模型的学科知识掌握程度全学段覆盖:

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。