Exploring the Utilities of the Rationales from Large Language Models to Enhance Automated Essay S...

文章核心总结与创新点一、主要内容该研究以2012年Kaggle ASAP数据集的Prompt 6 essays为研究对象，探索GPT-4.1和GPT-5生成的推理依据（rationales）在自动化作文评分（AES）中的效用，核心围绕两大研究问题展开：推理依据驱动的评分（rationale-based scoring）与作文文本驱动的评分（essay-based scoring）性能对比；融合作文文本与推理依据的集成模型是否能提升评分准确性。研究采用7种编码器类语言模型（BERT、DeBERTa等）分别基于作文文本和两大LLM生成的推理依据构建单模型，再通过7种集成策略（堆叠集成、分层集成等）构建融合模型，以二次加权卡帕（QWK）、斯皮尔曼相关系数、F1分数为评估指标。结果显示：单模型层面，作文文本驱动模型的整体性能（QWK最高0.8495）优于推理依据驱动模型（GPT-4.1生成推理依据的模型QWK最高0.8194，GPT-5的最高0.8027），但推理依据驱动模型在样本量极少的0分作文评分上F1分数更高，缓解了类别不平衡问题；集成模型层面，融合作文文本与两大LLM推理依据的堆叠集成模型表现最佳，QWK达0.8703，超越现有文献报道的最高值（0.848），且0分作文的F1分数提升至0.6154。二、创新点聚焦整体评分场景，填补研究空白：此前仅1项研究探索推理依据在多维度分析评分中的作用，本研究首次系统验证LLM生成的推理依据对