研究解读 出版与评估 · arXiv 2611.26286
作者 Ilya Gusev
Twice-Told Critiques: Claim-Level Homogenization of Peer Review in the LLM Era
Daily Papers 收录于

同一篇论文交给三个审稿人,有价值的地方之一是各自能够挑出不同的问题。研究者把审稿意见拆到具体论点,考察第三位审稿人还能在前两人之外补充多少问题,并分别观察会议与期刊数据。

在同一篇投稿内部,被文本检测器同时标记的两份评审意见往往有更高重合度。检测器标签属于统计信号,无法确认某份报告由谁撰写。研究所能支持的是评语间的关联,不能凭一个标记把责任落到某位审稿人身上。

论文把两份意见都提出的问题数,除以两组意见中数量较少的那一组,再先按同一篇投稿聚合。举例说,一位评委找到两个问题,另一位找到五个,而前两个都被重复提出,重合系数便达到一。它衡量短名单被另一份意见覆盖了多少,和统计两份文本用了多少相同词语差别很大。

原始资料