研究解读 科学工具 · arXiv 2611.26248
作者 Yang Wan 等
TwinLab-Bench: Evaluating AI Scientists in Agentic Twins of Real Labs
Daily Papers 收录于

依次执行给定步骤与自己决定下一次测量,是两种不同的研究能力。TwinLab-Bench 汇集 52 个物理、生命科学与工程任务。被测系统可以提出自己的实验,环境则借助实验室记录和据此构造的计算工具返回读数。

评价时,作者用未向系统展示的原始记录给报告打分,并检查反复查询是否得到一致回答。受测模型中最高的平均分为 45.0。分数描述的是资料构成的实验环境中的表现,不能直接当作系统在真实实验室操作设备的成绩。

这些任务从约 375 个候选来源中选出,材料包括公开实验日志、仪器导出、论文补充材料和数据集。研究者还检查重复请求读数时环境是否自洽。若实验环境自己每次都给出不一致的观测,最后分数就很难区分是研究方案失误,还是模拟器改变了答案。

原始资料