依次执行给定步骤与自己决定下一次测量,是两种不同的研究能力。TwinLab-Bench 汇集 52 个物理、生命科学与工程任务。被测系统可以提出自己的实验,环境则借助实验室记录和据此构造的计算工具返回读数。
评价时,作者用未向系统展示的原始记录给报告打分,并检查反复查询是否得到一致回答。受测模型中最高的平均分为 45.0。分数描述的是资料构成的实验环境中的表现,不能直接当作系统在真实实验室操作设备的成绩。
这些任务从约 375 个候选来源中选出,材料包括公开实验日志、仪器导出、论文补充材料和数据集。研究者还检查重复请求读数时环境是否自洽。若实验环境自己每次都给出不一致的观测,最后分数就很难区分是研究方案失误,还是模拟器改变了答案。
