研究解读 视频理解 · arXiv 2611.26380
作者 Yuqi Tang 等
EgoCaptioner: Towards Comprehensive and Fine-Grained Egocentric Video Captioning
Daily Papers 收录于

用一句话概括一段维修录像很容易漏掉细节;逐帧描述又容易反复说同一件事。研究从八类第一人称视频来源整理了五万条训练样本,先标出事件结构,再为关键步骤补上时间与细节。

训练阶段分别评价事实、覆盖与时间对齐,有传感数据时用姿态线索核对佩戴者的移动。论文在五个第一人称基准上报告比较结果,其中部分成绩通过阅读字幕再回答问题得到。画面描述是否准确,与字幕能否支持答题,需要分开理解。

标注先划分互不重叠的事件,再给事件里的动作填开始、结束时间,必要时还注明一个关键瞬间。时间和内容会分别计分。一段字幕即使写对了“手拿起杯子”,如果把动作标到之前伸手的时刻,也会在时间对齐这项上暴露问题。

原始资料