不断把原始帧塞回同一个上下文,长视频会很快挤满输入。新框架由规划器选择时间段、观察密度和待解决的疑问,单独的感知任务在自己的上下文中阅读音视频,再交回证据。
作者在 LVBench 上以同一模型承担两种角色,相对该模型内置的代理处理高 1.1 个百分点,测得 API 成本为后者的 44%。这是特定调用方式下的账单比较,实际费用还取决于模型和任务。
原始资料
延伸阅读 第一人称视频的字幕,怎样跟上转身和伸手?
VideoNexus 将查看音视频细节与决定下一步去哪儿找分开,规划器保留带时刻的简短证据。

不断把原始帧塞回同一个上下文,长视频会很快挤满输入。新框架由规划器选择时间段、观察密度和待解决的疑问,单独的感知任务在自己的上下文中阅读音视频,再交回证据。
作者在 LVBench 上以同一模型承担两种角色,相对该模型内置的代理处理高 1.1 个百分点,测得 API 成本为后者的 44%。这是特定调用方式下的账单比较,实际费用还取决于模型和任务。