Dharma-AI 分析了 272 次实际微调任务,从开始到释放集群资源计时。即使用考虑计算、内存传输和设备通信的解析模型做估算,其结果的中位数也只相当于实测时长的 11%。排队的人要等的是整个任务结束。

作者发现,训练期间累计送去评估的样本量尤其有助于预测总耗时。评估集多大、多久跑一次评估,以及写出多少检查点,都会占用时间。这个结果可以指导相近集群先收集哪些日志,换一套环境仍要重新校准。

原始资料