[Question]: 关于多次运行Dual VLN的val-unseen结果不同波动的问题

[SuperDragonXu]

Question

您好，感谢作者开源这项优秀的工作！

我已经按照仓库提供的步骤完成了 InternVLA-N1 的部署，并成功在 R2R val-unseen 上进行了评测。

不过我遇到了一个疑问：

相同的 checkpoint、相同的数据集和配置下，多次运行 evaluation 得到的 SR（以及 SPL 等指标）会有一定波动，而论文中给出的结果是一个固定的数值。

想请教一下：

1. 论文中的结果是固定随机种子后单次 evaluation 得到的吗？还是多次运行取平均值或最大值？
2. 如果是固定随机种子，方便告知需要固定哪些随机源（如 Python、NumPy、PyTorch、CUDA 等）吗？

非常感谢！

[fengdelin]

这个很正常，sys1是diffusion的架构，会有随机性。论文当中的结果是多测运行取最大值（没有对单个场景retry，每次都是所有场景全过）。如果你的结果和论文当中的相差甚远可以提问题，一般都是一个点左右浮动。