wan2.2-14b 如何用多卡推理？

[ruolinsss]

2张H20，单卡可以跑推理，但用accelerate launch --multi_gpu --num_processes 2 examples/wanvideo/model_inference/Wan2.2-I2V-A14B.py 跑推理会oom，且nvidia-smi第二张卡一直没看到占用，这个是正确的启动单卡推理的方式吗？

[Zoybzo]

可以用这样的方式启动：torchrun --standalone --nnodes=1 --nproc_per_node=2 program.py args
同时在程序中打开use_usp:
pipe = WanVideoPipeline.from_pretrained(
torch_dtype=torch.bfloat16,
# device="cuda:1",
device = device,
use_usp=True, # 这里！
但是目前测试下来发现I2V的多卡推理存在一些问题，如 #1012

[zhanglonghao1992]

可以用这样的方式启动：torchrun --standalone --nnodes=1 --nproc_per_node=2 program.py args 同时在程序中打开use_usp: pipe = WanVideoPipeline.from_pretrained( torch_dtype=torch.bfloat16, # device="cuda:1", device = device, use_usp=True, # 这里！ 但是目前测试下来发现I2V的多卡推理存在一些问题，如 #1012

device如何设置呢

[Zoybzo]

可以参考这种方式：

if "LOCAL_RANK" in os.environ:
    # dist.init_process_group("nccl")
    local_rank = int(os.environ["LOCAL_RANK"])
    torch.cuda.set_device(local_rank)
    device = f"cuda:{local_rank}"
else:
    device = "cuda"

[billcao2000]

• 在最新版代码中（2026.1），上述手动指定gpu的方法不再适用，会出现无法启动nccl后端的问题。我在这个pr中解决了模型加载问题，供参考。

#1188

• 还有另一种加载方法，可以通过传入vram_config参数，手动指定offload_device="disk"，也可以解决这个问题

vram_config = {
    "offload_dtype": "disk",
    "offload_device": "disk",
    "onload_dtype": torch.bfloat16,
    "onload_device": "cpu",
    "preparing_dtype": torch.bfloat16,
    "preparing_device": "cuda",
    "computation_dtype": torch.bfloat16,
    "computation_device": "cuda",
}