[Iluvatar] wint8 量化推理报错 CUINFER_STATUS_BAD_PARAM，且 debug 需要全量编译，耗时太长

[PlumBlossomMaid]

问题描述

在 Iluvatar BI-V150S 上使用 FastDeploy 部署 ERNIE-4.5-21B-A3B-Paddle 模型，开启 --quantization wint8 后，服务启动失败，报错如下：

Error in file /home/aistudio/FastDeploy/custom_ops/iluvatar_ops/w8a16_group_gemv.cu on line 113: CUINFER_STATUS_BAD_PARAM
terminate called after throwing an instance of 'std::runtime_error'
what(): CUINFER_CHECK ERROR

环境信息

硬件: 4x Iluvatar BI-V150S (32GB)
操作系统: Ubuntu 20.04
FastDeploy: fastdeploy-iluvatar-gpu 2.5.0.dev0
PaddlePaddle: paddlepaddle 3.3.0
Paddle Iluvatar: paddle-iluvatar-gpu 3.3.0
aistudio-sdk: 0.3.8
模型: PaddlePaddle/ERNIE-4.5-21B-A3B-Paddle

启动命令

export PADDLE_XCCL_BACKEND=iluvatar_gpu
export INFERENCE_MSG_QUEUE_ID=232132
export LD_PRELOAD=/usr/local/corex/lib64/libcuda.so.1
export FD_SAMPLING_CLASS=rejection

python3 -m fastdeploy.entrypoints.openai.api_server \
       --model ./ERNIE-4.5-21B-A3B \
       --port 8180 \
       --tensor-parallel-size 4 \
       --quantization wint8 \
       --max-model-len 32768 \
       --block-size 16

调试困难

尝试通过修改源码添加 printf 来定位问题，但 FastDeploy 的编译方式只有 bash build.sh，每次修改都需要全量编译，耗时很长，调试效率极低。

期望

1. 希望官方能够复现并修复这个 wint8 算子的 bug
2. 如果可能，能否提供更轻量的编译方式（如增量编译）方便调试

[PlumBlossomMaid]

补充 DEBUG 信息

在 w8a16_group_gemv.cu 中添加了调试打印，得到以下输出：

=== DEBUG ===
n=768, m=48, k=2560
group_size=-1
type=2
expertCount=64
n_experts=64

错误仍然发生在调用 cuinferGetCustomGemmExWorkspaceWithParam 时，返回 CUINFER_STATUS_BAD_PARAM。

从 DEBUG 输出可以看到 group_size=-1 被传入了底层算子。个人认为，根据量化原理，group_size 应该为正数（如 128），但这里传入了 -1。

但是我又看了看C++检查代码，似乎代码要求``group_size=-1`必须成立，否则报错，所以也可能不是错这里了。

尝试修改 Python 层 moe_ops.py 中的 group_size=-1 为 group_size=128 后，问题依然存在（可能还有其他地方传入了 -1，或者底层还有其他检查，目前我还在调试这个脚本）。

最后我还是把group_size=128传入了，然后不出所料的C++层的检查又报错了。感觉不像是group_size=-1的问题了，但是我真不知道哪里还能出问题了……

由于本地编译调试耗时较长（每次修改都需要全量编译），没有时间进一步定位（再debug天就要亮了我就没时间睡觉了）。希望官方能够复现并修复此问题。

[PlumBlossomMaid]

补充一下我的测试脚本，一开始我用命令行测试的，之后用的是代码，方便复现：

from fastdeploy import LLM, SamplingParams

prompts = [
    "Hello, my name is",
    "The largest ocean is",
]

# sampling parameters
sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=256)

# load the model
graph_optimization_config = {"use_cudagraph": True}
llm = LLM(model="ERNIE-4.5-21B-A3B", tensor_parallel_size=4, max_model_len=8192, block_size=16, quantization='wint8', graph_optimization_config=graph_optimization_config)

# Perform batch inference
outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs.text
    print(prompt, generated_text)

其中：

aistudio@ssh-3529412-10117660-fbf57448c-5k9zh:~$ ls ERNIE-4.5-21B-A3B -la
total 42883012
drwxrwxr-x  6 aistudio aistudio       4096 Mar 29 04:28 .
drwxr-xr-x 20 aistudio aistudio       4096 Mar 29 06:09 ..
drwxrwxr-x  2 aistudio aistudio       4096 Mar 29 00:13 ._____temp
drwxrwxr-x  3 aistudio aistudio       4096 Mar 29 03:48 ._tmp
-rw-------  1 aistudio aistudio       1475 Mar 29 03:48 .msc
-rw-rw-r--  1 aistudio aistudio         67 Mar 29 03:48 .mv
-rw-rw-r--  1 aistudio aistudio      11366 Mar 29 00:14 LICENSE
-rw-rw-r--  1 aistudio aistudio       7492 Mar 29 00:14 README.md
-rw-rw-r--  1 aistudio aistudio        852 Mar 29 00:14 config.json
-rw-rw-r--  1 aistudio aistudio        125 Mar 29 00:14 generation_config.json
drwxrwxr-x  2 aistudio aistudio       4096 Mar 29 04:30 log
-rw-rw-r--  1 aistudio aistudio 4992639408 Mar 29 00:54 model-00001-of-00009.safetensors
-rw-rw-r--  1 aistudio aistudio 4995893968 Mar 29 00:51 model-00002-of-00009.safetensors
-rw-rw-r--  1 aistudio aistudio 4988034744 Mar 29 03:48 model-00003-of-00009.safetensors
-rw-rw-r--  1 aistudio aistudio 4995889008 Mar 29 01:07 model-00004-of-00009.safetensors
-rw-rw-r--  1 aistudio aistudio 4996560552 Mar 29 01:06 model-00005-of-00009.safetensors
-rw-rw-r--  1 aistudio aistudio 4995894384 Mar 29 01:07 model-00006-of-00009.safetensors
-rw-rw-r--  1 aistudio aistudio 4988029944 Mar 29 01:20 model-00007-of-00009.safetensors
-rw-rw-r--  1 aistudio aistudio 4988030064 Mar 29 01:21 model-00008-of-00009.safetensors
-rw-rw-r--  1 aistudio aistudio 3965652128 Mar 29 01:20 model-00009-of-00009.safetensors
-rw-rw-r--  1 aistudio aistudio     338470 Mar 29 01:20 model.safetensors.index.json
drwxrwxr-x  2 aistudio aistudio       4096 Mar 29 01:21 mtp
-rw-rw-r--  1 aistudio aistudio    3542032 Mar 29 01:20 plas_attention_mlp_weight.safetensors
-rw-rw-r--  1 aistudio aistudio    1614363 Mar 29 01:20 tokenizer.model
-rw-rw-r--  1 aistudio aistudio       1248 Mar 29 01:20 tokenizer_config.json
aistudio@ssh-3529412-10117660-fbf57448c-5k9zh:~$ 

模型是刚下的

[PlumBlossomMaid]

我就是想免费用个openclaw，花钱买API太贵了😭

[wuyujiji]

@PlumBlossomMaid 请问用的镜像是docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/device/paddle-ixuca:3.3.0-20260312吗，如果不是的话，需要更新一下镜像，文档参考：https://github.com/PaddlePaddle/FastDeploy/blob/develop/docs/zh/get_started/installation/iluvatar_gpu.md

[PlumBlossomMaid]

@PlumBlossomMaid 请问用的镜像是docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/device/paddle-ixuca:3.3.0-20260312吗，如果不是的话，需要更新一下镜像，文档参考：https://github.com/PaddlePaddle/FastDeploy/blob/develop/docs/zh/get_started/installation/iluvatar_gpu.md

我这边用的是AI Studio，没有办法拉取镜像，只能自己编译
而且一个合格的库应当是支持用户一键编译部署且支持增量编译的，不能光靠拉取镜像也不能依赖一个固定全量编译的脚本
此外我很想知道到底是什么导致的报错，明明是当天拉取的代码，结果输入看上去没什么问题，最后栽到了一个没有文档的函数上。

[wuyujiji]

@PlumBlossomMaid 请问用的镜像是docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/device/paddle-ixuca:3.3.0-20260312吗，如果不是的话，需要更新一下镜像，文档参考：https://github.com/PaddlePaddle/FastDeploy/blob/develop/docs/zh/get_started/installation/iluvatar_gpu.md

我这边用的是AI Studio，没有办法拉取镜像，只能自己编译 而且一个合格的库应当是支持用户一键编译部署且支持增量编译的，不能光靠拉取镜像也不能依赖一个固定全量编译的脚本 此外我很想知道到底是什么导致的报错，明明是当天拉取的代码，结果输入看上去没什么问题，最后栽到了一个没有文档的函数上。

#6803 这个pr优化了一版性能，然后和天数算子库团队同步开发的，所以需要在镜像里替换天数的算子库libcuinfer.so.7，打了一个新的镜像，如果你不方便替换镜像的话，可以把这里改成if False，但是改完后cuda graph就不能开启了

[PlumBlossomMaid]

#6803 这个pr优化了一版性能，然后和天数算子库团队同步开发的，所以需要在镜像里替换天数的算子库libcuinfer.so.7，打了一个新的镜像，如果你不方便替换镜像的话，可以把这里改成if False，但是改完后cuda graph就不能开启了

所以你的意思是，我这个问题是环境版本低而代码版本高导致的行为预期不匹配导致的报错？emmmm那其实可以试试从镜像里面把动态链接库单独拿出来加载了
好的，改天我开天数环境之后再试试吧。终于明白是为啥了
不过关于全量编译那个事情，方便找个时间优化一下吗？毕竟要是我们想debug的话确实不是很方便。

[wuyujiji]

#6803 这个pr优化了一版性能，然后和天数算子库团队同步开发的，所以需要在镜像里替换天数的算子库libcuinfer.so.7，打了一个新的镜像，如果你不方便替换镜像的话，可以把这里改成if False，但是改完后cuda graph就不能开启了

所以你的意思是，我这个问题是环境版本低而代码版本高导致的行为预期不匹配导致的报错？emmmm那其实可以试试从镜像里面把动态链接库单独拿出来加载了 好的，改天我开天数环境之后再试试吧。终于明白是为啥了 不过关于全量编译那个事情，方便找个时间优化一下吗？毕竟要是我们想debug的话确实不是很方便。

是的，环境版本低导致的，@Jiang-Jia-Jun 请问现在FD支持增量编译吗