Online GPU

[zhengheyu0924]

有Online GPU的镜像吗,麻烦提供一下docker pull的地址,
我只找到了registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-gpu-0.2.1
这个没有websocket的,Online GPU应该有提供websocket流式的吧

[zhengheyu0924]

https://github.com/modelscope/FunASR/blob/main/runtime/docs/SDK_advanced_guide_online_zh.md
这个里面也只写了cpu,是否有gpu

[LauraGPT]

你观察得没错——目前没有提供 GPU 版的 Online(WebSocket 实时流式)预编译镜像:

• Online / 2pass(WebSocket 流式)服务目前只有 CPU 版:funasr-runtime-sdk-online-cpu-x.x.x(最新 0.1.12)。版本历史里全是 -online-cpu-,没有 -online-gpu-。
• 你找到的 funasr-runtime-sdk-gpu-0.2.1 是 offline(一句话/非实时) 的 GPU 镜像,确实不带 WebSocket 流式。

为什么 Online 主推 CPU:实时流式用的 Paraformer-streaming 等是非自回归模型,CPU 上就有 ~17x 实时速度,延迟低、并发好,所以官方 Online 服务以 CPU 为主、性价比更高。

如果你需要 GPU 加速,可选:

1. 流式场景 → 直接用 funasr-runtime-sdk-online-cpu(WebSocket 2pass,实测足够实时);
2. GPU 高吞吐 → 看 runtime/triton_gpu/(NVIDIA Triton Inference Server,GPU,支持 SenseVoice 等),不过它是 Triton 协议、不是这个 WebSocket 2pass 协议;
3. 也可以基于 runtime/ 源码自行编译 GPU 版的 online 服务。

建议先用 online-cpu 镜像跑流式;如果是要 GPU 大并发离线转写,用 gpu offline 镜像或 triton_gpu。需要的话我可以给你具体的 docker pull + 启动命令。