web_demo对话不回答？

[zhangyj21-lh]

说话没有反应，正常应该是怎样的？

[zhangyj21-lh]

现在能正常录制语音和视频，怎么让它回答？

[lxchtan]

参考#21

[vipcxj]

@lxchtan 参考不了一点啊，点了那个pause后就多了个processed，还是没有任何反应

[vipcxj]

@lxchtan 参考不了一点啊，点了那个pause后就多了个processed，还是没有任何反应

试出来了，这大模型太耗显存了，4090的24g显存分分钟就爆了
没有32g的5090或48g的4090还是别试了~

[lxchtan]

是的，web demo需要显存比较大，并且建议用双卡部署。后续我们会加上vllm支持来优化部署体验。

[Copipi]

我的是3090 24G ，對話也是斷斷續續的，如果能優化到24G能穩定運行，那就真的很實用

[zhangyj21-lh]

是的，web demo需要显存比较大，并且建议用双卡部署。后续我们会加上vllm支持来优化部署体验。
好吧，我的是RTX A6000，在单卡40G上运行的，可能是这个原因。因为我似乎点击了上面的pause/start over按钮，也没有语音回答，但输出里是有回答的。

[tsinzz]

we_bdemo我试出来了，就是语音效果不太行。rtx3050 4gb显存笔记本，用的int4推理的。文字很卡断断续续的冒出来，语音生成后开始几秒咿呀咿呀的声音后面几秒正常说但是没有说完一句话就断了😂