使用外接vllm推理的模式, 目前直接按version v1.5 发送是能跑通的
但是vllm那边(0.22.1)下, 偶尔会出现
WARNING 06-08 01:02:26 [detokenizer.py:238] Encountered invalid prefix detokenization error for request chatcmpl-8abaeb0a81114b87-83b5a75f, resetting decode stream.
我猜应该只是vllm遇到生成token出错的原因, 可能不是rapiddoc的问题
使用外接vllm推理的模式, 目前直接按version v1.5 发送是能跑通的
但是vllm那边(0.22.1)下, 偶尔会出现
WARNING 06-08 01:02:26 [detokenizer.py:238] Encountered invalid prefix detokenization error for request chatcmpl-8abaeb0a81114b87-83b5a75f, resetting decode stream.我猜应该只是vllm遇到生成token出错的原因, 可能不是rapiddoc的问题