工具
精华
|
战斗力 鹅
|
回帖 0
注册时间 2005-10-1
|
本帖最后由 mitzvah 于 2025-12-9 19:20 编辑
现成的工作流插件文件夹的example里不就是
用ai把基于本地transformer格式的节点Qwen3_VQA移植到了ollama上,现在已经可以使用本地部署的ollama 上的模型的 api 来跑反推了
因为ollama上的量化版本选择多从最小的2bq4一路到30bfp16一应俱全,支持也最好,即便超了显存也能转到内存空间换时间
使用方法:文件解压拷贝到ComfyUI\custom_nodes目录下,重启comfyui双击鼠标左键 搜索Qwen3 VQA (Ollama)节点,连接方法跟Qwen3 VQA节点一致
基本兼容ComfyUI\custom_nodes\ComfyUI_Qwen3-VL-Instruct\ 插件的视频图片反推功能,反正我测试下来是可以反推图片与视频的,因为基于ollama,理论上其他的vl 多模态模型也是支持的?我也不敢确认
https://ollama.com/huihui_ai/qwen3-vl-abliterated
虽然上面这个网页上的版本很多,但是我还是建议不要选太小的,最小的那个2BQ4 的模型我测试下来 很容易爆api 返回0 错误,这应该是模型能力实在太差的缘故,基本要重试四五次才能成功一次,反推的出来的文字也比其他版本少一大截,空间也没省下多少(容量大头都用在图片生成的上下文了),这毕竟是ollama ,显存爆了能转移到内存去就是慢点
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|