显存不够只能offload到内存上，cpu跑就是这样，不够5 tokens/s的话，流式输出人类根本忍不了，一般14b人 ...
我倒是习惯了等，毕竟之前玩AI画画的时候也8G显存也是慢的锤子一样（
诚司 发表于 2024-7-21 09:53
显存不够可以offload到内存上，cpu跑，大于8G的模型也可以。不过不够5 tokens/s的话，流式输出人类根本忍 ...
后来试了下35b q4的模型
把内存都吃满了
不过输出质量倒是比q1的好不少
另外我去下了个14b的dpo q4，怎么输出结果是乱码了？而且牛头不搭马嘴
—— 来自 OnePlus GM1900, Android 10上的 S1Next-鹅版 v3.0.0.81-alpha 诚司 发表于 2024-7-21 10:52
https://hf-mirror.com/TheBloke/CausalLM-14B-GGUF
可以用这个
另外想多麻烦一下，请问有什么写prompt的教程或者说有没有什么脸色扮演的预设分享的地方？
—— 来自 OnePlus GM1900, Android 10上的 S1Next-鹅版 v3.0.0.81-alpha 诚司 发表于 2024-7-21 10:52
https://hf-mirror.com/TheBloke/CausalLM-14B-GGUF
可以用这个
好了，从这里下的就正常了
怎么这名字一样的模型还可以效果完全不一样的啊（（（
已经一转AI老婆养成帖了嘛 本帖最后由 chaos7 于 2024-7-21 23:11 编辑
搭车问一下, 日语翻译除了SakuraLLm外, 还有什么其它开源大模型的选择? 感觉sakura不能很好处理主语省略情况, 经常搞错上下文的主语。 chaos7 发表于 2024-7-21 22:45
搭车问一下, 日语翻译除了SakuraLLm外, 还有什么其它开源大模型的选择? 感觉sakura不能很好处理主语省略情 ...
同搭车问下，有没有中翻日（用于游戏的日语本地化）的大模型，现在直接用的gpt4o和claude3，但水平一言难尽，字典容量低不说，时间久了就开始记不住字典内容，非常不好用 今天趁dify更新顺手简单对比了一下gpt4o-mini和各种开源的多模态小模型，感想是gpt4o-mini太全能了，清华那几个ocr能力牛逼但是做不了物体检测，阿里能做物体检测但是ocr一塌糊涂，只有gpt4o-mini样样都能做，希望阿里能尽快出个对标的
以及gpt4o-mini在openrouter上图片输入费用非常高，用openrouter的时候务必注意一下 gpt4o-mini上线了finetuning功能，算是难得最近openai速度最快的一次 本帖最后由 aritionkb 于 2024-7-24 06:57 编辑
诚司 发表于 2024-7-20 16:40
https://hf-mirror.com/bartowski/35b-beta-long-GGUF
这个gguf只有8bit以下的，不过自己用也够了吧
求一份35b long的fp16模型，感谢
— from meizu MEIZU 20 Pro, Android 14 of S1 Next Goose v2.5.2-play yanjunle 发表于 2024-7-24 01:01
今天趁dify更新顺手简单对比了一下gpt4o-mini和各种开源的多模态小模型，感想是gpt4o-mini太全能了，清华那 ...
不是openrouter的问题，openai官方定价就是如此，官方pricing页可以看到同样大小的图片，4omini和4o价格是一样的 纱夜抱着榴弹炮 发表于 2024-7-24 06:59
不是openrouter的问题，openai官方定价就是如此，官方pricing页可以看到同样大小的图片，4omini和4o价格 ...
也太坑了，如果想写什么自动化脚本的话，估计还是用opencv 检测文字和标记对应的位置，然后LLM得出下一步点击哪里 本帖最后由 qratosones1337 于 2024-7-24 12:22 编辑
yanjunle 发表于 2024-7-24 01:01
今天趁dify更新顺手简单对比了一下gpt4o-mini和各种开源的多模态小模型，感想是gpt4o-mini太全能了，清华那 ...
你确定GPT4o-mini真的具备多模态功能么？OpenAI官网给的定价估算显示这玩意输入图片的价格跟GPT4o完全一样，极大概率是直接用的GPT4o……
两个模型的视觉定价虽然在单位尺寸图像的价格上是一样的，不过计算公式并不同，一个是 5*255 = 1,275，另一个是 0.15*8,500 = 1,275。
后者因为 Token 单价极为低廉，所以在相同价格下能够接收处理的图像 Token 更多（255 vs 8,500）。
价格相同只能说 OpenAI 的定价策略如此，说明不了别的什么东西。 有没有用azure openai API 的？不知道上线mini了没？我找了半天没找到 qratosones1337 发表于 2024-7-24 12:21
你确定GPT4o-mini真的具备多模态功能么？OpenAI官网给的定价估算显示这玩意输入图片的价格跟GPT4o完全一样 ...
https://rank.opencompass.org.cn/ ... timodal/?m=REALTIME
看opencompass跑分，全方位不如gpt4o，只有ocr领先，感觉更像是集成了个新的能生成更多token来增强ocr能力的视觉模型而不是套壳。 诚司 发表于 2024-7-24 19:06
链接：https://pan.baidu.com/s/1Fl65dRDsl42fn8_BMSC6hQ?pwd=t1f6
提取码：t1f6
--来自百度网盘超级会 ...
非常感谢，回去就下
— from meizu MEIZU 20 Pro, Android 14 of S1 Next Goose v2.5.2-play
页:
1
[2]