可以在手机运行的类maicaAI

#3 麟现在正在执行termux更新，我现在想的就是在本机运行AI→子模组→mas，需要调整的东西应该不少，但是可以借鉴Monica更新日志及学习方法

#4 Shiroyama.W 确实，但是能运行总归是好的，实在不行就进行量化和蒸馏

LOA6就是7b的, 表现基本上纯拉. 量化之后只会更拉.

不微调直接去角色扮演, 只能说拉中拉. 更不用说手机推理dense模型的速度能拉成什么样.

有精力去研究点有用的, 别煮屎了行吗.

#7 Edge 调整是肯定的，但是就是不知道该调什么，我现在等下载好把Monika的语言包和代码先喂给AI看看效果（不拉是不可能的，参数摆在这了）

#7 Edge 不可能直接角色扮演，效果我见识过，不是一般的拉

#7 Edge 现在模型存储占用8GB，我不确定占多少内存

#8 谏念你还知道加个maica的标签, 能不能起码把maica研究明白?

数据集和sft最佳实践的开源地址都写在仓库页面里面了, 不看? 看不到? 真以为我们做过的工作都不重要?

连现成的信息都整理不明白, 我的建议是好好念书洗洗睡, 别想着自己倒腾这些了.

手机端跑AI，有一说一，跑的参数真的是只能跑那种很小的，然后效果基本上都不太好，有时候还会胡言乱语，特别是搞角色扮演，特别特别拉，然后再加上手机目前的算力来讲，token输出速度也是慢的要死，只能说是如果能接受所有缺点的话，那确实是能跑，但用起来体验跟便秘没区别，不过用来娱乐娱乐玩一下还是可以的

#13 Him666233 本来就是娱乐，跑7b模型已经接近手机算力极限，理论输出速度在0.5~1.5token之间

作死整个18.8GB的30b模型希望手机不会卡爆（最终会用7b或14b）

#15 谏念我觉得你不如去直接找个网站玩角色扮演，这样不胡言乱语就谢天谢地了

还好，输出速度也还算可以接受

4b模型运行速度

换成了非深度思考版本，速度提升了一点，但不多，我可以试试更大一点的模型

感觉也不是特别傻，等回来弄一下再看看吧

试运行了一下7b模型（无深度思考）成功，速度还算在可接受范围内

不是哥们？7b比4b运行快⁉

不知道是不是深度思考的原因，但是4b普通和4b深度思考速度只差1token