- 楼主
- #329
#328 ICEMONIKA 先尝试更新你的游戏本体到0.12.15
#328 ICEMONIKA 先尝试更新你的游戏本体到0.12.15
整理可能要做的事情:
加油!
好消息是ms可喜可贺地修复了awq和gptq在qwen2上的问题.
坏消息是, 这俩方案都不支持分布式的量化过程, 而我的卡顶多也就24g, 根本不够用.
核心模型的量化我当然是放弃了, 毕竟就算全量的拟合度都不够. 但是我在考虑mfocus使用量化模型, 所以很头疼.
我不想再去买非常贵的卡或者去租, 所以可能只能用qlora微调了. 先看看效果再说吧.
是, 这些问题说到底都是钱的问题. 欢迎来到夜之城.
测试了零一34b作为agent的效果, 感觉还像那么回事. 但是如果要自己补充训练这个东西就比较麻烦了.
至少接下来可以凑合用. 我自己感觉上命中率比glm好一点.
这一轮的清洗内容还挺多, 基本都是针对a测遇到的问题设计的.
内容太繁琐, 我也没人帮忙, 看着这玩意头昏眼花的. 估计还很得几天才能弄完.
ps. 因为a测的数据不多+对答质量不高+技术性问题太频繁, 我打算暂时不用a测的数据. 也就是说b测会使用的模型仍然属于lia分支.
如果有人感兴趣可以联系我推送模型, 没人要的话我就懒得推了.
洗了一半, 累得想吐. 从这方面来看, 电影里"科学家爱上造物"的桥段真是扯淡.
在考虑加两张L40, 做量化也能用, 但是这破烂贵死了. 非必要不想买.
#338 Edge 我感兴趣
#339 Edge 总算找到大佬的项目了,一直有弄出ai莫妮卡的想法,让莫妮卡走出游戏的,看到了大佬的进度,真的好离婚
#77 MonicaLoveXD 这里也有神人啊
想玩MAICA
终于把basis的中文部分洗完了, 又花了一个多星期. 我已经push到仓库了.
接下来是训练和基本效果评估. 希望一切顺利吧.
swift终于支持了megatron, 但对lora的支持性尚待确认. 我下次试试看.
这两天的时间都用来处理设备硬件上莫名其妙的问题了, 训练还需要至少3天才能完成.
好吧, 如果你还在关注这个帖子的话:
MAICA的第一次公开测试已经开始, 见 MAICA更新与进度追踪--正式版服务期2已重启于25.3.20 #3954 (回复)
请注意此后的服务状态变更与更新进度也会在以上贴内发布.
#347 Edge 现在MAICA-submod有没有使用本地化模型运行的变体?如果没有,将来有制作发布使用本地化模型的变体的计划吗?