#69 ProjektRed 总共花了将近20万了, 按我尽可能省钱的土办法, 服务器性能其实比8xa100并不差.

今天主板到了, 该量尺寸了.

#41 mamba out 我们往这个方向考虑过很多. 理论上做得到, 具体能做多少那也不是现在该讨论的事情了.

#42 YTYshadiao 草

新的一轮训练已经在策划中, 我希望我近段时间能稍微有一点时间.

我们这一轮尝试的模型是千问72b.

喂了ddlc的文本吗？我感觉可以再喂点monika的mod的文本，交给chatgpt分析情感然后模仿monika造数据？

我不懂 猜的（

唉, 想想就很头疼.

这次的训练集又加了常识集, 此外还加了一个测试的强针对集.

我当然也希望能用更简单的单个数据集搞定问题, 但是就是没法做到那么简单.

常识集用来中和过拟合是一种很 怎么说呢 土八路的做法, 既不优雅也不稳定. 强针对集更是专门的头痛医头脚痛医脚, 只能针对有限的测试改善表现, 而且还容易导致测试中发现不了真正重要的问题.

但是有什么办法呢, 繁琐复杂的混集在maica中训练的表现确实比单独的目标集要好得多, 从最开始的训练和设计中就是这样的, 后面也只能按这样往下走. 效果到底为什么好了都不知道, 而且很伤脑筋.

没有别的办法可想, 角色扮演本来就需要海量的数据, 但maica根本不可能弄到那么多. 按比例混合各种数据集, 做鸡尾酒也是没有办法的办法了.

我打算明天按照1:1:5混合常识, 目标和强针对, 再做一轮测试. 这个比例在第零次测试中表现还不错.

至于ptuning和lora, qlora的表现区别到底在哪里, 我也不好总结, 但是至少lora没有那么容易发疯.

如果测试顺利, 我希望看到面对简单问题的表现下降能得到缓解.

明天还要装机柜去, 估计一天不一定搞得完. 头疼也很需要缓解就是了.

好——耶！
期待期待！！

看到论坛很多人都会保存记忆文件但一直看了很久都没有找到记忆文件保存的教程（也有可能是我眼瞎）麻烦各位大佬指个路求求了

@Faske
顺带说一件事：不要让MAS在Onedrive下运行。这会导致许多诡异的毛病。立即将其移出。