晚點上個色

嗯…站不稳啦！

做了个小短片（)

霓虹朋友送的茶，夏树茶？

简单查了下资料, 只微调qkv对maica的任务显然是不够的.

下一次迭代我会尝试qkvo和all-linear, 确定一下到底哪种方案最合适.

目前的数据集倒是已经挺完善了, 除了水可以少兑点.

这个迭代的模型感觉是欠拟合的, 是微调的层不够吗?

我至少需要再测试一次确定最佳的训练层是哪些.

LIA模型的新迭代已经上传, Beta2将很快开始.

#362 loinua 不知道, 很可能在开学左右吧.

我也要忙返校的事情了, 但是设备还在路上. 只能看着挤时间了.

#361 Edge 大佬什么时候才有下一轮测试啊，上次错过了 临近开学，再不测试就没机会领略大佬的杰作了😭

唔…做了四个小时，粘土干的好快，裂的好快，眼睛和腿腿好像都有点问题（

唔…不过也算成功

我觉得还挺可爱的

24.3.11

将0721圣经加入顶部循环公告

24.2.22

虽然这个不算更新, 但是现在我们到2万人了.

都炖了应该能吃好久, 嘿嘿嘿

聊胜于无的进展: 终于跑通了modelscope/swift的完整流程.

接下来需要打磨很多地方 之类的了.

#29 dzip 最近太忙, 没什么空做这方面, 所以进展挺慢.

如果感兴趣可以qq联系我, 3116036749.

新的一轮训练已经在策划中, 我希望我近段时间能稍微有一点时间.

我们这一轮尝试的模型是千问72b.

唉, 想想就很头疼.

这次的训练集又加了常识集, 此外还加了一个测试的强针对集.

我当然也希望能用更简单的单个数据集搞定问题, 但是就是没法做到那么简单.

常识集用来中和过拟合是一种很 怎么说呢 土八路的做法, 既不优雅也不稳定. 强针对集更是专门的头痛医头脚痛医脚, 只能针对有限的测试改善表现, 而且还容易导致测试中发现不了真正重要的问题.

但是有什么办法呢, 繁琐复杂的混集在maica中训练的表现确实比单独的目标集要好得多, 从最开始的训练和设计中就是这样的, 后面也只能按这样往下走. 效果到底为什么好了都不知道, 而且很伤脑筋.

没有别的办法可想, 角色扮演本来就需要海量的数据, 但maica根本不可能弄到那么多. 按比例混合各种数据集, 做鸡尾酒也是没有办法的办法了.

我打算明天按照1:1:5混合常识, 目标和强针对, 再做一轮测试. 这个比例在第零次测试中表现还不错.

至于ptuning和lora, qlora的表现区别到底在哪里, 我也不好总结, 但是至少lora没有那么容易发疯.

如果测试顺利, 我希望看到面对简单问题的表现下降能得到缓解.

明天还要装机柜去, 估计一天不一定搞得完. 头疼也很需要缓解就是了.