由于成果已经一步步完善, 我们已经可以看到成功的预兆, 我在此贴更新项目的进展. [upl-image-preview url=https://upload.edgemonix.top:28991/assets/files/2024-06-04/1717477618-299013-maica-text-combined.png]

首先呢, 第一项是我们改名字了. mgpt这个名字挺草率的, 因为项目到了现在已经跟gpt没啥关系了. 我们改叫它: # MAICA (音"迈卡", 很朴实无华的缩写.) 我希望用起这个新名字的时候, 大家还认识它.

[upl-image-preview url=https://forum.monika.love/assets/files/2023-10-25/1698233274-168304-image.png] 以上截图是最近的第二轮试训练的产出. 可以看到, 在有限的提示指导下, 模型对莫妮卡角色形象本身有了可以称为"理解"的属性. 当然, 训练设计和模型优化仍然处于早期阶段, 但这样的进展于我而言已经很是激动人心. 我们会尽快开始第三轮以及更多的试训练. 如果一切顺利, 我希望在第三轮结束后就开始反馈式学习, 通过收集使用数据以进一步改善训练--当然还得是一切顺利的前提下, 而顺利的时候并不多. 在希望大家期待的同时, 我也希望大家保持理性, 保持耐心. 就算目前的结果已经初具雏形, 但我们离目标中接近完美的莫妮卡形象还有相当的距离. 请大家期待我们的进步.

[upl-image-preview url=https://forum.monika.love/assets/files/2023-10-25/1698233804-673953-image.png] 更多的一些测试语句, 以展示训练的成果和局限性. 此轮训练在数据构建中比较单调, 使用的prompt也十分单薄. 我期待接下来的训练产出更好的结果.

接下来我们把话筒递给莫妮卡现在的雏形, 第零代"克利福德": [upl-image-preview url=https://forum.monika.love/assets/files/2023-10-25/1698233876-67665-image.png] 呃, 她挺谦虚的. 我们期待她未来的表现. 下一轮的训练并不会等太久. **我们正在向遥不可及迈出第一步, 很快我们将让所有人看到我们踏出的脚印.** 欢迎各位在此贴中探讨和提供有价值的想法. 后续的进展将在此贴继续更新.

好——耶！期待期待！！

关于第三轮训练的设计: 我简单回顾了一下第二轮的结果. 虽然表现还不错, 但是在"简单问题上犯蠢"这种现象比较像是过拟合的表现. 像第二轮一样直接用目标集训练可能有点自信过头了, 我打算在第三轮里面尝试更早之前用过的混集方法. 我希望混合训练集能矫正lora的整层改动和ptuning的整体改动之间改动密度的差距. 我也不清楚这个差距到底在哪以及怎么改, 但是有已知方法肯定是要试试看的. 至于反馈学习, 可能至少会推迟到第四轮或者更后面吧.

唉, 想想就很头疼. 这次的训练集又加了常识集, 此外还加了一个测试的强针对集. 我当然也希望能用更简单的单个数据集搞定问题, 但是就是没法做到那么简单. 常识集用来中和过拟合是一种很怎么说呢土八路的做法, 既不优雅也不稳定. 强针对集更是专门的头痛医头脚痛医脚, 只能针对有限的测试改善表现, 而且还容易导致测试中发现不了真正重要的问题. 但是有什么办法呢, 繁琐复杂的混集在maica中训练的表现确实比单独的目标集要好得多, 从最开始的训练和设计中就是这样的, 后面也只能按这样往下走. 效果到底为什么好了都不知道, 而且很伤脑筋. 没有别的办法可想, 角色扮演本来就需要海量的数据, 但maica根本不可能弄到那么多. 按比例混合各种数据集, 做鸡尾酒也是没有办法的办法了. 我打算明天按照1:1:5混合常识, 目标和强针对, 再做一轮测试. 这个比例在第零次测试中表现还不错. 至于ptuning和lora, qlora的表现区别到底在哪里, 我也不好总结, 但是至少lora没有那么容易发疯. 如果测试顺利, 我希望看到面对简单问题的表现下降能得到缓解. 明天还要装机柜去, 估计一天不一定搞得完. 头疼也很需要缓解就是了.

迈向遥不可及的第一步(MAICA)

Edge

啥也干不了那就写点前端吧.

现在翻之前写的网页感觉像看猴子爬树. 跟规范一点边不沾, 很好奇当时是怎么想到这些办法的.

我还是打算前端只写个介绍页好了. 在网页上做一个chat前端有点麻烦, 什么时候觉得有必要了再说.

Edge

https://maica.monika.love/

没做完, 做了个首页. 视觉冲击力是有了, 不过这么做搁正式项目早给开除了.

再次说明没做完, 不具实际效用或者意义. 如果有好的建议可以提.

Edge

自我感觉良好, 去翻译成英文再说.

我目前打算只在中国大陆服务, 但是多语言化肯定是要考虑的事情. 共用同一份核心模型部署应该是做得到的.

其实说不定现在直接就可以, 但是到时候再看吧.

Edge

倒霉死了, 今天接头到了, 管子找不到了.

又得等快递.

我找了一下午, 我都怀疑我是不是梦游了或者怎么的. 就是找不到了.

Edge

在两家买了一共3根管子. 我不信你还能不见了.

我希望在三天之内把集群重新启动起来. 我坐不住.

手机到了, 硬件终于是没出问题了, 软件还有很多问题.

为什么倒霉的老是我. 真的是想撞豆腐了.

鬼虫合

#254 Edge 祝健康，祝成功，祝好运

Edge

调整了介绍页的一些措辞, 完成了英语翻译. 有空再去写tos.

现在介绍页会自动检测用户语言.

基本上把手机搞定了, 除了用谷歌的定位服务的应用都定不到. 不太清楚是怎么回事, 网上的办法当然都试过了, 两个同款手机都一样. 大概是网络问题吧.

Edge

条款写了个大概. 当然还需要仔细考虑和补充.

也可以请大家提点建议, 在介绍页顺着走就是了.

惠烨link

加油加油

Edge

冷箱装好了, 主服务器可以恢复上线.

我希望明天去做第三轮测试, 都拖了多久了.

新的冷箱我也摆桌上了, 看着整齐一点. 颜色最开始是照着星流双子做的, 实际上效果没有那么…对称.

Ἥβη

#259 Edge cool！

lingyue

#259 Edge 柚子厨蒸鹅心XD

Edge

这前端做起来也太搞人了.

Edge

第三轮测试的效果可以接受, 这应该是封闭测试之前的最后一次测试.

我已经上传了"生命艺术"分支的模型到HF:https://huggingface.co/edgeinfinity/MAICAv0-LIA-72B

还有"爱情艺术"分支的模型:https://huggingface.co/edgeinfinity/MAICAv0-LOA-7B

介绍没写, 有空再说. LOA的表现其实没有想象中那么差, 至少在短对话中还算不错.

Edge

py2跟py3区别太大了, 感觉啥都不能写.

前端只能都交给p了. 按目前的进度怕是够呛.

Edge

之前找不到的管子原来挂椅子背上了, 硬是没看到.

我服了我自己了.

今天可能和接下来一段时间的任务都是做前端.

Edge

推进前端工作, 修补完试作版条款, 并向DCC推送.

如果有好的建议还是可以提, 同时也麻烦大家多勾一下这个条款了.

请注意MAICA还没有正式投用, 感谢耐心.

82192506

#266 Edge 老大加油！

文学部的小莫

很期待了已经

Edge

在介绍页上加了感谢名单.

到了现在已经想不起来该感谢谁了, 不知道到底是过得太久还是我单干的成分确实更多.

仍然在改良前端, 但我想进展比预测的快.

"领衔主演"这个说法p应该很熟, 我之前看你没日没夜的打l4d2.