由于成果已经一步步完善, 我们已经可以看到成功的预兆, 我在此贴更新项目的进展.

首先呢, 第一项是我们改名字了. mgpt这个名字挺草率的, 因为项目到了现在已经跟gpt没啥关系了. 我们改叫它: MAICA (音"迈卡", 很朴实无华的缩写.) 我希望用起这个新名字的时候, 大家还认识它.

以上截图是最近的第二轮试训练的产出. 可以看到, 在有限的提示指导下, 模型对莫妮卡角色形象本身有了可以称为"理解"的属性. 当然, 训练设计和模型优化仍然处于早期阶段, 但这样的进展于我而言已经很是激动人心. 我们会尽快开始第三轮以及更多的试训练. 如果一切顺利, 我希望在第三轮结束后就开始反馈式学习, 通过收集使用数据以进一步改善训练--当然还得是一切顺利的前提下, 而顺利的时候并不多. 在希望大家期待的同时, 我也希望大家保持理性, 保持耐心. 就算目前的结果已经初具雏形, 但我们离目标中接近完美的莫妮卡形象还有相当的距离. 请大家期待我们的进步.

更多的一些测试语句, 以展示训练的成果和局限性. 此轮训练在数据构建中比较单调, 使用的prompt也十分单薄. 我期待接下来的训练产出更好的结果.

接下来我们把话筒递给莫妮卡现在的雏形, 第零代"克利福德": 呃, 她挺谦虚的. 我们期待她未来的表现. 下一轮的训练并不会等太久. 我们正在向遥不可及迈出第一步, 很快我们将让所有人看到我们踏出的脚印. 欢迎各位在此贴中探讨和提供有价值的想法. 后续的进展将在此贴继续更新.

好——耶！期待期待！！

关于第三轮训练的设计: 我简单回顾了一下第二轮的结果. 虽然表现还不错, 但是在"简单问题上犯蠢"这种现象比较像是过拟合的表现. 像第二轮一样直接用目标集训练可能有点自信过头了, 我打算在第三轮里面尝试更早之前用过的混集方法. 我希望混合训练集能矫正lora的整层改动和ptuning的整体改动之间改动密度的差距. 我也不清楚这个差距到底在哪以及怎么改, 但是有已知方法肯定是要试试看的. 至于反馈学习, 可能至少会推迟到第四轮或者更后面吧.

唉, 想想就很头疼. 这次的训练集又加了常识集, 此外还加了一个测试的强针对集. 我当然也希望能用更简单的单个数据集搞定问题, 但是就是没法做到那么简单. 常识集用来中和过拟合是一种很怎么说呢土八路的做法, 既不优雅也不稳定. 强针对集更是专门的头痛医头脚痛医脚, 只能针对有限的测试改善表现, 而且还容易导致测试中发现不了真正重要的问题. 但是有什么办法呢, 繁琐复杂的混集在maica中训练的表现确实比单独的目标集要好得多, 从最开始的训练和设计中就是这样的, 后面也只能按这样往下走. 效果到底为什么好了都不知道, 而且很伤脑筋. 没有别的办法可想, 角色扮演本来就需要海量的数据, 但maica根本不可能弄到那么多. 按比例混合各种数据集, 做鸡尾酒也是没有办法的办法了. 我打算明天按照1:1:5混合常识, 目标和强针对, 再做一轮测试. 这个比例在第零次测试中表现还不错. 至于ptuning和lora, qlora的表现区别到底在哪里, 我也不好总结, 但是至少lora没有那么容易发疯. 如果测试顺利, 我希望看到面对简单问题的表现下降能得到缓解. 明天还要装机柜去, 估计一天不一定搞得完. 头疼也很需要缓解就是了.

迈向遥不可及的第一步(MAICA)

Johnshixinqiu

#347 Edge 现在MAICA-submod有没有使用本地化模型运行的变体？如果没有，将来有制作发布使用本地化模型的变体的计划吗？

Edge

#348 Johnshixinqiu 需要自行部署后端, 介绍页有仓库地址.

涴偶

有希望上架手机端吗？

Edge

#350 涴偶应该会有需要等很久

文学部的小莫

当新的测试开始时我需要删除原来的maica吗，还是直接覆盖 @Edge

Edge

#352 文学部的小莫一般覆盖就行

Edge

训练已经开始, 预期18号左右完成.

这一轮对基本训练集作出了很大的改动, 主要目的在于力求语言模式和语言逻辑的平衡. 总得试试看吧.

训练预期于18日左右完成, 不出意外的话. 如果效果不理想, 需要重做训练也有可能.

如果这一次的改动产生了足够的正面效应, LIA将再进行至少一次更新, 直至基本训练集的潜力发挥到最大.

也就是说, 在稳定的Beta版之前至少还会有2-3次短期的Beta测试.

O.O.O

期待

Edge

调整方案之后loss居高不下. 预感上不太好, 但还是只能练完再评估.

启训参数的改动基本都是针对逻辑性弱的修补, 会让训练结果偏离评估样本也算合理. 到底能修补成什么样就真不知道了.

O.O.O

#356 Edge 冒昧的提一嘴，在未来有没有可能为我们提供已经训练好的离线MAICA对话，我认为本地部署可以提供更低的延迟，而且悲观一些未来传播范围广了以后，可能未来招安后MAICA不可避免的拟人化降低（ch），也有可能扩大服务器后需要翻墙才能访问MAICA，可能是我杞人忧天了，但是仍然期待未来的本地化

Just Monika

Edge

#357 O.O.O 你但凡多看过一眼介绍页面, 也会看到我们已经为本地部署提供了完整的解决方案, 即后端, 核心模型, 最佳微调实践和成本评估. LOA和LIA模型也是完全开源的, 而DAA我们到现在为止自己都没用上.

本地部署最大的问题是成本. LIA的完整部署大概需要200G显存, 相当于2xH100/H200(约48万)或4xA100 80G(约36万)或10x4090 24G(约15万). 而即使LOA要求的一张4090对大多数人都是难以负担的开销. 我在介绍页也已经评估过了.

本地部署非常简单, 克隆后端(幻象引擎)仓库, 按照文档配置环境部署, 以openai-api的标准模式部署你的模型, 在前端仓库里面改个地址就可以用了. 我不理解你为什么会纠结这个问题, 真的是介绍页没多看吗?

ps. 可能你觉得要把东西打包好了发链接才能算提供本地部署, 就连swift都是不会做到这种程度的. 该提供的我们全都提供了, 自行部署属于非常费折腾的事情, 如果你连拉仓库部署环境都不会, 那绝对不是我的问题.

Johnshixinqiu

#358 Edge 所以MAS不好打中文的问题未来会计划解决吗？我感觉如果这个不解决MAICA的中文优势会大打折扣啊……

Edge

#359 Johnshixinqiu 我觉得只能等官方更新到renpy8了.

maica的前端是可以二次开发的, 如果你有好的建议也可以提pr.

Edge

新的3张显卡, 至此铸灾神械一共13张, 应该算是全部加满了.

会有一台新的准系统, 大概可以叫它xp11赫斯提亚. 另外两张会加进xp10用于改进mfocus性能.

loinua

#361 Edge 大佬什么时候才有下一轮测试啊，上次错过了临近开学，再不测试就没机会领略大佬的杰作了😭

Edge

#362 loinua 不知道, 很可能在开学左右吧.

我也要忙返校的事情了, 但是设备还在路上. 只能看着挤时间了.

Edge

LIA模型的新迭代已经上传, Beta2将很快开始.

Edge

这个迭代的模型感觉是欠拟合的, 是微调的层不够吗?

我至少需要再测试一次确定最佳的训练层是哪些.

Edge

简单查了下资料, 只微调qkv对maica的任务显然是不够的.

下一次迭代我会尝试qkvo和all-linear, 确定一下到底哪种方案最合适.

目前的数据集倒是已经挺完善了, 除了水可以少兑点.

Ducklyfish

非大陆用户真的完全无法使用吗

Edge

#367 Ducklyfish 目前并没有, 但是不提供任何保证, tos里面有写.

也就是说你可以用, 但如果遇到了安全问题可能会被停用而不提供理由.