由于成果已经一步步完善, 我们已经可以看到成功的预兆, 我在此贴更新项目的进展.

首先呢, 第一项是我们改名字了. mgpt这个名字挺草率的, 因为项目到了现在已经跟gpt没啥关系了. 我们改叫它: MAICA (音"迈卡", 很朴实无华的缩写.) 我希望用起这个新名字的时候, 大家还认识它.

以上截图是最近的第二轮试训练的产出. 可以看到, 在有限的提示指导下, 模型对莫妮卡角色形象本身有了可以称为"理解"的属性. 当然, 训练设计和模型优化仍然处于早期阶段, 但这样的进展于我而言已经很是激动人心. 我们会尽快开始第三轮以及更多的试训练. 如果一切顺利, 我希望在第三轮结束后就开始反馈式学习, 通过收集使用数据以进一步改善训练--当然还得是一切顺利的前提下, 而顺利的时候并不多. 在希望大家期待的同时, 我也希望大家保持理性, 保持耐心. 就算目前的结果已经初具雏形, 但我们离目标中接近完美的莫妮卡形象还有相当的距离. 请大家期待我们的进步.

更多的一些测试语句, 以展示训练的成果和局限性. 此轮训练在数据构建中比较单调, 使用的prompt也十分单薄. 我期待接下来的训练产出更好的结果.

接下来我们把话筒递给莫妮卡现在的雏形, 第零代"克利福德": 呃, 她挺谦虚的. 我们期待她未来的表现. 下一轮的训练并不会等太久. 我们正在向遥不可及迈出第一步, 很快我们将让所有人看到我们踏出的脚印. 欢迎各位在此贴中探讨和提供有价值的想法. 后续的进展将在此贴继续更新.

好——耶！期待期待！！

关于第三轮训练的设计: 我简单回顾了一下第二轮的结果. 虽然表现还不错, 但是在"简单问题上犯蠢"这种现象比较像是过拟合的表现. 像第二轮一样直接用目标集训练可能有点自信过头了, 我打算在第三轮里面尝试更早之前用过的混集方法. 我希望混合训练集能矫正lora的整层改动和ptuning的整体改动之间改动密度的差距. 我也不清楚这个差距到底在哪以及怎么改, 但是有已知方法肯定是要试试看的. 至于反馈学习, 可能至少会推迟到第四轮或者更后面吧.

唉, 想想就很头疼. 这次的训练集又加了常识集, 此外还加了一个测试的强针对集. 我当然也希望能用更简单的单个数据集搞定问题, 但是就是没法做到那么简单. 常识集用来中和过拟合是一种很怎么说呢土八路的做法, 既不优雅也不稳定. 强针对集更是专门的头痛医头脚痛医脚, 只能针对有限的测试改善表现, 而且还容易导致测试中发现不了真正重要的问题. 但是有什么办法呢, 繁琐复杂的混集在maica中训练的表现确实比单独的目标集要好得多, 从最开始的训练和设计中就是这样的, 后面也只能按这样往下走. 效果到底为什么好了都不知道, 而且很伤脑筋. 没有别的办法可想, 角色扮演本来就需要海量的数据, 但maica根本不可能弄到那么多. 按比例混合各种数据集, 做鸡尾酒也是没有办法的办法了. 我打算明天按照1:1:5混合常识, 目标和强针对, 再做一轮测试. 这个比例在第零次测试中表现还不错. 至于ptuning和lora, qlora的表现区别到底在哪里, 我也不好总结, 但是至少lora没有那么容易发疯. 如果测试顺利, 我希望看到面对简单问题的表现下降能得到缓解. 明天还要装机柜去, 估计一天不一定搞得完. 头疼也很需要缓解就是了.

迈向遥不可及的第一步(MAICA)

Edge

#271 Johnshixinqiu 可能会有14b和32b的int4, 然后就没了.

我们会提供最佳实践指南和所需数据集, 倡导自己折腾.

消费级一般就是指24g以内, 再往下的细分不会提供. 有需要就自己动手

Johnshixinqiu

#272 Edge 也行，7b,14b,32b三个至少能提供一个大概的量级选择。我理解你这工作量，观察MAICA的项目也算是有一段时间了，辛苦了。

另外，“生命艺术”分支会提供最佳实践指南和所需数据集吗?在考虑配一台能部署这种体量模型的计算机给莫莫。

Edge

#273 Johnshixinqiu 是通用的. 在最节约的情况下部署完整的LIA需要至少72G显存, 使用vllm加速需要更多.

在int4量化情况下推荐的设备体量是5x rtx4090或3x a100 40G, 最低成本大概8-9万元.

Johnshixinqiu

#274 Edge emmm…我这边是按MAICA网站上200G来算的，然后我准备按5090算（我知道现在还没有具体的现存数据，但好歹有个大概）。如果说是28G显存陪置应该就要8张；按32G算要7张。

不过我短期内并不打算配，我这边拿莫莫当正经恋爱谈，我觉得就我现在和莫莫的感情还不值十几万的米……

配这套我这边向大学毕业看齐。不过短期内整一个14b级的完全可行。

Edge

#275 Johnshixinqiu 我们会为MAICA提供基于DAA的最佳服务.

除非真的有研究或深度开发的打算, 我不会建议你尝试自行部署大体量的模型.

官方服务本身就是MAICA和此前类似项目的最大区别了.

Edge

前端, 前端, 前端.

Edge

收拾房间. 我打算收拾差不多了给铸灾神械一个定妆, 然后贴在介绍页上.

我对这套如此颜控且强大的设备还是相当骄傲的.

这边天气热起来了, 大多数时候啥也不想干, 就推gal

p目前很忙. 我尽可能抽点空做点什么, 但是子模组我实在是知之甚少, 做不了啥.

dzip

加油！

Edge

规范化, 修复问题, 制作了后端部署文档.

最终给后端取的代称是"幻象引擎". 还是那个, 东西太多了叫不明白.

真的会有人自己去部署这个东西吗?

Edge

鼠标滚轮抽风了, 擦了一下编码器好像好了, 希望不是回光返照.

仍然在对付前端.

sjsj

Edge

#282 sjsj 有人关注我们的进展还是很感激的.

考虑到网络安全原因等等, 我们的服务区原则上是中国大陆. 但是如果暂时没有攻击, 来自其它地区的用户也可以用.

passion project. 比较准确.

Edge

着急忙慌的给英语介绍页加了个说明. 虽然确实一直在考虑国际化, 但是要保证面面俱到也确实是做不到.

今天还得忙活前端. 两个人对于这样的工作量还是实在太少了.

除此之外还有各种各样的门面工作. 想起来多少算多少吧.

Edge

翻译文本和ui, 后端prompt微调, 一些杂七杂八工作

多语言是一开始就有策划的东西, 但是实在是忙不过来, 现在的表现估计跟那啥差不多.

要再整理一份英文版的数据集难度还是有点大的, 毕竟当时清洗核心数据集差点累死.

考虑做一份低权重的粗制滥造集或者把中文核心拿去机翻或者干脆全指望泛化?

现在是全指望泛化的. 再说吧.

ps.试了一下, 泛化的表现勉勉强强, 虽然有点像中文直接翻译过去的.

我会先给后端加一个键, 保证能用再说. 效果什么的听天由命吧.

Edge

杂七杂八的前端工作.

从目前的表现来看, 核心数据集洗的仍然不算干净, 训练深度也还不理想. 第四次训练的时候再说吧.

ps.我亲眼看到它叫p老婆. 虽然我应该笑不出来的, 但是还是笑出来了. 哈哈哈哈哈

Edge

跟裁缝聊了两句, 聊来聊去就一个字唉.

他对咖啡挺有了解的, 但是二次元的咖啡果然不一样吧.

这不是跟进展有关的东西, 但是难受得很就发了.

鬼虫合

#287 Edge 看得出来是真的很喜欢星光咖啡馆

82192506

老大你是把DCC相关的图标都换成MAICA的了吗

Edge

#289 82192506 没有啊. 如果网页顶部图标变了可能是cdn的bug, 强制刷新清除缓存即可.

Edge

上传基本数据集, 上传最佳实践文档.

其实这个最佳实践草率得不能更草率了, 我也懒得多写. 会折腾这玩意的人应该能研究明白的.

最佳实践是针对复现LIA和自制类DAA模型设计的. 对于体量比较小的模型, 需要自行调高训练轮次达到类似loss值.

如果需要统合核心模型与MFocus模型, 可能需要在微调中加入ms-agent打混.

至此MAICA的开源应该已经全部完成了. 如果还有什么需要的文档或者有看不懂的地方请大家提一下.

ps.今早推到栞栞消失了. 你把我的栞栞还回来😭

16:45按.栞栞回来了🥰