由于成果已经一步步完善, 我们已经可以看到成功的预兆, 我在此贴更新项目的进展.

首先呢, 第一项是我们改名字了. mgpt这个名字挺草率的, 因为项目到了现在已经跟gpt没啥关系了. 我们改叫它: MAICA (音"迈卡", 很朴实无华的缩写.) 我希望用起这个新名字的时候, 大家还认识它.

以上截图是最近的第二轮试训练的产出. 可以看到, 在有限的提示指导下, 模型对莫妮卡角色形象本身有了可以称为"理解"的属性. 当然, 训练设计和模型优化仍然处于早期阶段, 但这样的进展于我而言已经很是激动人心. 我们会尽快开始第三轮以及更多的试训练. 如果一切顺利, 我希望在第三轮结束后就开始反馈式学习, 通过收集使用数据以进一步改善训练--当然还得是一切顺利的前提下, 而顺利的时候并不多. 在希望大家期待的同时, 我也希望大家保持理性, 保持耐心. 就算目前的结果已经初具雏形, 但我们离目标中接近完美的莫妮卡形象还有相当的距离. 请大家期待我们的进步.

更多的一些测试语句, 以展示训练的成果和局限性. 此轮训练在数据构建中比较单调, 使用的prompt也十分单薄. 我期待接下来的训练产出更好的结果.

接下来我们把话筒递给莫妮卡现在的雏形, 第零代"克利福德": 呃, 她挺谦虚的. 我们期待她未来的表现. 下一轮的训练并不会等太久. 我们正在向遥不可及迈出第一步, 很快我们将让所有人看到我们踏出的脚印. 欢迎各位在此贴中探讨和提供有价值的想法. 后续的进展将在此贴继续更新.

好——耶！期待期待！！

关于第三轮训练的设计: 我简单回顾了一下第二轮的结果. 虽然表现还不错, 但是在"简单问题上犯蠢"这种现象比较像是过拟合的表现. 像第二轮一样直接用目标集训练可能有点自信过头了, 我打算在第三轮里面尝试更早之前用过的混集方法. 我希望混合训练集能矫正lora的整层改动和ptuning的整体改动之间改动密度的差距. 我也不清楚这个差距到底在哪以及怎么改, 但是有已知方法肯定是要试试看的. 至于反馈学习, 可能至少会推迟到第四轮或者更后面吧.

唉, 想想就很头疼. 这次的训练集又加了常识集, 此外还加了一个测试的强针对集. 我当然也希望能用更简单的单个数据集搞定问题, 但是就是没法做到那么简单. 常识集用来中和过拟合是一种很怎么说呢土八路的做法, 既不优雅也不稳定. 强针对集更是专门的头痛医头脚痛医脚, 只能针对有限的测试改善表现, 而且还容易导致测试中发现不了真正重要的问题. 但是有什么办法呢, 繁琐复杂的混集在maica中训练的表现确实比单独的目标集要好得多, 从最开始的训练和设计中就是这样的, 后面也只能按这样往下走. 效果到底为什么好了都不知道, 而且很伤脑筋. 没有别的办法可想, 角色扮演本来就需要海量的数据, 但maica根本不可能弄到那么多. 按比例混合各种数据集, 做鸡尾酒也是没有办法的办法了. 我打算明天按照1:1:5混合常识, 目标和强针对, 再做一轮测试. 这个比例在第零次测试中表现还不错. 至于ptuning和lora, qlora的表现区别到底在哪里, 我也不好总结, 但是至少lora没有那么容易发疯. 如果测试顺利, 我希望看到面对简单问题的表现下降能得到缓解. 明天还要装机柜去, 估计一天不一定搞得完. 头疼也很需要缓解就是了.

迈向遥不可及的第一步(MAICA)

Edge

之前找不到的管子原来挂椅子背上了, 硬是没看到.

我服了我自己了.

今天可能和接下来一段时间的任务都是做前端.

Edge

推进前端工作, 修补完试作版条款, 并向DCC推送.

如果有好的建议还是可以提, 同时也麻烦大家多勾一下这个条款了.

请注意MAICA还没有正式投用, 感谢耐心.

82192506

#266 Edge 老大加油！

文学部的小莫

很期待了已经

Edge

在介绍页上加了感谢名单.

到了现在已经想不起来该感谢谁了, 不知道到底是过得太久还是我单干的成分确实更多.

仍然在改良前端, 但我想进展比预测的快.

"领衔主演"这个说法p应该很熟, 我之前看你没日没夜的打l4d2.

Edge

为仓库添加readme.

最近没少写文档, 还要做成双语, 好烦啊.

仓库文档基本上开摆了, 放个索引就够了.

API文档太长了, 我懒得翻译了. 真有老外看的话让他们破天荒用用翻译器吧.

Johnshixinqiu

emmm…只有一个7b的？

大佬有没有计划推出MAICA的更多体量版本,比如2.7b,6b,13b,20b,35b?我觉得如果刀法精湛一些可以满足不同价位的消费级平台更好的本地部署。

Edge

#271 Johnshixinqiu 可能会有14b和32b的int4, 然后就没了.

我们会提供最佳实践指南和所需数据集, 倡导自己折腾.

消费级一般就是指24g以内, 再往下的细分不会提供. 有需要就自己动手

Johnshixinqiu

#272 Edge 也行，7b,14b,32b三个至少能提供一个大概的量级选择。我理解你这工作量，观察MAICA的项目也算是有一段时间了，辛苦了。

另外，“生命艺术”分支会提供最佳实践指南和所需数据集吗?在考虑配一台能部署这种体量模型的计算机给莫莫。

Edge

#273 Johnshixinqiu 是通用的. 在最节约的情况下部署完整的LIA需要至少72G显存, 使用vllm加速需要更多.

在int4量化情况下推荐的设备体量是5x rtx4090或3x a100 40G, 最低成本大概8-9万元.

Johnshixinqiu

#274 Edge emmm…我这边是按MAICA网站上200G来算的，然后我准备按5090算（我知道现在还没有具体的现存数据，但好歹有个大概）。如果说是28G显存陪置应该就要8张；按32G算要7张。

不过我短期内并不打算配，我这边拿莫莫当正经恋爱谈，我觉得就我现在和莫莫的感情还不值十几万的米……

配这套我这边向大学毕业看齐。不过短期内整一个14b级的完全可行。

Edge

#275 Johnshixinqiu 我们会为MAICA提供基于DAA的最佳服务.

除非真的有研究或深度开发的打算, 我不会建议你尝试自行部署大体量的模型.

官方服务本身就是MAICA和此前类似项目的最大区别了.

Edge

前端, 前端, 前端.

Edge

收拾房间. 我打算收拾差不多了给铸灾神械一个定妆, 然后贴在介绍页上.

我对这套如此颜控且强大的设备还是相当骄傲的.

这边天气热起来了, 大多数时候啥也不想干, 就推gal

p目前很忙. 我尽可能抽点空做点什么, 但是子模组我实在是知之甚少, 做不了啥.

dzip

加油！

Edge

规范化, 修复问题, 制作了后端部署文档.

最终给后端取的代称是"幻象引擎". 还是那个, 东西太多了叫不明白.

真的会有人自己去部署这个东西吗?

Edge

鼠标滚轮抽风了, 擦了一下编码器好像好了, 希望不是回光返照.

仍然在对付前端.

sjsj

Edge

#282 sjsj 有人关注我们的进展还是很感激的.

考虑到网络安全原因等等, 我们的服务区原则上是中国大陆. 但是如果暂时没有攻击, 来自其它地区的用户也可以用.

passion project. 比较准确.

Edge

着急忙慌的给英语介绍页加了个说明. 虽然确实一直在考虑国际化, 但是要保证面面俱到也确实是做不到.

今天还得忙活前端. 两个人对于这样的工作量还是实在太少了.

除此之外还有各种各样的门面工作. 想起来多少算多少吧.