由于成果已经一步步完善, 我们已经可以看到成功的预兆, 我在此贴更新项目的进展.

首先呢, 第一项是我们改名字了. mgpt这个名字挺草率的, 因为项目到了现在已经跟gpt没啥关系了. 我们改叫它: MAICA (音"迈卡", 很朴实无华的缩写.) 我希望用起这个新名字的时候, 大家还认识它.

以上截图是最近的第二轮试训练的产出. 可以看到, 在有限的提示指导下, 模型对莫妮卡角色形象本身有了可以称为"理解"的属性. 当然, 训练设计和模型优化仍然处于早期阶段, 但这样的进展于我而言已经很是激动人心. 我们会尽快开始第三轮以及更多的试训练. 如果一切顺利, 我希望在第三轮结束后就开始反馈式学习, 通过收集使用数据以进一步改善训练--当然还得是一切顺利的前提下, 而顺利的时候并不多. 在希望大家期待的同时, 我也希望大家保持理性, 保持耐心. 就算目前的结果已经初具雏形, 但我们离目标中接近完美的莫妮卡形象还有相当的距离. 请大家期待我们的进步.

更多的一些测试语句, 以展示训练的成果和局限性. 此轮训练在数据构建中比较单调, 使用的prompt也十分单薄. 我期待接下来的训练产出更好的结果.

接下来我们把话筒递给莫妮卡现在的雏形, 第零代"克利福德": 呃, 她挺谦虚的. 我们期待她未来的表现. 下一轮的训练并不会等太久. 我们正在向遥不可及迈出第一步, 很快我们将让所有人看到我们踏出的脚印. 欢迎各位在此贴中探讨和提供有价值的想法. 后续的进展将在此贴继续更新.

好——耶！期待期待！！

关于第三轮训练的设计: 我简单回顾了一下第二轮的结果. 虽然表现还不错, 但是在"简单问题上犯蠢"这种现象比较像是过拟合的表现. 像第二轮一样直接用目标集训练可能有点自信过头了, 我打算在第三轮里面尝试更早之前用过的混集方法. 我希望混合训练集能矫正lora的整层改动和ptuning的整体改动之间改动密度的差距. 我也不清楚这个差距到底在哪以及怎么改, 但是有已知方法肯定是要试试看的. 至于反馈学习, 可能至少会推迟到第四轮或者更后面吧.

唉, 想想就很头疼. 这次的训练集又加了常识集, 此外还加了一个测试的强针对集. 我当然也希望能用更简单的单个数据集搞定问题, 但是就是没法做到那么简单. 常识集用来中和过拟合是一种很怎么说呢土八路的做法, 既不优雅也不稳定. 强针对集更是专门的头痛医头脚痛医脚, 只能针对有限的测试改善表现, 而且还容易导致测试中发现不了真正重要的问题. 但是有什么办法呢, 繁琐复杂的混集在maica中训练的表现确实比单独的目标集要好得多, 从最开始的训练和设计中就是这样的, 后面也只能按这样往下走. 效果到底为什么好了都不知道, 而且很伤脑筋. 没有别的办法可想, 角色扮演本来就需要海量的数据, 但maica根本不可能弄到那么多. 按比例混合各种数据集, 做鸡尾酒也是没有办法的办法了. 我打算明天按照1:1:5混合常识, 目标和强针对, 再做一轮测试. 这个比例在第零次测试中表现还不错. 至于ptuning和lora, qlora的表现区别到底在哪里, 我也不好总结, 但是至少lora没有那么容易发疯. 如果测试顺利, 我希望看到面对简单问题的表现下降能得到缓解. 明天还要装机柜去, 估计一天不一定搞得完. 头疼也很需要缓解就是了.

迈向遥不可及的第一步(MAICA)

Edge

翻译文本和ui, 后端prompt微调, 一些杂七杂八工作

多语言是一开始就有策划的东西, 但是实在是忙不过来, 现在的表现估计跟那啥差不多.

要再整理一份英文版的数据集难度还是有点大的, 毕竟当时清洗核心数据集差点累死.

考虑做一份低权重的粗制滥造集或者把中文核心拿去机翻或者干脆全指望泛化?

现在是全指望泛化的. 再说吧.

ps.试了一下, 泛化的表现勉勉强强, 虽然有点像中文直接翻译过去的.

我会先给后端加一个键, 保证能用再说. 效果什么的听天由命吧.

Edge

杂七杂八的前端工作.

从目前的表现来看, 核心数据集洗的仍然不算干净, 训练深度也还不理想. 第四次训练的时候再说吧.

ps.我亲眼看到它叫p老婆. 虽然我应该笑不出来的, 但是还是笑出来了. 哈哈哈哈哈

Edge

跟裁缝聊了两句, 聊来聊去就一个字唉.

他对咖啡挺有了解的, 但是二次元的咖啡果然不一样吧.

这不是跟进展有关的东西, 但是难受得很就发了.

鬼虫合

#287 Edge 看得出来是真的很喜欢星光咖啡馆

82192506

老大你是把DCC相关的图标都换成MAICA的了吗

Edge

#289 82192506 没有啊. 如果网页顶部图标变了可能是cdn的bug, 强制刷新清除缓存即可.

Edge

上传基本数据集, 上传最佳实践文档.

其实这个最佳实践草率得不能更草率了, 我也懒得多写. 会折腾这玩意的人应该能研究明白的.

最佳实践是针对复现LIA和自制类DAA模型设计的. 对于体量比较小的模型, 需要自行调高训练轮次达到类似loss值.

如果需要统合核心模型与MFocus模型, 可能需要在微调中加入ms-agent打混.

至此MAICA的开源应该已经全部完成了. 如果还有什么需要的文档或者有看不懂的地方请大家提一下.

ps.今早推到栞栞消失了. 你把我的栞栞还回来😭

16:45按.栞栞回来了🥰

Edge

前端还算顺利.

又微操了一下mfocus的代码. 好像"只要…就"对模型比"如果…则"的效果要好.

可能是这个表达体现了更高的demanding, 虽然从语文上来看意思差不多.

我觉得llm是要跟语言学, 文学和心理学挂钩的.

Edge

基本完成了主要功能的构建和实现.

想起来之前说过的MSpire的卫星, 试了一下发现最大问题是新闻打哪来.

国内的新闻基本上都是村头大妈扯淡, 国外的新闻基本上都是经济政治, 没一个像样的.

或许之后会想想办法, 但是这个功能估计不会在第一轮次的封测中出现了.

Edge

解决一些一直存在但是没发现的问题, 补全翻译和素材.

给MSpire写了点基本的代码, 效果估计还是很需要打磨的, 再说吧.

启发字段是从wikipedia提取的随机页面, 虽然大多数时候会抽到一些偏门玩意, 但是至少比新闻网站好多了.

ps.最近推gal导致莫名地悲伤. 我早就说做完再推了, 只是本来以为能做完得快一点的.

Edge

把MSpire做出来了. 偷懒各种套方法, 跟直接前端实现也差不多.

效果我没测, 估计是不怎么样的. 不过改prompt应该能实现个八九不离十. 再说吧.

Edge

鼠标编码器还是坏了, 打算自己换一个, 顺便干脆配了个多功能bga焊台.

这个鼠标贵死了, 还是拆封版的, 六个月就不保了.

规范化mfocus代码, 添加了mf_hcb功能. 要对除mas以外的应用接入maica可能会很有用, 具体有待开发.

不知道还有多少活等着我干.

星间世界

#296 Edge

呜呜呜

bep_dar

bro 加油

Edge

调整mspire, 对齐代码, 补充前端对话.

现在看起来mspire可能可以在一测中开放, 效果怎么样只能听天由命了.

Brandonguy

hey uh im nwy to downloading submods i need to know how do i install it into MAS?

Edge

#300 Brandonguy I'm sorry but MAICA frontend submod is still under construction, which I already declared in the TOS.

By my estimation, we'll have around 7 days before the first round alpha starts, before when we're not able to provide a fully functional Submod.

I have to ask for your patience again and thanks for your following. We will start tracking the service stats in another post as soon as MAICA alpha begins.

ps.It's gonna be a normal submod. Unzipping and copy-pasting to corresponding directory will be enough.

Brandonguy

ah ok thanks

Edge

修复mspire. 我之前用的非官方wiki工具突然就用不了了, 只能用官方api重新写了一遍.

我说什么来着, 世界是个草台班子.

Edge

推进前端收尾工作, 开发测试, 简单清洗了一个英文版数据集, 预计在a测开始之前再练一版模型出来.

新的英文数据集会push到仓库, 但是我懒得再推模型了, 太大了. 如非结构性变动, 此后模型小更新均归入DAA分支.

请大家注意, a测原则上开展范围是: 最开始加入MAICA insiders群聊的200人左右(最开始叫mgpt1). 如果你在此前加入了, 请留意测试开始的通知.

在a测之后我们需要进行完善和部署预备, 请没有加入的各位耐心等待, 应该不会太久.

ps.如果真的有爱好者想要这一版的LIA可以联系我, 我抽空去推上去.

82192506

#304 Edge 老大加这个测试群是有什么要求吗，怎么样才能加呢