Edge 假没有放太久. 我正在尽快整理数据集投入第二次训练, 至少先做完我有能力做的内容. 在此同时, 我希望能等到swift的答复. 我在修普诺斯和密斯特拉上都复现了awq失败的问题, 我觉得这不是我的问题. 除了核心模型的设计和技术, 我也确实有必要在接下来抽时间改良mfocus的设计. 我希望首先将存档整理为可读的语言, 再让agent模型进行关联度的检索. 这个方案或许会引入额外的计算量, 但是我想效果会极大地优于正则和langchain. 有时候空调开得太低会让我感觉到很消极, 原因尚不清楚.
Edge 我可能至少要等上两三天才能收到关于量化问题的解决方案, 在此之前我们只能使用全量模型进行测试. 实际上用全量模型执行生产部署也是可行的, 但显存会非常紧张而且无可拓展. 我不希望陷入这种局面.
Edge 进展: 使用第三代数据集训练的模型基准效果良好, 但是输出的表情未免太少了. 我接下来会验证这是否源于拟合不足. 既然其破坏性不明显, 或许也可以通过组合拳的方法解决. 今天抽空给卡尔萨斯的冷排换了风扇. 非常累人, 提升只能说勉强有. 这个冷排太差劲了. 测试了基本接口的各项功能, 子模组前端应该已经投入开发. 正在补全必要的接口. 正在对mfocus的改良进行进一步实证.
Edge 闲不下来, 至少不能让机器闲着. 在改良mfocus的测试中, agent模型的表现意外地还不错. 我对这个想法有了一点信心. 至少肯定比正则好. 既然现在也没办法对核心多做什么了-我的issue还没人回, 我打算继续测试agent的最佳表现实践. 它肯定可以做得比这好得多. 同时, 这个测试应该说证明了agent的泛化能力比我想象中强-前体分析也有改良的空间.
Edge 对于基本的抽取, 深度训练后的agent表现良好, 对于一些比较绕的情况也能抽取正确的信息. 我只是没办法让它停止回答"你好". 可能只能从硬编写上去掉它了. 这是mfocus工作的完整流程展示. 虽然其稳定性其实很差, 但是能通过打补丁的方法改善. 在案例中, 针对"我们现在干点什么好呢"的提问, mfocus能够从存档中抽取"[player]想过和莫妮卡去爬山", 并依据"爬山"的关键信息从互联网中搜索附近的景点--虽然它暂时还不知道附近是哪附近. 最终这些数据将被呈递给maica核心用于生成最终回答. 这一套系统的复杂度和不确定因素太高, 毕竟很难完全控制模型的输出会是什么样子, 很可能会有损坏的格式. mfocus的驱动程序中带有数套保险, 能够确保mfocus在错误结束的情况下仍然能够呈递有限的信息, 或过滤误导性的内容.
Edge 我觉得我搞定它了. 这个包提供的搜索结果爬取非常清晰. 按我的设计, mfocus能够向核心提供两份相似的信息, 其一是通过固定程序总结的agent获取信息, 其二是agent本身的最终回答. 我会在之后设计一个算法, 每轮运行从中挑选更合适的指导. 这样的双保险也是为了在agent模型回答混乱的情况下仍然提供已知信息到核心. 我觉得它犯浑的情况是相当常见的. 此外我和p商量了一下, 决定给maica前端设计一个宽泛的接口, 允许玩家自行输入自己的爱好和个人信息. mfocus的检索表现虽然不稳定, 但是其实还不错. 提供尽可能多的信息可能会让模型表现得更以假乱真. 感觉剩下的事情太多了, 不过我都快习惯了. 不记得上次打2042是哪天了.
Edge 发现了qwen2作为agent导致的奇怪问题, 可能是推理eos配置有误. 我不清楚这个问题会不会导致性能表现上的影响. 最好先找官方确认一下. 今天把有问题的手机退掉了, 白装两次系统. 要多倒霉有多倒霉.
Edge 最稳妥的办法应该是把agent模型回退到qwen1.5 还需要再花时间训练. 这事烦人得很, 魔搭在7号就说兼容qwen2了, 结果测下来每个都一堆问题. 他们现在也没有能修好的意思. 我会先测试agent回退到1.5的效果如何. 如果还可以的话就先用着好了.
Edge 算是比较好的消息是, int4下的32b模型被证实能够在2x4090上加速部署. 我正在尝试基于qwen1.5构建一份32b体量的agent模型, 使其性能不弱于qwen2-7bi且能稳定工作. 这一轮训练可能需要三天. 在此期间, 我会继续完善总线驱动的算法. 我们还有太多工作要做.
Edge qwen1half-32b在测试中表现也很差, 这点相当奇怪. 我正在回退到qwen1-14b, 我需要确定问题到底在哪里. 我查到过一些说法称qwen1比1.5和2对指令服从性表现更佳. 试试再说吧. 我感觉我离完工已经如此之近, 但关键的agent一直不顺利, 这点让我很烦躁. swift目前对agent提供的官方支持只存在于qwen1, 在尝试更新更强的模型中出现问题就只能放弃掉了. 我需要一个合格的agent, 而且我希望它优于qwen1-7b. 如果针对qwen1-14b的测试仍然失败, 我只能另想办法.
Edge 我做了进一步验证, 这些问题看起来和拟合不足的模型比较相似. 在复现一次qwen-7b的测试结果后, 我会在qwen14b上进行强化训练, 确认拟合充分需要的步数是多少. 我觉得还有希望. 如果确实是拟合不足导致的问题, 或许qwen1.5或2也能有办法拿来用.
Edge 帮淘宝买rgb控制器的店家解决了一个编译问题, 他送了我一个免费以旧换新. 感觉像是完成了什么奇怪的支线任务. 新控制器送到之后需要费点时间换装. 在此之前我会在qwen-14b上继续训练8个ep, 观察足够的拟合到底需要多少训练量. 很奇怪的是, 在推理中合并权重好像会让模型的拟合效果变差. 我觉得这也是swift本身的问题. 懒得交issue了. 我已经有三个问题明确的issue没人回了, 估计提了也没用. 总的来说, 进展比想象中慢. 但是急也急不来. 无论人手还是设备都太有限了.
