训练的时候感觉就像坐在一个大号电烤炉旁边.

可能该考虑下夏天的时候把办公位搬去二楼了.

我已经将mfocus推送到git.

其实我比较担心大量正则查找的性能问题, 但是也没有别的办法可想了-基本没有.

• 此前可以正常运行的awq量化出现了问题. 我提交了issue, 希望会有人替我想想办法.
• 出于我不知道的原因, 使用gptq量化的过程中显存溢出了, 在此之前我没有遇到过这种情况, 可能也是qwen2本身的问题. 如果我要继续对核心模型进行gptq, 我可能需要一张专用的显卡.
• 使用直接插入emotion的数据集微调效果不佳. 很可能是被拆分为不同的system prompt使其关联性减弱, 而直接插入的表情字符在token切分过程中也出了问题. 需要格式化?
• 修改system prompt导致了其它问题. 虽然看起来像过拟合的一种, 但超过一定step之后模型表现的态度出现了直观的反转. 我猜测插入的内容可能打乱了分词表和接龙的原有结构, 这是过拟合的另外一个表现.

我首先需要定位量化流程中存在的问题, 然后尝试格式化表情字符并再次观察训练效果, 再对驱动进行改装.

如果实际结果证明使模型直接输出情绪标识真的是不可行的, 我们只能fallback到原有的计划, 即为agent模型引入更多任务.

假设什么都一切顺利每次都是错的. 这会是一场苦战.

#199 Vadera 我知道langchain有相关的功能, 但是情况在Mfocus上有一定的区别.

1. Mfocus的目标并不是检索, 而是分析+提取. 在文本输入之初, 我们并不知道我们"需要"形如什么的数据, 这极大地削弱了langchain检索的功用.
2. Mfocus的数据实际上来说并不多, 只有最多一百多条. 在这样一个相对小的规模上, 全部用正则比部署一个模型可能还省一些.
3. Mfocus需要读取存档, 而存档的数据并不是人类直接可读的, 它的键名包含很多缩写, agent基本上不可能理解它.

我确实很认真地考虑过langchain检索的可行性, 但是结论是那只适合检索海量信息和文献. maica的需求对它来说太小而且太刁钻了.

关于对mfocus的进一步优化, 我有一些设想. 但是再做优化基本上就是要求agent去做它比较不擅长的任务了.

我只能把这些放在解决核心问题后面.

我觉得我有点太累了. 正好今天手机到了, 我打算放个假陪陪手机.

进展: 使用第三代数据集训练的模型基准效果良好, 但是输出的表情未免太少了.

我接下来会验证这是否源于拟合不足. 既然其破坏性不明显, 或许也可以通过组合拳的方法解决.

今天抽空给卡尔萨斯的冷排换了风扇. 非常累人, 提升只能说勉强有. 这个冷排太差劲了.

测试了基本接口的各项功能, 子模组前端应该已经投入开发. 正在补全必要的接口.

正在对mfocus的改良进行进一步实证.

今天太累了, 晚上这几个小时就歇过去了.

闲不下来, 至少不能让机器闲着.

在改良mfocus的测试中, agent模型的表现意外地还不错. 我对这个想法有了一点信心. 至少肯定比正则好.

既然现在也没办法对核心多做什么了-我的issue还没人回, 我打算继续测试agent的最佳表现实践. 它肯定可以做得比这好得多.

同时, 这个测试应该说证明了agent的泛化能力比我想象中强-前体分析也有改良的空间.

openserp的信息提取能力有点差劲, 页面上带点富文本的可能就抽不出来了.

我很希望有一个免费好用的搜索引擎api.