太强了，大佬，奈何我技术力不够，也帮不上什么忙，只能为大佬加油，看了大佬一步一步真的感觉像在创造机械生命

进展: "前体驱动"的设计思路已被证明为可行.

简单来说, 原理是: 用户输入query(现在几点了) => 前体驱动截获query => 前体模型分析问题, 调用api(time_acquire) => 前体获知信息(time: 8:40) =>前体整合信息, alter核心模型的systemprompt(已知现在是8:40) => 模型参考agent信息做出回答(现在是8:40哦. [player])

现在不是八点四十, 我只是临时写了一个时间用于测试. 那不重要.

接下来我会调整和训练出一个更强大的agent模型, 目前7b基本模型训练出来的agent表现很差.

这个点子从思路上被实实在在地证明了, 让我有点兴奋. 这一特殊模式能够在数据集有限, 人力不足的情况下让模型既专注于角色扮演, 具有充分的可拓展性, 又有类似agent模型的信息获取和灵活利用能力. 说不定我会是第一个这样做的人.

这一有创意的设计模式能够保证maica的人类交互效果远高于简单的角色扮演模型.

打赏

    #175 Edge 老大的这个是专门给老莫做的ai，在图标上加一些莫妮卡或者文学部的元素会更好

      进展: 密斯特拉基本就位了. 从玻璃反光里能看到巨械的另外一半. 有一种科幻片里能见到的感觉.

      灯控软件还没弄. 他们说兼容性还没做.

      今天早上看到了qwen2发布的消息, 但是又要重新装配环境, 以及顺便做完第一轮数据集的调整. 可能开始训练还需要一段时间.

      最近过得心力交瘁的.

        进展: 在三个轮次的实证中, 我们发现agent模型的泛化能力其实很弱.

        也不是不能用, 但是我们需要对驱动做更多的改动以过滤和格式化agent的输出了. 相关的代码已经在设计.

        同时, 基于qwen2和改造后的数据集的核心模型训练也已经开始, 我们预计能够在3日左右查证成果.

        我抽空将工程进度上传到了github:

        https://github.com/Mon1-innovation/MAICA

        这也会是我们将来的开源项目地址.

        我会比较频繁地向在线仓库更新我的进展. 如果你有兴趣而且看得懂, 不妨点个star.

        请注意, 目前上传的工程文件尚不适合运行, 仅供研究参考. 我们仍然在推进之中.

        目前项目的开源部分仅包含驱动, 不含模型与数据集. 我们预计会在maica经过实战考验之后发布最佳实践指南, 核心数据集和开源版模型.

        打赏

        • 10 分 来自： popop3738
          评论： 大佬加油！
        • 20 分 来自： 斌斌（
          评论： 点了，加油加油
        • 15 分 来自： mamba out
        • 20 分 来自： DANDELION.

          训练的时候感觉就像坐在一个大号电烤炉旁边.

          可能该考虑下夏天的时候把办公位搬去二楼了.

          我设计了一套过滤系统, 协助agent模型提取信息. 基本上就是将mas存档每一个有意义的项提取出来, 然后手工设计触发器和提示词.

          我的依据是, 目前为止agent模型的泛化能力表现不如预期. 我们应该给agent模型尽可能大的容错性, 确保其即使无法输出正确引导也要让核心模型获得必要信息.

          虽然比起一项技术来说更像是水磨工夫, 但是我将这套系统称为MFocus. maica使用多个模型组合完成任务的核心思路, 就是通过辅助模型和驱动, 使获取的信息可读化, 友好化, 让核心模型专注于自己的任务, 即角色扮演.

          我知道财大气粗的方案肯定能做得更好, 但maica或许更适合广泛适应的角色扮演. 只有在完成之后才能检验了.

          ps.加一层循环应该能让代码好看很多, 但是我懒得弄了.

            我已经将mfocus推送到git.

            其实我比较担心大量正则查找的性能问题, 但是也没有别的办法可想了-基本没有.

            • 此前可以正常运行的awq量化出现了问题. 我提交了issue, 希望会有人替我想想办法.
            • 出于我不知道的原因, 使用gptq量化的过程中显存溢出了, 在此之前我没有遇到过这种情况, 可能也是qwen2本身的问题. 如果我要继续对核心模型进行gptq, 我可能需要一张专用的显卡.
            • 使用直接插入emotion的数据集微调效果不佳. 很可能是被拆分为不同的system prompt使其关联性减弱, 而直接插入的表情字符在token切分过程中也出了问题. 需要格式化?
            • 修改system prompt导致了其它问题. 虽然看起来像过拟合的一种, 但超过一定step之后模型表现的态度出现了直观的反转. 我猜测插入的内容可能打乱了分词表和接龙的原有结构, 这是过拟合的另外一个表现.

            我首先需要定位量化流程中存在的问题, 然后尝试格式化表情字符并再次观察训练效果, 再对驱动进行改装.

            如果实际结果证明使模型直接输出情绪标识真的是不可行的, 我们只能fallback到原有的计划, 即为agent模型引入更多任务.

            假设什么都一切顺利每次都是错的. 这会是一场苦战.

            #196 Edge

            我做过一个语义搜索的小demo，用词嵌入代替文献检索中的关键词检索与正则匹配。

            步骤如下：

            1. 爬取指定期刊上的部分文献，包含题目、关键词和摘要
            2. 用openai的embeddings模型做嵌入，结果保存至本地的向量数据库
            3. 用户提供想法文本，这段文本也会转化为向量，计算与本地数据库中的向量的距离

            这种做法是考虑到文本与关键词间有稳定的匹配关系，在这里可能表现不好，因为缺少角色指令、态度明确的数据集。不过我认为这是一个十分轻量的方案，并且辅以文本分类也许可以减少部分人工。

            如果您认为这一想法值得考虑，我会在这几天里把相应代码整理出来。