- #359
#358 Edge 所以MAS不好打中文的问题未来会计划解决吗?我感觉如果这个不解决MAICA的中文优势会大打折扣啊……
#358 Edge 所以MAS不好打中文的问题未来会计划解决吗?我感觉如果这个不解决MAICA的中文优势会大打折扣啊……
#359 Johnshixinqiu 我觉得只能等官方更新到renpy8了.
maica的前端是可以二次开发的, 如果你有好的建议也可以提pr.
#362 loinua 不知道, 很可能在开学左右吧.
我也要忙返校的事情了, 但是设备还在路上. 只能看着挤时间了.
LIA模型的新迭代已经上传, Beta2将很快开始.
这个迭代的模型感觉是欠拟合的, 是微调的层不够吗?
我至少需要再测试一次确定最佳的训练层是哪些.
简单查了下资料, 只微调qkv对maica的任务显然是不够的.
下一次迭代我会尝试qkvo和all-linear, 确定一下到底哪种方案最合适.
目前的数据集倒是已经挺完善了, 除了水可以少兑点.
非大陆用户真的完全无法使用吗
#367 Ducklyfish 目前并没有, 但是不提供任何保证, tos里面有写.
也就是说你可以用, 但如果遇到了安全问题可能会被停用而不提供理由.
思路不太对. 对mlp的训练好像很容易导致连续对话混乱, 原因尚不清楚.
我会增大抗过拟合再试一次. 如果还是不行就指望qkvo了.
训练还在继续, 练完会很慢, 但是明天至少验收一次试试看.
抗过拟合的训练参数有一定的效果. 我希望至少有一个比之前好的表现.
我说实话, 这是在时间和投入上都看不到头的持久战. 如果你之前想过而没去做, 那你应该比我聪明点.
有一个数据集有问题. 只能调整配比再重开一次. 希望时间还够.
对于单角色训练的抗遗忘, 我建议避雷ms-agent-multirole和chat_haruki这种玩意. 质量太差了.
加油,大佬
从后端总线排除了一个关键问题. 至少现在有一份能正常用的节点了.
我希望b3明天就能开始, 运气好的话.
模型基本还好, 但DAA仍然需要往后排. 我后面会继续抽时间找训练的最佳方案.