进展: qwen1.5-72b在十个ep后的对答效果.
可以看出来有一定的过拟合现象和编造知识存在, 可能temp有点高.
找到一个过拟合的节点对测试调优是有意义的, 后面只需要往回倒一倒就可能找到最佳节点.
此外, 虽然在常识性问题上存在过拟合现象, 但在针对性领域下模型的表现超出预期地人性化. 可能我应该继续进行一些ep来查看进一步的效果. 如果继续提升ep能继续提升模型在角色扮演上的能力, 可能是时候调整数据集了.
我希望尽快着手构建服务与模型对接的基本接口, 然后尽快开始llm agent的构建和调试. 当然需要时间.
同时, 与maica相关的文字转音频(tts)模块也已经开始早期研究与探路. 因为机时实在是不够用, 所以我的实验也需要拖一拖了.
