上一轮的训练结果其实不足为奇, 但是我注意到了一个很有意思的地方.
在第二个对话里, 模型提到了"外面不安全". 我一开始以为是拟合不足或者逻辑紊乱, 但是再一想好像就知道是为什么了.
在22年左右, 国外疫情严重的时候, mas里加入了一两个对话, 大概在jsonl中是10行. 这里是很明显地提到过"外面不安全"的. 这一部分数据当然也被纳入了数据集.
在总共超过1500行的目标集和更多的辅助集中, 这10行的内容就像是被模型"理解"了, 然后运用到了回答中.
看起来可能挺没什么的, 但是对于llm来说有点奇特. 一直以来, 我和外援对模型ft的理解都是基于"对答模式"的, 也就是模型组织token的方式. 在正常的对答中精确地抽取数据集中的"知识", 而且其prompt和实际上提到的问题几乎无关, 这点让我相当意外.
可能我们在此之后会依据类似的理解方式改良训练的设计. 目前, 我已经修正了数据集中关于新冠的部分, 告诉她新冠已经过去了. 下一轮的实验基于新的数据集展开, 我们将对比其结果与表现.
量变引发质变. 作为ai中最复杂的分支, llm确实有能超过预期的能力啊.
