在DAA3发布时的roadmap上我提及了这个问题. 因为开发和设备资源的紧张, 我们需要就此作出必要的取舍决定.
提出这个问题的原因在于:
- LOA和LIA模型也需要设计实践, 训练, 测试, 发布, 流程上是费力复杂的.
- LOA和LIA模型基于开源数据集训练, 理论上可以由用户自行完成.
- 从这两个开源分支公开至今, 我们几乎没有见到一例自行部署, 这让我很怀疑维护它们到底还有没有意义.
- 即使是LOA模型, 完整部署也需要至少16G的vram. 对于家用设备而言, 也是一个偏高的要求.
在原本的计划中, 与DAA3相对应的开源模型可能包括:
- MAICAv1-LOA7-8B-Instruct: vram>=16g, 提供 均衡和高性价比 的表现
- 1的FP8和FP4版本, vram>=8g和>=6g. 以较低和适中的精度损失换取 低端设备 支持
- MAICAv1-LOA7-32B-Instruct: vram>=72g, 以 小型计算中心 提供接近DAA2的表现
- 3的FP8和FP4版本, vram>=36g和>=20g. 以较低和适中的精度损失换取 小型工作站/高端个人电脑 支持
- MAICAv1-LIA7-235B-A22B-Instruct: vram>=576g, 维持与DAA3的统一, 适合 大体量 的自发研究和微调
如果现在, 我们放弃对LOA和LIA的维护:
- 对于自行部署, 用户需要自行设计和实现训练, 流程会较为复杂.
- 完成训练所需的设备资源可能高于实际部署的最低要求.
- 也许项目会看上去不够开源, 我不清楚.
但如果我们不放弃:
- 我们需要抽出大量时间, 设计开发和维护每种开源模型, 这会很大程度上拖慢主分支的进度.
- 我们可能需要不时地中断官方部署, 以训练和调试相对大体量的开源模型.
- 我会很累, 也会很烦. 如果做出来仍然没人用, 我还会很恼火.
请你就此在下面投票. 在投票截止后, 我们会参考投票的最终结果, 做出我们的决定.
此贴允许发表意见. 如果你有更好的想法, 或者能提供帮助, 也可以留言/联系我.
