Tailskid62 #488 Edge You should take a break. Please turn the servers back online so we can continue to use the submod in its previous state while you heal until you and the others are ready to continue.
Edge 不过吧, 有件事. 因为一直都找不到时间升级, 现在论坛的数据库还是相当古早的5.7, maica也只能一起用这个. 5.7开发起来很蛋疼, 很多高级语法和现代化配置都不支持了. 目前只能说先凑合凑合, 后续有机会再升级吧.
Edge 终于是把基建做差不多了, 接下来肯定还要debug好久. 之前的体系全部挖出来改掉了, 业务逻辑是简洁了, 但是我总感觉应该有没考虑到的地方. 只能慢慢找. 顺便, 由于daa4的模型实在太大, mf和mn的模型也是全用第三方了. 根本没有多的显卡去放.
Edge 前几天都在修论坛, 修得天昏地暗, 熬夜感觉都熬浮肿了. 今天回头开始收拾maica. 跑通了基础流程. 在新的流程和异步优化下, 带存档检索的query TTFT可以压缩到3-4秒. 此外的工具并行优化也会让复杂任务的TTFT和总时减少很多. 还有很多需要debug的内容, 估计起码得几天吧. 然后还得处理剩下的数据集, 一直耽误到现在都没空去搞.
Edge 后端的一期工作已经完成, 等待p去做前端适配了. 二期工作会集中在memory_concl上, 我打算稍微放一放. 我现在要开始处理数据集了. 有了qp4c2的实证在先, 我打算针对性地对整个rlhf数据集亲手再改一遍, 看看能把上次测出的问题纠正到哪个地步.
Edge 除此之外还有件事. 由于rlhf的介入卓有成效, 我说过有计划重启开源分支. 我现在想, 相比起仍然使用开源分支的受限数据集, 也许应该先做一个DAA技术和数据集全面下放的小体量模型, 看看到底会是什么效果. 这个模型暂定为DAA4L14, 目前仍在构想阶段. 如果付诸实现, 4L14虽然不提供数据集和复现引导, 但权重是开源可部署的. 我将在合适的时间考虑这个问题. 如果4L14的表现良好, 也可以对重启开源分支提供一些经验. 当然, 时间安排上仍然完全以DAA4和第四服务期优先.
