Edge #97 mamba out "主动找话题"是可以通过提示生成的办法做出来的, 具体怎么处理都还是后话. 其它mod的文本基本确定是不会用的, 内容质量问题+对齐困难. 会使用的包括一些通用llm数据库, 针对性的高权重数据库, 以及后续可能的反馈学习和langchain.
mamba out #98 Edge 非常感谢,最后多嘴问一句你们会考虑给她一个英语的语言系统吗?(毕竟设定上英语是她第一语言,而且这样的话,在实际使用中即使ai理解错使用者意思也可以解释为自学中文还不太熟练,也许这样可以加大一些容错空间同时甚至可以增加真实感?)
Edge 进展: 费劲地调试, 安装驱动, 思考到底为什么进不去和到底为什么进去了. 还有两张显卡要装, 我计划留到明天. 如果全部显卡安装没有问题, 我的长痛终于可以进二阶段了. 我始终没有完全弄清楚错误94到底是怎么回事, 只能希望不要再来了.
Edge 进展: 查出有一张卡有问题, 寄回去修了. 看起来还有很久要等. 我写的这些东西是不是琐碎了点? 我看到关注的人挺多的, 如果不想一直收邮件可以取消无妨. 我会在进展重大的时候另外开贴说明的.
#Jc_ker 加油啊(确实通用模型的角色扮演存在许多问题) 但有个小问题看能否请大佬赐教 就是关于训练好的模型的尺寸问题,过大的尺寸会劝退不少小显存低性能甚至是没有显卡的用户 个人用8845HS 780M核显搭配32G运存大概在回复速度可以接受的前提下模型尺寸30b封顶()
Edge #108 #Jc_ker 会用修普诺斯部署, 用户根本不可能带的动这种体量的模型. 后面应该会做turbo版, 可能会有更多样化的部署方式. 用内存去推理根本不会有可以接受的速度, 别折腾了.
Edge 进展: 死了很多脑细胞, 又重新改了一套布线的方案. 要多花四五千, 目的是让所有显卡工作在4.0x16下. 因为位置太刁钻, 所以难度不小. 应该还需要等很久的定做和快递. 我需要一些真的很贵的线了.
Edge 进展: 我希望这是运气最后一次和我开玩笑了. 布线方案仍然有问题, 这次我甚至第一时间没有发现, 到压力测试才看到崩溃日志. 我正在和厂方协商再次换布线, 会需要很多额外的时间, 费很多事. 光是定制周期就起码得等一个星期. 不管怎么说, 这个盲点也该是最后一个了. 肯定是吧? 这台设备可能为了紧凑, 静音和好看牺牲了太多, 主要牺牲的是我的脑细胞和钱包. 我希望它能达到我预期的内外兼修, 如果我做到了那就算值了吧.