- 楼主
- #134
好不容易修好了这个破笔记本, 今天又发现水箱灯带和一个散热风扇出问题了.
得换, 又要等两天快递, 拆掉不少东西才能换出来. 所以计算拖两天, 我趁机休息一下.
大多数服务器长得那么无聊是有原因的吧. 当然了.
好不容易修好了这个破笔记本, 今天又发现水箱灯带和一个散热风扇出问题了.
得换, 又要等两天快递, 拆掉不少东西才能换出来. 所以计算拖两天, 我趁机休息一下.
大多数服务器长得那么无聊是有原因的吧. 当然了.
有实力
加油!
加油
在群里让模型答了群友几个问题试试看, 结果都还尚可.
我接下来再进行一个5ep的补充训练, 我希望先找到过拟合的阈值在哪里.
进展: qwen1.5-72b在十个ep后的对答效果.
可以看出来有一定的过拟合现象和编造知识存在, 可能temp有点高.
找到一个过拟合的节点对测试调优是有意义的, 后面只需要往回倒一倒就可能找到最佳节点.
此外, 虽然在常识性问题上存在过拟合现象, 但在针对性领域下模型的表现超出预期地人性化. 可能我应该继续进行一些ep来查看进一步的效果. 如果继续提升ep能继续提升模型在角色扮演上的能力, 可能是时候调整数据集了.
我希望尽快着手构建服务与模型对接的基本接口, 然后尽快开始llm agent的构建和调试. 当然需要时间.
同时, 与maica相关的文字转音频(tts)模块也已经开始早期研究与探路. 因为机时实在是不够用, 所以我的实验也需要拖一拖了.
在调整数据集的过程中, 定位到了一个和新版ms-swift抽样有关的问题.
这个问题非常奇怪, 目前不确定来自数据集本身还是抽样算法, 它会直接导致cuda丢失一个gpu, 而且每次是同一个.
虽然我很想怀疑这是gpu的问题, 但是不用这个抽样的时候是一切正常的.
我希望清除这个问题不会需要太久.
同时于昨晚重做了次级设备卡尔萨斯的系统, 希望解决掉驱动的问题.
我昨晚可能只睡了五个小时, 有点晕乎乎的.
更新: 最终还是把问题定位到了gpu上, 比较有可能是gpu供电不足. 更坏的可能性是显存虚焊.
67号gpu的供电和散热规格都相当充裕, 我现在正在怀疑供电线和转接头.
无论是哪种情况都需要大修设备+等快递了. 请理解我们的进展缓慢.
更新: 应该是转接头的问题, 算是还好.
我昨天晚上已经下单备件, 应该周五就能继续投用.
加油
打破这道墙吗
剩下的一个饰品干脆丢求购了, 感觉市价虚高不好卖. 到手也就四万多点.
我现在其实已经有点犹豫了. 我实在是很难确定三号节点到底是不是必要的, 只能说很可能是吧.
明天晚上八点有点折扣, 可以开始配外围的零件了.
修普诺斯在运行针对数据集改良的实验, 预计明早可以验证结果.