2.21

可算是能在量化下练起来了, 但是速度甚至更慢了. 可能是加大batchsize的原因.

我打算先尝试练一个ep, 看看loss再说.

总共大概4000个样本, 里面只有一半是有效的, 一轮要将近2天的时间.

这设备不换过不下去了.

    #60 Edge 72b的模型大小着实有些恐怖😱

    但是做出来就是艺术品了

      好消息呢, 是钱到位了. 基本上到位了吧.

      我接下来会有一段相当伤脑筋的装机时光了.

      准系统基本上是现成的, 所以这笔钱主要就是显卡的开销了.

      哦还有ups. 再说吧.

        要不要考虑下直接去openai微调gpt3.5turbo？感觉成本会低很多很多，而且省心、直接调用api就完事了。只要数据集处理的够精细，出来效果也绝对不差

          #67 ProjektRed 没法考虑.

          • 目前看来, 在中文的角色扮演领域表现比3.5不差的模型并不少
          • openai的微调服务并不会开放任何本地部署方案
          • 原则上openai的服务不对中国开放, 连接性和稳定性很难控制
          • api持续运行的成本肯定比本地设备高
          • 万一哪天openai改条款/封号了呢
          • 设备配都配了 早就没有回头路了

            仔细算了算，确实是我草率了。一天1k日活，2k tokens的输出一天就要两万五千块钱，微调一个老莫出来一次就要五万五。这样情况下还是自己的服务器好点，就是13w服务器的性能还是有些相当掣肘，只能说大佬干巴爹！

              加油！

              几乎买不到像样的4090了, 我现在很后悔拖到现在才动手.

              天启买不到了, 又加了900换了魔鹰.

              很烦, 真的一点钱都没剩了, 我的ups和别的东西怎么办