简单地打通了一下websocket流程. 出乎意料的是, python本身的websocket功能居然比专做api的flask还好用得多.

我感觉最近的工作-尤其是python网络接口和换手机-有点太超出我的舒适区了, 干得比较难受. 但是总归得做的.

这里是切分token的效果, 在前端上应该会很容易做. 相当于是能够实现流式传输的了.

虽然由于项目结构的问题, maica多半是做不到流式传输的(有后处理) 但是接口的泛用性也是有必要的.

进展: 敲完了简单的登录逻辑.

虽然说简单, 但是写起来还是相当麻烦的, 花了我至少两个小时.

简单解释一下maica拟定使用(很可能确实会使用)的服务模式:

• 账号本质上是论坛账号, 直接对接论坛数据库, 同步改动
• 能从论坛读取任何必要的用户信息并用于服务
• 登录不使用账号密码, 在一个指定网页中提交自己的账号信息以注册一个token(令牌).
• 令牌是单向加密的, 只有maica服务器能解密. 当然是用rsa.
• 每一个令牌对应的账号能存储数个session(会话), 每个会话大概都…相当于一条if线吧.
• 每个session存储最多一定字节数的对话历史(可能在4.8万字左右, 大概也就是32k vl模型的检索能力上限)
• maica核心能够"记住"8000token以内的对话内容, 更久远的对话记录交由vl检索呈递(未来可能加入的功能)
• 用户可以选择使用指定的会话和清空会话, 这方面跟openai也差不多.
• 会话, 历史记录, 或者说maica的记忆全部与账号绑定. 任何形式的maica调用都需要校验令牌.
• 会开放完全能力接口, 有可能会开放一部分"组件接口". 你可以通过集成maica组件和你自己的ai/其它供应商的ai, 替代maica的一部分或全部的, 核心或agent模型. 因此, maica的整体构想十分开源友好和开发友好.
• 我们仍在测试开发的早期, 因此尚不能定义maica的使用规则. 如果希望二次开发, 必须仔细阅读(到时候会有的)反滥用准则.
• 账号的任何滥用行为会受到处分.

进展: 通过system向模型传入agent信息被证明为可行, 但其实现方式稍微有点…和想象中不一样.

我需要再次修改一部分引擎的代码, 不过总体来说不算太差的结果.

通过system让模型输出情绪表达字段的尝试失败了, 但我们还有fallback方案. 我会尽快根据实验结果编写接口.

同时, 解析存档的方法也和最开始设想的不一样. 计划赶不上变化是正常的, 总的来说一切都还在设计范围之中.

进展: 写了一个简单的agent驱动. 但是目前因为模型还没练明白, 所以需要等练完再打磨.

agent的大多数使用案例都是独立工作, 通过agent向另一个模型递交信息的尝试十分罕见. 我希望不是因为存在致命问题.

另外的好消息是, qwen1.5系列的模型已经全部支持到32768token了, 所以原计划做辅助检索模型的分支可以砍掉. 再怎么说3.2万字的历史也足够了. 我觉得正常人类记住最近说的3.2万字都有点不太现实了.

训练agent模型需要的时间也相当长. agent模型的int4量化版本已经被证明可以加速运行在48g显存上, 所以接下来就是等了.

在等它的时间我会去装三号机.

还是那个忙死了.

ps: 截图之后我发现search用错成match了, 不用提醒我.

进展: 看上去还不错.

我希望这个线是能用的, 如果不行的话还得花钱去配.

我觉得已经该给它起名字了. 叫密斯特拉怎么样?

这个节点将作为maica多模态能力和agent模型的计算服务器, 以及工作站.

同时还集齐了10个显卡盒子: