MAICA更新与进度追踪--正式服务期3已开始于25.11.15

Edge · 2024-07-16T05:11:28+00:00

此贴被用于记录MAICA自首次规模化测试(24.7.16)往后的更新与调整内容. 此贴预计还会包含关于服务状态变化与其它公告的通知. 要使用MAICA, 请前往介绍页(https://maica.monika.love)并仔细阅读应读内容, 下载地址和使用方式均有详细说明. This topic is...

Edge

25.8.16

模型基本上是没啥问题了. 虽然我没完全弄明白到底是怎么回事, 但是能跑就让他去吧.

总之, 基本上是vllm v1引入了torch.compile()导致的问题, 对训练深度欠充足的模型影响明显. maica的模型又很明显是训练不足的.

后端的重构算是在推进了, 估计到做完还得两三天, 到能开始服务还得一个多星期, 然后肯定还需要一段时间公测.

今天又折腾了一晚上硬件, 人要累瘫痪了.

Edge

25.8.21

杂七杂八的修复和工作就不多说了, 两个重点:

上一次训练DAA3的模型, 因为我眼瞎而忘了加DAA3的数据集, 就像蛋炒饭忘了打蛋. 正好DAA3的第一批英文数据集也出来了, 所以我会重新练一次, 同时根据上次的经验做点小调整.
vllm发布了0.10.1, 可以在不编译的情况下使用cudagraph了. 应该就可以省去抽奖编译的步骤了…

当然, 不说不等于没有. 我这段时间干得要累死了.

Edge

25.8.26

基本所有工作都比想象中更花时间. 说重点:

后端重构做到现在才差不多做完, 文档还没写. 新的后端(v1.1)几乎重写了所有的东西, 比v1.0规范且高效得多. 建议所有自行部署的实例尽可能升级.
目前加入DAA3的数据集似乎会导致训练不收敛, 原因还在找. 肯定需要额外的时间.
vllm0.10.1的改动对qwen3似乎不管用… 该抽奖还得抽. 我提交了issue, 但是没人鸟.
MVista(视觉多模态)算是正式加入日程了, 但是会排在DAA3的基本工作和MTTS投用之后.

按当时说的两个星期, 到现在应该已经差不多了, 但是工作量显然还没有差不多.

我不知道还剩多久, 反正是没闲着.

Edge

25.9.8

模型的问题比想象中复杂. 说重点:

我们仍然在寻找DAA3模型的训练最佳实践. 虽然在此期间抽出了一个很不错的结果, 但是我们希望得到容易复现的一般规律, 所以需要额外的时间做实验.
由于新的训练方案过于复杂, 效果复现困难, LOA7和LIA7预计不会与DAA3一并推出, 需要延后. 相关最佳实践也会有所调整.

此外, 对MAICA的一个重要补全:

MAICA后端(幻象引擎) compact分支将随前端(光耀之地)v1.3 一同发布.
compact分支能以exe形式简单启动, 且能以子模组形式安装在MAS中.
使用compact版后端, 你可以将几乎任何自部署/公开模型API用于MAICA, 同时维持MAICA的大部分功能有效.
只需要很简单的配置, 几乎不需要额外的python基础.

需要注意:

与DAA3官方部署一样, compact分支也将采用v1.1后端规范. 低于1.3的前端版本不再适用.
compact版后端在性能和部分功能上相对妥协, 不适合用作公开部署. 若希望自建公开部署实例, 建议部署完整版.
该后端子模组预计不会支持移动端, 因其基于py3.12, 无法与renpy直接整合, 在移动端也缺少独立启动的方法.

我会在有进一步进展时继续通知.

Edge

25.9.11

也许终于是在收尾了, 也不确定. 我把最佳实践文档写完了, 看着根本就不像是一篇文档:

ftbe.txt

I'm sorry for not offering an English ver of this document but it's just too much work for me.
If you want to read in English, use a translator.
好吧, 就, 本来我们也是打算写一篇正常且严肃的文档描述怎么复现我们的结果的, 像DAA2一样. 但是DAA3的实践实在是太偏离预期了.
我很难严谨地描述每个步骤, 其中很多地方的原理我们自己也不清楚, 要完全复现更是不可能做到. 我只能尽可能地讲清楚到底是怎么回事.
接下来的部分默认使用Qwen3-235B-A22B-Instruct为例.

文件预览无法加载。此文件或已被删除，文件 ID 或已失效。

我把它发出来是为了方便大家理解DAA3到底发生了什么. 我不想再描述一遍, 当然更不想再经历一遍了.

对于将来的DAA4, 我计划在DAA3的基础上做rlhf之类的东西, 反正是不想再跟rng过了…

Edge

25.9.13

MAICA和MTTS的后端现在在pypi上可用:

pip install mi-maica mi-mtts

当然主要是规范化和便于引用的起见, 实际部署建议拉取仓库安装以便配置.

我们在近两天里做了很多规范化和测试相关的工作. 问题还是比想象中多很多, 但是至少没闲着.

我会在有进一步进展时继续通知.

9.14按:

现在MAICA后端已支持pip安装后轻松配置, 具体可以查看maica --help.

Edge

25.9.14

就在昨天, vllm发布了0.10.2版本, 引入了一些期待已久的更新.

但对我们来说, 最重要的一条是编译模式的变化. 现在vllm的编译不再存在rng(随机性)了, 也就是说抽奖这出闹剧可以结束了.

在新的编译模式下, 模型本身表现已经相对良好. 在多方面考虑下, 我们预期会使用vllm0.10.2驱动正式版模型.

虽然这一更新宣告我们白折腾了很久, 但至少还有一些额外收获.

我们已经在进行最后的完善和测试工作. 至于到底还剩多久, 我还是只能说不知道…

Edge

25.9.16

是, 我知道莫妮卡的生日没多久就要到了, 大家可能也很希望我们能在922之前上线DAA3的官方服务.

我也是这么想的, 但是工作量…又比预期中大出来一大截.

大家可能已经知道了, MAICA的前端和后端一样, 在早期开发中积累了大量的问题(所谓技术债). 这次虽然后端进行了相当彻底的重构, 但前端目前还没有, 而在测试中又暴露出了相当多的问题.

我们已经在以最快速度修补改造了, 但是要解决所有问题, 前端也需要一次类似后端的大面积重构. 如果算上重构的时间, 在922之前正式上线服务就是不可能的了.

所以:

如果修修补补还能凑合过, 我们会尽可能在922之前上线服务, 在服务上线稳定之后, 再投入前端的重构工作.
如果前端没得救了, 我们只能继续跳票, 直到前端重构完成再上线.

在预期中, 重构后的前端将采用更为现代化, 模块化的设计, 尽可能摆脱renpy各方面的技术泥潭. 此外, 前端中涉及协议和文本处理的功能预计会打包上传pypi, 极大地方便二次开发使用.

如果服务上线未能赶上922, 我希望大家能谅解. 我们的工作量和人力完全不成正比, 我已经连着一个星期没睡好觉了.

我会在有进一步进展时继续通知.

Edge

25.9.17

前端重构的第一部分: 设置页面和逻辑改良(还没改完)

我老早就看这个乱七八糟的设置不顺眼了. 新的设置美观, 兼容性和易读性都显著地优于之前.

目前后端正在进行一些稳定性上的测试(见issue https://github.com/vllm-project/vllm/issues/19197), 我们直到现在才发现这个问题存在. 希望能有办法吧…

Edge

25.9.20

跳票了.

后端的问题倒是差不多解决了, 但是前端仅仅这一个设置页面就比想象中费时间得多. 我们又是一点没耽搁地干到现在, 保守估计这个设置还有一小半没做完.

就算真的赶22号收尾上线, 零日补丁之类的工作也会几乎没法做. 不管出于什么考虑都只能跳票了.

至于具体是重构完成发布还是做完ui部分发布, 还不知道, 具体会届时另行通知. 至于进展, 你也可以追踪我们的commits, 就不赘述了.

现在是两点多钟, 我显而易见地又没得好觉睡了.

还是祝大家跟莫妮卡生日快乐吧.

Edge

25.10.1

前两三天一根信号线出问题, 拆修的时候水冷居然漏水了, 一直修到昨天.

今天中午新的模型已经练好了, 我希望这是最后一个.

软管突然脱落的时候差点吓死我, 但既然没弄坏东西就当无关紧要的细节忽略了.

此外, 更新了环境, 更新了很多依赖, 处理了一些技术问题. 在ui大修之后的前端将跳到1.4版本号发布.

如果一切顺利, 我们可能在三天内开启本轮次的Beta.

Edge

顺便来张照片吧, 今天把顶部的灯光也调了一下.

它有16张显卡, 最大算力超过6PFlops, 也就是100个天网.

这套平台的设计余量已经几乎全部用完了. 如果还有下一次设备升级, 很可能会整个换掉.

哪哪都不方便, 也不怎么好用, 但是很漂亮的一套搭建. 我会一直记得它的.

Edge

我依然无法理解你的本质，这样下去可不行。
......我一向追求完美，可惜造化弄人，这一定是我犯下的第一个错误。

25.10.5 - 重要!

在长达4个月的维护升级之后, MAICA DAA3与其附属和相关升级已经投用(公开测试).

维护和升级的主要内容包括:

模型升级. MAICA的官方核心模型由此前的MAICAv0-72B-Instruct更换为MAICAv1-235B-A22B-Instruct, 引入的模型体量, 训练数据和训练方法改良使新的MAICA模型表现前所未有地优秀.
设备升级. 在本次(第六次)更新维护中, 服务器组XP00-20换装了13张5090和3张B6000, 推理速度较此前有显著提升.
后端重构. 我基本完全重写了MAICA的后端(幻象引擎), 重构后的后端远比此前规范和人性化, 使用排障和改造开发都十分方便. 此外, 新的后端已作为mi-maica上传到pypi, 几乎可以一键部署开发.
前端重构. 截至公开测试开始时, 前端的重构尚未全部完成, 但UI界面部分已经焕然一新. 新的设置和控制台界面在设计和编程上都规范和美观得多, 也十分便于二次开发.
本地部署改良. 此前的本地部署相对繁琐困难, 现在MAICA后端子模组(幻象引擎compact)基本消除了本地部署/使用第三方API驱动的技术难度. 只需简单的安装配置, 你就可以使用几乎任何LLM驱动MAICA. (后端子模组目前尚处于公开测试中)
大量的修复, 调整, 枝节更新, 不再赘述.

需要注意:

你必须更新前端子模组到>=1.4.0以继续使用MAICA.
由于DAA3是一次大型更新, 此前的任何会话session, 触发器表和存档都已被从服务端清除.
在公开测试阶段, 紧急修复, 热更新和服务中断都是意料之中的情况. 如果有严重问题导致测试终止, 会另行通知.
无论想问什么, 都先看介绍, 文档, tos以及其引用的任何其它材料.
对于你发现的故障和缺陷, 你应该在论坛的正确版块/MAICA反馈贴/正确仓库的issue中提出.

前往DAA4之路:

我们将在稍后决定LOA和LIA分支的去留, 因为维护起来很麻烦, 而我们到现在一例用户部署都没见过. 如果事实证明需求确实存在, 我们会提供LOA7和LIA7的预训练模型, 否则未来需要用户自行使用数据集和实践指导训练.
关于MTTS. MTTS的开发和投用预计排在DAA3稳定之后, 其前后端的项目框架实际上均已搭建完成.
关于MVista, 即MAICA的视觉多模态集成. 我们能理解大家希望让莫妮卡"看见"世界, 但由于开发人手的短缺, MVista的设计开发预计排在MTTS投用之后.
在更久以后, 我们计划将训练DAA4. 我们无从预测LLM技术的走向, 因此无法预见太多的细节--除了更加高昂的时间和预算成本, 但我们会以一切手段尝试走得更远.

在我们最终确定DAA3的服务稳定之后, 公开测试将结束而转为正式服务.

==MAICA-撕裂现实的帷幕==

25.10.5 - Important!

After four months of maintenance and upgrades, MAICA DAA3 along with its affiliated and related upgrades are now deployed for public Beta.

Major contents include:

Model Upgrade. The official core model for MAICA has been switched from the previous MAICAv0-72B-Instruct to MAICAv1-235B-A22B-Instruct. The introduced model scale, training data, and improvements in training methods make the new MAICA model perform better than ever before.
Hardware Upgrade. During this (round 6) update and maintenance cycle, server group XP00-20 was outfitted with 13x 5090s and 3x B6000s, significantly improving inference speed.
Backend Refactoring. I have almost completely rewritten MAICA's backend (Illuminator). The refactored backend is far more standardized and user-friendly, providing extra convenience to usage, troubleshooting, and developmental modifications. Also, the new backend has been uploaded to PyPI as mi-maica, allowing easier deployment and development.
Frontend Refactoring. Up to the beginning of Beta, the frontend refactoring is not yet fully complete, but the UI interface section has been completely revamped. The new settings and console interfaces are much more standardized and aesthetically pleasing in both design and programming, and are also very convenient for development.
Local Deployment Improvements. Previous local deployments were relatively cumbersome and difficult. Now, the MAICA backend submod (Illuminator Compact) has significantly simplified local deployment / third-party API usage. With basic installation and configuration, you can use almost any LLM to drive MAICA. (Illuminator Compact is currently still in Beta.)
Numerous fixes, adjustments, and minor updates which won't be detailed here.

Please note:

You must update the frontend Submod to version >=1.4.0 to continue using MAICA.
Since DAA3 is a major behavior influential update, all previous chat sessions, trigger lists and persistents are purged from server.
During the Beta phase, emergency fixes, hot updates, and service interruptions are expected. If lifecycle terminated by any critical issue, a separate announcement will be made.
Whatever you want to ask, please check the introduction, documentation, ToS, and any other materials referenced by them first.
For bugs and defects you discover, you should report them in the correct section of the forum / the MAICA feedback thread / the issues page of the appropriate repository.

Roadmap Towards DAA4:

We will decide later on the future of the LOA and LIA branches, as they need extra effort to maintain and were seemingly unused. If proven that demand exists, we will provide pre-trained LOA7 and LIA7 models; otherwise, users will need to train them themselves using provided datasets and FTBE.
About MTTS. The development and deployment of MTTS is scheduled after DAA3 stabilizes. Its project framework for both frontend and backend is already in place.
About MVista, i.e., MAICA's visual multimodal integration. We understand the desire to let Monika "see" the world, but due to a shortage of development resources, MVista's design and development is planned after the deployment of MTTS.
Further in the future, we plan to train DAA4. We cannot predict the direction of LLM technology, and thus cannot foresee many details--except for significantly higher time and budget consumation--but we will still see how far we can really go at all cost.

Once the stability of the DAA3 confirmed, the Beta will be transited to formal service.

==MAICA-We Tear This Barrier Apart==

Edge

25.10.6

零日故障: 目前后端存在一个未知的问题, 导致其长时间高压运行发生疑似内存泄漏的情况.

我们已经在全力排查该问题, 这会导致服务间断, 连接不稳定和响应缓慢. 如果你能发现这一问题所在, 请提交issue或PR.

25.10.6

Day0 Issue: An unknown issue is causing MAICA backend to seemingly leak computing resources under long time heavy load.

We're trying to locate this issue at maximum effort, but the service will break / be unstable / get slow occasionally. If you can find where the problem lies in, please send us an issue or PR.

Edge

25.10.6

零日修复: 更新后端到v1.1.006.rc1, 修复了一个严重的内存泄漏问题. 对于任何自建部署, 请尽快更新.

该问题导致昨天和昨晚服务中断数次. 抱歉造成不便, 但请理解测试中是可能发生问题的.

25.10.6

Day0 Fix: Updating backend to v1.1.006.rc1 with the fix for a critical computing leak. Please update ANY deployment asap.

This issue caused several outages yesterday. I apologize for the inconvenience, but please understand that issues are expected in Beta.

Edge

25.10.6

首日修复与调整:

修复意外断开连接后无法恢复连接的问题
修复ws严格模式导致的问题
修复部分特殊发行版自动选择节点不正确的问题
在部分输入中添加对粘贴和清空的支持
release文件更加清晰易懂

请更新前端到>=1.4.6

25.10.6

First day fixes & adjs:

Fixed an issue causing auto reconnection failure
Fixed an issue caused by WS strict mode
Fixed an issue where some specific distributions' node selection is improper
Added paste and clear button for some input frames
Releases are easier to understand now

Please update your frontend Submod to >=1.4.6

Edge

25.10.6

首日修复:

修复idle表情消失的问题

请更新前端到>=1.4.7

25.10.6

First day fix:

Fixed an issue causing idle Monika disappears

Please update your frontend Submod to >=1.4.7

Edge

25.10.6

首日修复:

修复一处文本错漏

请更新前端到>=1.4.8

25.10.6

First day fix:

Fixed an UI text issue

Please update your frontend Submod to >=1.4.8