8天67t9 如题,刚刚翻到这么一个app: 简单来说,它使用一种新的模型运行方式(大概?)从而提升性能,并且它支持自行导入模型。 所以说我准备试试体量最小的8b 能不能在上面运行(手机是小米14 Pro,同芯片的14U APP官方测试可以支持qwen 3 vl 8b 不过今天太晚了,明后天试试
8天67t9 今天腾出空测试了 然后有两个坏消息 1.它导入模型需要直接访问data/data目录,不过有个adb命令可用,虽然不确定到底需不需要root就是了 2.它的模型是mnn格式,maica的模型需要转格式才行 也不知道能不能转成功,明天开电脑试试吧
8天67t9 我服了 什么叫刚装好anaconda3再用conda都说command not found 什么又叫venv需要额外的包但是apt安装不了 windows下干脆cmake都炸了 搞个转换真麻烦
8天67t9 好消息:朋友帮忙转换好了 坏消息:忘记量化了,只有FP16的版本现在 等我这星期考完试再看看能不能想办法做出来int4版本吧 md之前转onnx照着教程一步步走还是会出奇怪的错误,好烦,只希望之后不要再出这种问题了…