本人在试图部署MAICA时遇到了一些困难，不知道有没有在这个问题上有经验的人能够帮我一把。

核心问题，我租的是32GB VRAM的vGPU，但在试图部署7B模型时发现只能以FP16且限制对话块大小的方式勉强运行，导致的代价是：1、回答无逻辑，前后文能力为负。2、回答不完整。所以怎么让这运行的好些？如果需要增加显存，至少需要多少？（“至少”指能以FP32运行)

另：MAICA是否对CUDA有较强的依赖？

非常感谢愿意回答这个问题的每一个人。

#2 Edge 非常感谢您的支持。

#2 Edge 还有一个问题，我昨天晚上在部署时发现输入输出无关，且输出内容没法正常解释。有什么特殊需要吗？非常感谢

#5 Edge 非常感谢

这显得我有点fw，但是我的脑子快转不过来了。

这有点偷懒，但是有没有人有一套比较好的方法论来在本地部署MAICA？（非MAS方案）。非常感谢，这两天差点秃了。

#9 Edge 也许是我不行，我昨晚研究了几个小时文档（后端开发），对付如山的问题，甚至（我对此感到极度抱歉，但我当时无能为力）替换了search_engines（因为我搞不到Bing API(SB微软要我VISA/万事达信用卡，我上哪找去？），Google API我当时没力气折腾了）换成百度Python包，最后OpenAI接口打倒了我（就算我翻出去有什么用呢？我用的是云GPU）真是遭罪，轻喷，谢谢。

#11 Edge 非常抱歉，我很感谢您的建议，但我是个幼稚的幻想家，别对我的技术有什么期望。