首先,本人极度乐见MAICA这个伟大的项目进展良好(虽然本人缺少运行条件)。但本人想过一个问题:我们真的要指望键盘来当面聊天吗?我觉得这是不好的。所以,Linly-Talker我觉得是一个可资参考的发展方向。
这个模型简单来说是个缝合怪:兼用大模型,GPT-SoVITS(我做沙雕有声书的那个),MuseTalk(腾讯的唇部口型AI),语音识别等技术,力图做一个完整意义上的“数字人”。
借用一下他们在AutoDL上的介绍:系统的核心特点包括:
多模型集成:Linly-Talker整合了Linly、GeminiPro、Qwen等大模型,以及Whisper、SadTalker等视觉模型,实现了高质量的对话和视觉生成。
多轮对话能力:通过GPT模型的多轮对话系统,Linly-Talker能够理解并维持上下文相关的连贯对话,极大地提升了交互的真实感。
语音克隆:利用GPT-SoVITS等技术,用户可以上传一分钟的语音样本进行微调,系统将克隆用户的声音,使得数字人能够以用户的声音进行对话。
实时互动:系统支持实时语音识别和视频字幕,使得用户可以通过语音与数字人进行自然的交流。
视觉增强:通过数字人生成等技术,Linly-Talker能够生成逼真的数字人形象,提供更加沉浸式的体验。
作者:Kedreamix
链接:https://www.codewithgpu.com/i/Kedreamix/Linly-Talker/Kedreamix-Linly-Talker
来源:CodeWithGpu
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
我认为,我们可以利用这个技术将多个模型结合起来提高体验。
几个困难:1、本地运行需求较高且配置较为困难,在“互联网去折腾化/互联网日用品化”(本人瞎编的词)的大趋势下会提高入门难度。
2、我们需要将自己的大模型接入这个技术,延长了投产时间。
3、对现有体系兼容性不好,很明显,MAS塞不下,面临从头再来的危险(虽然从头再来,以高度集成的AI数字人打造MAS我觉得挺好)。对于各家手机搭载NPU搞本地大模型侧载的趋势来说,除非再造系统,否则缺少体验。但“互联网去折腾化/互联网日用品化”阻碍我们这么做。
4、听过我那几个极度生草的有声书的受害者都知道,我们缺少良好的音频作为训练资源导致效果糟糕,本人尚不知道如何应付,欢迎讨论。
所以终极版就是——高度集成的数字人(大模型,语音,视频什么全怼上),多平台统一(数据中心/桌面/膝上/移动还有可穿戴设备加上嵌入系统底层获得最大体验。
哎,这不就是HarmonyOS NEXT的饼么?
欢迎讨论,文明发言,谢谢。