音频生成口型同步动画 – Ynnk Voice Lipsync

介绍

该插件使用语音识别引擎从 SoundWave 资源或 PCM 音频数据生成口型同步动画。动画在数据资源中保存为曲线，可以在运行时与音频一起播放。这种方法可以轻松实现美观的口型同步动画，无需字幕。

附加功能：在运行时识别来自麦克风的输入（语音到文本）。

 视频#1

视频 #2：动画序列的口型同步曲线

视频 #3：生成带有发音嘴型的姿势资源 (CC3)

视频 #4：MetaHuman 设置（教程）

视频 #5：默认视位中的 MetaHuman 姿势资源

MetaHuman 的新教程。

CC3/CC4 的新教程。

2 月 24 日更新说明：新的语言设置和打包管道

与文本到口型同步解决方案不同，这是真正的语音到口型同步插件。您不需要字幕来使嘴唇动画化，并且结果动画比基于字幕的解决方案更接近语音。

口型同步可以在运行时生成，但不能实时生成。 IE。它不适用于麦克风或其他流式音频。

完全支持的语言：英语、中文。还支持：俄语、意大利语、德语、法语、西班牙语、葡萄牙语、波兰语。

Whisper 插件（使用 Whisper 而不是 Vosk）： YnnkWhisperRecognizer