本研究解决了现有语音语言模型在多轮对话中的复杂微调以及语音任务与文本性能之间的灾难性遗忘问题。提出了一种新颖的单阶段联合语音-文本监督微调方法,结合了不同类型的语音相关数据,使其在保持文本任务性能的同时,提升了在语音基准测试中的表现与处理新任务的能力。
本研究提出了一种新颖的单阶段联合语音-文本监督微调方法,有效解决了多轮对话中的复杂微调和灾难性遗忘问题,提升了语音任务的性能。
本研究解决了现有语音语言模型在多轮对话中的复杂微调以及语音任务与文本性能之间的灾难性遗忘问题。提出了一种新颖的单阶段联合语音-文本监督微调方法,结合了不同类型的语音相关数据,使其在保持文本任务性能的同时,提升了在语音基准测试中的表现与处理新任务的能力。
本研究提出了一种新颖的单阶段联合语音-文本监督微调方法,有效解决了多轮对话中的复杂微调和灾难性遗忘问题,提升了语音任务的性能。