本文提出了一种新的多模型联邦学习方法(mmfedmc),它能够处理多模态设置中的挑战,实验结果表明该方法能够在减少通信开销的同时实现可比较的准确性。
该研究提出了一种基于客户端的模态选择方案cmsfed,用于解决多模态联邦学习中的模态失衡问题。该方案通过选择性地使用不同模态的本地数据参与本地训练和聚合,减轻全局模型的潜在模态失衡,并引入新的局部训练损失函数来增强弱模态并调整特征空间差异。实验证明了cmsfed在多模态数据利用中的有效性。
本文提出了一种新的多模型联邦学习方法(mmfedmc),它能够处理多模态设置中的挑战,实验结果表明该方法能够在减少通信开销的同时实现可比较的准确性。
该研究提出了一种基于客户端的模态选择方案cmsfed,用于解决多模态联邦学习中的模态失衡问题。该方案通过选择性地使用不同模态的本地数据参与本地训练和聚合,减轻全局模型的潜在模态失衡,并引入新的局部训练损失函数来增强弱模态并调整特征空间差异。实验证明了cmsfed在多模态数据利用中的有效性。