本研究解决了在联邦多模态学习中资源分配不均的问题。我们提出的flexmod方法根据模态的重要性和训练需求自适应分配训练资源，从而提高计算效率。实验结果表明，该方法显著提升了多模态学习模型的性能。
该文章介绍了cmsfed，一种解决多模态联邦学习中模态失衡问题的客户端模态选择方案。通过选择性地使用不同模态的本地数据参与训练和聚合，减轻全局模型的模态失衡，并引入新的局部训练损失函数来增强弱模态并调整特征空间差异。该方案还设计了模态级梯度解耦方法来维持选择过程中的梯度差异，并根据每次迭代中的本地模态失衡平衡多模态联邦学习。实验证明了cmsfed在多模态数据利用中的有效性。
