利用多模态 ai 和联邦学习解决医疗领域中公共数据集有限的问题，并提出一种用于填补缺失模态的新型跨模态数据增强方法。通过联邦学习，在保护隐私的前提下，提高了医学领域多项具有挑战性的多模态基准性能，超过了多个竞争基准。
本文提出了一种名为“multimodal federated cross prototype learning (mfcpl)”的新方法，通过交叉模态对齐来增强特定模态特征的整体性能，解决了多模态联邦学习中存在的严重缺失模态的问题。经过实验证明，mfcpl在减轻挑战和提高整体性能方面表现出优异效果。
