我们提出了一种新的联邦多模态编码器和多模态锚点 (fedmema) 的联邦学习框架,可以同时解决两个并发问题,即跨模态异质性和个性化模型。
creamfl是一个支持多模态联邦学习的框架,提高了全局模型的复杂度和数据容量。它使用公共数据集进行知识交流,并通过全局本地交叉模态集成策略来聚合客户端表示。在图像-文本检索和视觉问答任务上的测试结果表明,creamfl比目前流行的联邦学习方法更好。
我们提出了一种新的联邦多模态编码器和多模态锚点 (fedmema) 的联邦学习框架,可以同时解决两个并发问题,即跨模态异质性和个性化模型。
creamfl是一个支持多模态联邦学习的框架,提高了全局模型的复杂度和数据容量。它使用公共数据集进行知识交流,并通过全局本地交叉模态集成策略来聚合客户端表示。在图像-文本检索和视觉问答任务上的测试结果表明,creamfl比目前流行的联邦学习方法更好。