本书共四章，分别为引言、多模态学习、 多模态数据融合和多模态数据检索。本书以异构异源多模态数据为研究对象，概述了其产生途径、学习模型和应用场景。 在此基础上，重点分析了多模态数据融合技术和多模态数据检索技术，包括其基本概念、发展历史、传统方法、前沿方法和发展方向等内容。
本书涉及的学科方向包括信号处理、模式识别、机器学习、计算机视觉等，可作为高等学校通信、电子、人工智能等相关专业的本科生、研究生的教材，也可作为从事多模态数据应用领域工作的读者的技术参考书。