趋近智
多模态人工智能介绍
章节 1: 什么是多模态人工智能？
人工智能：简要概述
理解数据模态：文本、图像、音频
多模态AI的界定：处理多样数据
结合多种模态的益处
多模态AI与单模态AI：主要区别
多模态系统示例
多模态AI的主要难点
一个多模态任务示例：生成图像描述
练习：识别常见技术中的模态
章节 2: 多模态系统的数据预备
文本数据表示：从字符到意义
图像数据表示：像素、特征与结构
音频数据表示：声波到数字信号
视频数据：图像与声音的序列
不同数据类型的基本预处理
多源数据对齐
跨模态信息比较
动手实践：观察数据格式
章节 3: 模态整合方法
多模态整合的方法：早期、中期、晚期
早期整合：在输入阶段结合数据
中间层次的合并：已处理特征的整合
晚期融合：组合独立预测结果
共享表示：学习共同特征
协调表示：模态间映射
多模态学习的基本架构
注意力机制简介：集中于相关信息
实践：图示结合方法
章节 4: 多模态AI模型的组成部分
从文本数据中提取特征
从图像数据中提取特征
从音频数据中提取特征
用于多模态任务的简单神经网络层
衡量性能：组合数据的损失函数
多模态系统训练：概述
多模态输出的基础评估指标
动手实践：构思一个简单模型
章节 5: 多模态AI入门应用
图像描述系统：从图像生成文本
视觉问答：通过提问与图片互动
文本到图像生成：根据描述创建视觉内容（简介）
通过视觉信息提升的语音识别 (介绍)
多模态情感分析：从多重线索理解观点
多模态应用中的输入与输出
实践：构思多模态解决方案
跨模态信息比较
这部分内容有帮助吗？
- Learning Transferable Visual Models From Natural Language Supervision, Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever, 2021 Proceedings of the 38th International Conference on Machine Learning, Vol. 139 (PMLR) DOI: 10.5555/3540306.3540445 - 这篇论文介绍了CLIP，一个通过对比学习为图像和文本学习到稳健共享表示的模型，它支持直接的跨模态比较，并展示了共享嵌入空间的实用性。
- Efficient Estimation of Word Representations in Vector Space, Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, 2013 International Conference on Learning Representations (ICLR) Workshop DOI: 10.48550/arXiv.1301.3781 - 这项工作介绍了Word2Vec，一种学习词语密集向量表示的方法，其中语义关系通过向量邻近度和余弦相似性来捕捉，它说明了信息比较的原理。
- Deep Learning, Ian Goodfellow, Yoshua Bengio, Aaron Courville, 2016 (MIT Press) - 第15章“表示学习”解释了神经网络如何学习有意义的数据表示，这为创建用于跨模态比较的特征向量和共享空间提供了支持。