想象你正和朋友一起看一张照片。你可能会指着某个东西问：“角落里那是什么动物？” 或者 “街上有多少辆车？” 你的朋友会根据他们所看到的内容以及你提出的问题给出回答。视觉问答（VQA）系统致力于实现非常相似的功能。VQA 系统不同于主要生成图片一般描述的图片描述系统，它支持更具活力的交互。你提供一张图片和一个自然语言（如英语）的问题，AI 系统会根据图片内容提供答案。
这种能力使我们得以构建AI系统，它们不仅能“看”，还能根据具体询问对所看内容进行“推断”。这是迈向与视觉信息进行更具对话性和实用性交互的一步。
视觉问答系统如何运作？
视觉问答系统的核心在于完成以下几个重要任务：
- 理解图片： 系统必须处理图片以识别对象、它们的属性（如颜色或纹理）以及它们之间的关系。这通常涉及特征提取技术，我们在第4章中曾提及，这些技术将原始像素数据转换为更有意义的表示，以突出重要的视觉细节。
- 理解问题： 系统还必须解析问题的文本，以确定所要获取的信息。问题是询问某个对象是否存在（“有狗吗？”）、某个属性（“天空是什么颜色？”）、某个数字（“有多少人在场？”），还是其他内容？
- 结合并推断： 这正是多模态 (multimodal)特性发挥作用的地方。AI需要将从图片中提取的信息与问题的意图联系起来。仅仅看到一辆红色汽车并理解问题“汽车是什么颜色？”是不够的；系统必须将这两部分信息关联起来，以得出答案是“红色”的结论。这通常涉及结合视觉和文本信息的复杂方法，借鉴了我们在第3章中了解到的多模态整合思路。
- 生成答案： 最后，系统生成一个答案。对于许多VQA任务，特别是在入门阶段，答案通常都很简洁，例如一个单词（“是”、“蓝色”）或一个短语（“三”、“在桌子上”）。
让我们将这个通用流程可视化：
这是一个高级别的示意图，显示了视觉问答系统中的典型流程。图片和基于文本的问题被单独处理，然后它们的信息被结合起来以生成答案。
VQA中的问题类型
VQA系统可以设计为处理各种类型的问题，每种问题都需要对图片内容进行不同类型的推断。以下是一些常见类别及其示例：
- 对象存在/识别： 这些问题询问图片中是否存在某个对象，或者某个对象是什么。
- 示例： 公园的图片。问题：“有长椅吗？”答案：“有。”
- 示例： 有模糊动物的图片。问题：“这是什么动物？”答案：“狗。”
- 属性识别： 这些问题侧重于对象的属性，如颜色、形状、大小或纹理。
- 示例： 小孩拿着气球的图片。问题：“气球是什么颜色？”答案：“红色。”
- 示例： 建筑物的图片。问题：“屋顶是什么材料做的？”答案：“瓦片。”（这个可能更难！）
- 计数： 这些问题需要系统计数特定对象的实例数量。
- 示例： 水果碗的图片。问题：“有多少个苹果？”答案：“三个。”
- 空间关系： 这些问题询问对象之间相对位置。
- 示例： 放有物品的桌子图片。问题：“桌子上有什么？”答案：“一本书和一个杯子。”
- 示例： 街景图片。问题：“红色汽车左边是什么？”答案：“一辆自行车。”
- 活动识别（较简单形式）： 一些 VQA 系统可以回答图片中正在发生的动作的基本问题。
- 示例： 一个人在田野上的图片。问题：“这个人在做什么？”答案：“踢足球。”
视觉问答中的难题
尽管VQA的想法直接明了，但构建有效的VQA系统也伴随着一系列难题，特别是当我们旨在实现更像人类的理解时：
- 歧义： 图片和自然语言问题都可能存在歧义。一张图片可能存在多种解释，而一个问题可能表述不清晰。
- 细粒度识别： 识别细微差异（例如，“那是知更鸟还是麻雀？”）需要非常详细的图片理解。
- 常识和知识： 许多问题依赖于图片中未明确显示的知识。例如，如果一张图片显示一个人在沙滩上发抖，问题是“天气暖和吗？”，系统需要的不仅仅是像素数据；它还需要关于天气和人类反应的一些常识。这是一个重要的研究方向。
- 复杂推断： 诸如“椅子数量是否等于人数？”之类的问题需要多步感知（计数椅子、计数人数），然后进行比较。
- 数据需求： 像许多AI系统一样，VQA模型通常需要大量配对了问题及其正确答案的图片数据集才能有效学习。创建这些数据集可能需要大量的精力。
VQA 是一个非常好的入门应用，因为它清晰地表明了AI处理和整合来自两种截然不同信息源的需求：视觉模态（图片）和语言模态（文本）。任务本身易于理解，其问答的直接特性使其成为多模态 (multimodal)AI如何促成更具交互性和智能的系统的有力范例。随着AI能力的提升，VQA系统正变得日益复杂，从而带来更多结合视觉和语言的先进应用。
