现有检索增强生成 (RAG) 系统主要处理单语言文本，但许多应用需要与多种语言及图像、音频、视频等不同模态的信息进行交互。为有效处理大规模异构信息而架构RAG系统，会在数据表示、检索机制和生成模型能力方面带来复杂性。构建跨语言和多模态 (multimodal)RAG系统的方法将被介绍，以提升检索增强生成在分布式环境中的应用能力。
规模化跨语言RAG
应对信息的全球化特点，要求RAG系统能理解多语言查询并检索相应文档。规模化构建此类系统面临独特难题，需要精巧的架构选择。
多语言环境中的主要难题
构建高效的跨语言RAG系统需要克服一些困难：
- 嵌入 (embedding)空间对齐 (alignment)： 确保不同语言中语义相近的表达能映射到嵌入空间中相近的位置，这是根本所在。许多多语言模型展现出不同程度的对齐效果，这可能影响检索质量。
- 语言特性： 不同语言拥有独特的语法结构、习语和文化背景，通用模型很难完全处理。
- 资源稀缺： 用于训练或微调 (fine-tuning)多语言模型的高质量平行语料库对许多语言对来说都稀缺，特别是对低资源语言。这种稀缺也影响评估数据集的获取。
- 分词 (tokenization)差异： 不同语言和模型的分词策略不同。次优的分词可能导致处理效率低下和表示质量下降，尤其对于形态丰富的语言。
- 翻译可扩展性： 如果使用翻译组件，其延迟、成本和吞吐量 (throughput)在高并发系统中可能成为瓶颈。
跨语言检索的架构方法
跨语言RAG可采用几种架构模式，每种都有其特定的优缺点：
-
直接多语言检索： 这种方法使用多语言嵌入模型，能够将来自多种语言的文本编码到一个共享嵌入空间中。
- 模型： 可选项包括mBERT、XLM-R、LaBSE以及Sentence Transformer的变体，如
paraphrase-multilingual-mpnet-base-v2或distiluse-base-multilingual-cased。选择取决于语言覆盖范围、嵌入维度、推理 (inference)延迟和零样本跨语言迁移能力。
- 微调： 在特定领域的多语言语料库或特定任务数据（例如，多语言问答对）上对这些模型进行微调，通常会带来显著的性能提升。
- 优点： 避免中间翻译步骤，可能实现更高的语义准确性。如果多语言嵌入效果好，则效率可能更高。
- 缺点： 性能在不同语言对之间可能差异显著，特别是对于预训练 (pre-training)数据中代表性不足的语言。共享嵌入空间的质量非常重要。
-
翻译查询-检索（中枢语言检索）： 在这种模式下，任何语言的输入查询首先被翻译成一个中枢语言（通常是英语，因为资源丰富且有强大的单语言模型）。随后对该中枢语言的文档集进行检索。
- 流程： 查询语言 -> 翻译到中枢语言 -> 在中枢语言中检索 -> （可选）将结果翻译回查询语言。
- 优点： 可使用中枢语言中成熟且高度优化的单语言检索系统和嵌入模型。如果所有文档都翻译为或主要以中枢语言存在，可以简化文档语料库管理。
- 缺点： 翻译错误可能传播并降低检索准确性。翻译步骤会增加延迟。原始查询语言中的一些细节可能在翻译过程中丢失。
使用中枢语言进行检索的翻译查询-检索RAG架构流程。
-
翻译文档-检索（查询语言检索）： 在这种方式下，文档被翻译成多种目标语言，检索在查询语言中进行。
- 流程： 在语言X中查询 -> 对预翻译到语言X的文档进行检索。
- 优点： 检索直接在查询语言中操作，可能保留更多信息。
- 缺点： 文档会产生大量的初始翻译成本和存储开销。管理翻译版本的更新可能很复杂。
一种混合方法，例如将查询翻译成中枢语言，同时使用多语言嵌入进行二次检索，有时能兼顾多种优点。策略的选择通常受特定语言对、数据量、实时性要求和可用的计算资源影响。
不同跨语言检索策略的nDCG@10分数比较，展现了性能上的权衡。“全翻译-检索-翻译”表示同时翻译查询和检索到的文档。
规模化跨语言RAG基础设施
规模化部署跨语言RAG需要解决以下问题：
- 分布式多语言索引： 向量 (vector)数据库必须有效存储和搜索多语言嵌入。这可能涉及基于语言集群的分片策略，或者在多语言嵌入空间性能良好时使用统一索引。
- 可扩展翻译服务： 对于依赖翻译的架构，确保高吞吐量、低延迟的翻译能力非常重要。这可能涉及使用基于云的翻译API，部署为推理优化的自托管翻译模型（例如MarianMT、M2M-100），或两者的结合。
- 语言感知型LLM： 生成器组件（LLM）必须擅长目标语言。这可能意味着使用大型多语言LLM或将请求路由到特定语言的LLM。处理可能混杂语言输入的上下文 (context)窗口也需要关注。
- 多语言数据管道： 数据摄取管道需要处理多种字符集，如有必要，执行语言识别，并应用特定语言的预处理或分块规则。
规模化多模态 (multimodal)RAG
除了文本，信息也常存在于图像、音频和视频中。多模态RAG系统旨在检索和理解这些多样化的内容，这带来了新的架构和操作难题。
多模态信息处理中的主要难题
将非文本数据集成到RAG系统中会带来一些困难：
- 异构数据表示： 找到一个通用表示或“联合嵌入 (embedding)空间”，使不同模态可以有意义地进行比较，这是一个主要难题。
- 跨模态相似性： 定义和计算例如文本查询与图像之间，或音频片段与视频片段之间的相似性，需要专门的模型。
- 特征提取复杂性： 将原始多模态数据（例如，像素值、音频波形）转换为有用的表示或嵌入是计算密集型任务。
- 大型二进制对象的索引和检索： 有效存储、索引和检索与嵌入相关联的大型二进制对象（例如，图像文件、视频片段）及其向量 (vector)表示。
- LLM多模态推理 (inference)： 让LLM能够“理解”并根据检索到的非文本上下文 (context)生成响应。这是一个正在发展的领域，GPT-4V等模型展示了此类能力。
多模态表示和检索的策略
-
联合嵌入空间： 多模态检索的原理在于能够将不同模态的数据投射到共享向量空间中的模型。
- 图像-文本： CLIP、ALIGN和类似模型学习将图像及其文本描述映射到嵌入空间中相近的位置。这些嵌入随后可以被索引到向量数据库中。
- 音频-文本： 这可能涉及使用ASR将音频转录为文本（然后进行嵌入），或直接从音频特征（例如MFCCs，从Wav2Vec 2.0等模型中学到的特征）和文本中学习联合嵌入。
- 视频-文本： 策略通常涉及视觉特征（帧级嵌入、对象检测）和音频特征（音频轨道上的ASR转录）的结合。VideoCLIP等模型将图像-文本原理扩展到视频。
- 其他模态： 其他组合（如3D模型、传感器数据等）的研究仍在进行中。
-
模态特定预处理和特征提取：
- 图像： 对象检测、图像字幕、光学字符识别（OCR）可以从图像中提取文本信息或结构化数据，然后可以连同索引或用于生成图像嵌入。
- 音频： 自动语音识别（ASR）对于将语音转换为文本很重要。说话人分离和声音事件检测可以添加更多元数据。
- 视频： 场景检测、动作识别和音频轨道上的ASR提供多种信息流，可被处理和嵌入。
-
检索机制：
- 跨模态检索： 基于文本查询检索图像（文本到图像），基于图像查询检索文本（图像到文本）等。
- 混合搜索： 结合对多模态嵌入的向量相似性搜索与对文本元数据（例如文件名、标签、ASR转录）的传统关键词搜索。
- 分阶段检索： 使用一种模态（例如文本）进行粗粒度检索，然后使用更细粒度的多模态特征进行重排序。
-
用于生成的多模态LLM：
- 原生多模态输入/输出： 高级LLM（例如GPT-4V、Gemini）可以直接处理多模态输入并进行推理。
- 文本增强： 如果未使用或没有纯多模态LLM，可以将检索到的非文本内容转换为文本描述或摘要（例如图像字幕、ASR转录），然后作为上下文提供给基于文本的LLM。
多模态RAG系统的高层架构，详细说明了各种数据类型的摄取、嵌入、检索和生成阶段。
运作多模态RAG系统
规模化多模态RAG带来了重要的操作需求：
- 大量存储需求： 原始多模态文件（图像、视频）很大。它们的嵌入虽然较小，但对于大型数据集来说仍会累积。可能需要分级存储策略。
- 计算密集型管道： 图像尤其是视频的嵌入生成需要大量GPU资源。分布式处理框架（Spark、Ray）对于管理这些工作负载变得不可或缺。
- 专门的向量数据库： 所选的向量数据库必须有效处理高维嵌入，并允许结合向量搜索进行元数据过滤。一些数据库对某些类型的多模态嵌入提供特定优化。
- 带宽考量： 在存储、处理单元和服务层之间传输大型多模态数据对象可能会使网络带宽紧张。
- 模型管理： 管理多个嵌入模型（文本、图像、音频）以及可能的多模态LLM的生命周期，增加了MLOps的复杂性。
协同与复杂性：统一的跨语言多模态 (multimodal)RAG
最终的目标是构建一个能跨多种语言和多种模态运行的RAG系统。例如，回答一个用德语提出的问题，该问题关于一个具有英语音轨和日语字幕的视频内容，或基于西班牙语的音频查询检索相关图像。
此类系统增加了跨语言和多模态RAG的挑战：
- 嵌入 (embedding)空间统一： 为多种语言的文本、图像、音频和视频创建一个单一、连贯的嵌入空间，这是一个巨大的研究和工程难题。现有方法通常涉及在模态特定或语言特定空间之间进行连接或转换。
- 复杂查询理解： 解析本身可能是多模态（例如带语音提问的图像）和多语言的查询。
- 分阶段处理管道： 这些系统通常依赖精细的分阶段处理管道。例如：语言识别 -> 查询翻译 -> 多模态检索（可能涉及进一步的内部翻译或跨模态映射） -> 多语言和/或多模态生成。
- 资源密集型： 计算和存储需求异常高。
此类系统的架构高度专业化且通常是定制构建的，它协调各种专业模型和服务。
评估高级RAG系统
评估跨语言和多模态 (multimodal)RAG系统需要超越标准文本RAG指标。评估必须考虑语言和模态的额外维度。
评估跨语言性能
- 检索指标： 标准检索指标，如nDCG、MAP和Recall@K，应按语言计算并取平均值。跨语言信息检索（CLIR）特有指标也有关系。
- 翻译质量（如适用）： 如果机器翻译是管道的一部分，其质量必须使用BLEU、METEOR、TER或COMET等指标进行评估。翻译中的错误直接影响RAG性能。
- 目标语言中的回答准确性： 最终生成的回答必须在查询的原始语言中准确且流畅。
- 零样本性能： 对于在微调 (fine-tuning)期间未明确见过的新语言，评估系统的零样本或少样本跨语言迁移能力很重要。
基准测试多模态能力
- 跨模态检索准确性： 对于文本到图像或图像到文本检索等任务，Recall@K、Precision@K和mAP是常用指标。
- 模态特定任务指标： 如果RAG系统支持视觉问答（VQA）或音频问答等任务，应使用这些任务的既定基准和指标（例如VQA准确性、音频事件标记 (token)的F1分数）。
- 生成多模态内容的质量： 如果LLM生成图像或其他非文本内容，则图像的Fr\u00e9chet Inception Distance (FID) 或 CLIPScores，或主观人工评估，变得必要。
- 端到端任务成功率： 最终，应评估系统成功完成最终用户多模态信息检索任务的能力。
对于跨语言和多模态RAG，人工评估仍然不可或缺。自动化指标通常无法捕捉细微的语言错误、文化不适宜性或检索到的多模态内容的真实关联性。为这些复杂系统设计有效的人工评估协议是一项重要工作。
实现考量与未来展望
构建这些高级RAG系统需要精心选择和集成众多组件：
- 嵌入 (embedding)模型： 可从不断增长的开源（例如来自Hugging Face Transformers、Sentence Transformers）和专有多语言及多模态 (multimodal)嵌入模型生态系统中选择。
- 向量 (vector)数据库： 选择支持所需规模、嵌入类型和过滤能力的数据库（例如Weaviate、Pinecone、Milvus、Qdrant）。
- 翻译服务/模型： 如有需要，评估机器翻译选项，考虑质量、成本和延迟。
- 多模态LLM： 利用具有原生多模态能力的新兴基础模型，或制定有效将文本化的多模态上下文 (context)提供给以文本为中心的LLM的策略。
- 数据增强： 对于训练数据稀缺的低资源语言或模态，数据增强技术（例如语言的回译、合成图像生成）可能是有益的。
此领域迅速发展。研究持续推动跨语言和模态的更统一表示学习、更高效和有能力的多模态LLM，以及更精细的异构信息融合和推理 (inference)方法。随着这些技术的成熟，构建真正全面、可与各种信息交互的规模化RAG系统的能力将变得越来越可实现，带来新的应用和见解。然而，与数据管理、模型编排和系统规模化优化相关的工程挑战将依然很大。
