文本转语音（TTS）系统的组成部分

自动语音识别（ASR）侧重于将语音转录成文字，而文本转语音（TTS）合成则承担了互补的任务：从输入文本生成可听的语音。虽然现代端到端神经网络系统通常直接学习映射关系，但理解传统的逻辑组成部分有助于更好地分析和设计复杂的TTS流程。这些组成部分顺序运作，将文本转换为听起来自然的波形。

让我们剖析参数化或拼接式TTS系统中涉及的典型阶段，同时考虑到神经网络方法可能会整合或重新构想这些步骤。

文本处理（前端）

从文本到语音的过程始于理解和规范化输入文本。此前端处理确保文本清晰无歧义，并为后续阶段适当地构建其结构。

1. 文本规范化

原始文本通常包含非标准词语，如数字、缩写、符号和标点符号，这些需要转换为其完全拼写出来、可读的形式。这个过程，称为文本规范化（TN）或非标准词（NSW）处理，对于可懂度很重要。

示例：

• $12.50 -> “十二美元五十美分”
• Dr. Smith -> “史密斯医生”
• St. Louis -> “圣路易斯”
• 10 Downing St. -> “唐宁街十号”
• 1998 -> “一千九百九十八”

文本规范化可能很复杂，涉及正则表达式、有限状态转换器（FSTs），或越来越多地使用机器学习模型。它高度依赖语言，需要谨慎处理歧义（例如，“St.”可以表示“Saint”或“Street”）。文本规范化中的错误会直接影响合成语音。

2. 语言学分析

文本规范化后，会进行语言学分析，以提取与发音和韵律（语调、节奏、重音）相关联的特征。

• 字素到音素（G2P）转换： 这将书面文本（字素）转换为语音表示（音素）。例如，词语“synthesis”可能会被转换为音素序列，比如/s ɪ n θ ə s ɪ s/（使用ARPABET记号）。这可以通过以下方式实现：
  • 发音词典（词库）： 将词语映射到其语音转录的大型查找表。
  • 基于规则的系统： 针对发音模式的手工规则。
  • 机器学习模型： 在词典数据上训练的统计或神经网络模型，用于预测已知词和未知词（词汇表外，OOV）的发音。
• 词性（POS）标注： 识别每个词语的语法作用（名词、动词、形容词等）有助于解决发音歧义（例如，“reCORD”（动词）与“REcord”（名词））并为韵律预测提供信息。
• 韵律预测： 虽然基本系统可能使用启发式方法，但进阶系统明确预测韵律特征。这可以包含：
  • 语段停顿预测： 确定停顿应该发生的位置。
  • 重音/强调预测： 识别应该强调的词语或音节。
  • 语调轮廓生成： 预测基频（$F_0$）轮廓，这在很大程度上决定了语音感知到的旋律。这通常涉及分析句子结构（例如，疑问句与陈述句）。

前端的输出通常是富含语言学和韵律信息的音素序列。

声学特征生成（后端/合成器）

后端从前端接收处理过的语言学特征，并生成中间声学表示。

3. 时长建模

每个音素（或其他语言单元）没有固定的时长。其长度根据语音上下文、词语或短语内的位置、语速和强调而显著变化。时长模型预测输入序列中每个单元的时长（通常以毫秒或帧为单位）。准确的时长建模对于实现自然的语音节奏很重要。传统系统常使用HMMs或决策树，而现代神经网络系统通常在其架构中包含时长预测器（例如在FastSpeech中所示或集成到注意力机制中）。

4. 声学特征预测

这是核心合成步骤，系统将语言学特征（音素、时长、韵律目标）映射到声学特征序列。这些特征旨在捕捉目标语音的频谱包络和激励特性，但以一种压缩的中间格式呈现。

• 特征类型： 常见的选择是梅尔频谱图，它表示音频的功率谱，映射到人类频率感知的非线性梅尔尺度上。其他特征，如倒谱系数或从HMM状态派生的语言-声学特征也曾被使用。
• 建模方法：
  • 经典参数化： 基于HMM的系统根据在上下文相关状态上训练的统计模型生成参数（如频谱特征和$F_0$）。
  • 拼接式： 从大型数据库中选择并拼接预先录制的语音单元（双音素、音素）。尽管对于特定音色可以达到高质量，但它存在可听见的断裂，且缺乏灵活性。
  • 神经网络序列到序列： 像Tacotron或Transformer TTS这样的模型，使用带注意力的编码器-解码器架构，直接从输入语言学特征（通常是字符或音素）学习到声学特征（通常是梅尔频谱图）的复杂非线性映射。这些模型隐式处理时长和上下文建模。非自回归模型如FastSpeech使用显式时长预测器结合前馈变换器以实现更快的生成。

这一阶段的输出是逐帧的声学特征向量序列。

波形生成（声码器）

合成器生成的声学特征尚不是音频波形。最后一步使用声码器（语音编码器/解码器）将这些特征转换为可听见的声压波。

5. 声码

• 传统声码器： 信号处理技术如源-滤波器模型（例如STRAIGHT）或基于短时傅里叶变换（STFT）幅度的重叠相加方法（例如Griffin-Lim算法）很常见。这些通常产生可懂但有些人工化或“嗡嗡声”的语音，尤其是在较低特征分辨率下。
• 神经网络声码器： 现代TTS很大程度上依赖于神经网络声码器，它们是深度生成模型，经训练可根据声学特征合成高保真波形。示例有：
  • 自回归模型： WaveNet、WaveRNN逐个音频样本生成，达到高质量但推理速度通常较慢。
  • 流式模型： WaveGlow、FloWaveNet使用归一化流进行并行生成。
  • 基于GAN的模型： MelGAN、HiFi-GAN、Parallel WaveGAN使用生成对抗网络实现高效、高质量的波形合成。
  • 扩散模型： 近期方法将扩散概率模型应用于波形生成。

这些进阶声码器（在第5章中会更详细地讨论）是过去十年TTS自然度大幅提升的重要原因。

系统概述

这些组成部分之间的紧密关联可以可视化为一个流程：

文本转语音合成的典型流程，展示了从输入文本到前端处理、后端合成（时长和声学特征预测），以及最终通过声码器生成波形的过程。现代端到端系统可能会整合这些阶段中的多个。

虽然这些组成部分顺序呈现，但它们紧密关联。早期阶段的错误或局限（例如不正确的音素转换或不自然的持续时间预测）显著影响最终输出质量。当我们在第4章讨论进阶TTS模型时，我们会看到端到端神经网络如何旨在学习从文本到声学特征的完整映射，有时甚至直接到波形，这可能会简化流程，但通常需要更大的数据集和细致的训练策略。理解这些基本构造仍然对于诊断问题、定制系统以及认识生成类人语音所涉及的复杂性来说，是必不可少的。