ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

语音识别入门
章节 1: 语音识别的基本原理
什么是自动语音识别(ASR)?
自动语音识别系统简史
语音识别处理流程的组成要素
语音识别的类型:说话人相关型与说话人无关型
语音识别的分类:孤立词识别与连续语音识别
计算机如何处理声音:数字音频基础
语音单位与言语基本组成部分简介
章节 2: 处理音频信号
从声波到数字数据:采样与量化
了解音频格式(WAV、MP3、FLAC)
语音可视化:波形图与频谱图
预加重与分帧
窗口函数详解
特征提取简介
生成梅尔频率倒谱系数 (MFCC)
动手实践:音频文件可视化与处理
章节 3: 声学模型
什么是声学模型?
将声音映射到音素
早期方法:高斯混合模型 (GMMs)
隐马尔可夫模型 (HMM) 在序列数据中的应用
GMM与HMM的结合
基于神经网络的声学模型介绍
语音模型在ASR系统中的作用
章节 4: 语言模型
什么是语言模型?
语音中的歧义问题
N-gram 语言模型:二元语法和三元语法
词语序列概率的计算
困惑度详解
语言模型如何提高准确性
神经网络语言模型简介
章节 5: 解码与系统集成
解码器的作用
确定最可能的词语序列
搜索算法概览
理解维特比算法
完整的ASR流程:回顾
评估表现:词错率 (WER)
语音识别中的常见挑战
章节 6: 构建你的第一个语音识别应用程序
语音识别API与库简介
配置Python环境
使用预训练模型进行转录
从文件中转录音频
实时获取并转录麦克风输入
处理 API 响应和错误
实践:构建一个简单的语音命令工具

GMM与HMM的结合

高斯混合模型(GMM)可以对单个音素的音频特征分布进行建模,而隐马尔可夫模型(HMM)可以表示序列。它们各自独立使用时,每个模型都有一个重要的局限。GMM对时间或序列没有感知;它只能告诉您单个音频帧与某个音素声音特征的匹配程度如何。另一方面,HMM能处理序列,但没有固有的方式将其状态与音频信号的连续、复杂数据关联起来。

解决方案是将它们结合成一个单一、功能更强的架构:GMM-HMM。这种混合模型多年来一直是语音识别领域的标准方法,为理解ASR系统的工作方式提供了坚实的基础。

GMM作为HMM的“发射”机制

可以将HMM看作是一个状态机,其中每个状态代表一个音素。为使系统正常运行,它需要在每一步回答两个问题:

  1. 转移: 从当前音素状态转移到下一个状态的概率是多少?(这是HMM的任务)。
  2. 发射: 假设我们处于某个音素状态,我们当前观察到的音频帧是由该音素生成的概率是多少?

第二个问题就是GMM发挥作用的地方。在GMM-HMM中,HMM的每个状态都与其自己的GMM相关联。特定音素(如/t/)的GMM仅针对与/t/音对应的音频帧进行训练。

当ASR系统评估一段音频时,HMM会提出一个状态(音素)序列。对于序列中的每个状态,它会请求相应的GMM计算观察到的音频特征的概率。这个概率被称为发射概率。

因此,HMM处理序列(P(下一个状态∣当前状态)P(\mathrm{下一个状态} \mid \mathrm{当前状态})P(下一个状态∣当前状态)),而GMM处理每个状态下的观测似然(P(音频特征∣状态)P(\mathrm{音频特征} \mid \mathrm{状态})P(音频特征∣状态))。

GMM-HMM在实际中如何工作

让我们追踪一下GMM-HMM将如何处理单词“cat”(/k/ /æ/ /t/)的音频。系统使用一个HMM,其状态与这些音素相对应。

  1. 状态/k/: 最初的几帧音频(对应“k”音)被输入到系统中。HMM处于/k/状态。专门为/k/音素训练的GMM评估这些帧。它计算出一个高概率,确认这些音频特征与/k/音良好匹配。其他音素(如/æ/或/s/)的GMM对这些相同帧将返回非常低的概率。
  2. 转移到/æ/: HMM从其训练数据中得知,从/k/到/æ/的转移在英语中很常见。它转移到/æ/状态。
  3. 状态/æ/: 下一组音频帧(对应“a”音)现在由与/æ/状态关联的GMM评估。这个GMM找到强烈的匹配并输出高发射概率。
  4. 转移和状态/t/: 该过程重复进行。HMM转移到/t/状态,并且/t/的GMM成功验证了单词的最终音频帧。

路径/k/ -> /æ/ -> /t/的总概率是通过将沿途的转移概率和发射概率相乘计算得出的。解码器(您将在后面学习到它)负责寻找具有最高总概率的状态序列。

下图描绘了这种关系。每个HMM状态代表一个音素,其中包含一个GMM,负责计算该时刻观测到音频特征的概率。

HMM确定音素状态的可能序列,而每个状态内的GMM计算观测到的音频特征与特定音素匹配的概率。

通过结合这两个模型,GMM-HMM系统能够有效建模单个语音的统计特性以及语言的序列化、时间依赖性。这种架构被证明极其有效,在端到端深度学习 (deep learning)方法兴起之前,成为几十年来语音识别领域的主力。

  • Speech and Language Processing (3rd ed. draft), Daniel Jurafsky and James H. Martin, 2025 - 这本在线草稿教科书章节介绍了GMM-HMM架构作为语音识别中的标准声学模型。
  • Fundamentals of Speech Recognition, Lawrence R. Rabiner, Biing-Hwang Juang, 1993 (Prentice Hall) - 一本经典教科书,全面解释了HMM、GMM及其在语音识别中的结合。
  • A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition, Lawrence R. Rabiner, 1989 Proceedings of the IEEE, Vol. 77 (IEEE) DOI: 10.1109/5.18626 - 一篇开创性论文,介绍了隐马尔可夫模型及其在语音识别中的早期应用。
  • Pattern Recognition and Machine Learning, Christopher M. Bishop, 2006 (Springer) DOI: 9780387310732 - 本书对高斯混合模型和隐马尔可夫模型进行了数学和概率性分析。

© 2026 ApX Machine Learning