词嵌入基本原理

TF-IDF 等方法基于词频表示文档。尽管有用，但这些表示将词语视为独立的单元。它们本质上并不理解“猫”和“小猫”是相关的，或者“跑步”和“慢跑”语义相近。如果两个相关词语在训练集中未出现在非常相似的文档中，基于频率的模型会认为它们完全不同。这限制了它们对需要对语言含义有更细致认识的任务的效用。

为了解决这个问题，我们需要一种能捕获词语语义关联的表示方法。这引出了词嵌入的思路，它建立在分布式语义的理念之上。其核心主张常概括为“知词识伴”，指明了出现在相似语境中的词语很可能含义相关。例如，“咖啡”和“茶”等词语经常出现在“一杯____”、“喝了一些____”或“热____”等语境中。通过分析大量文本中的这些共现模式，我们可以学到一种表示，使得“咖啡”和“茶”在空间中比“咖啡”和“C++编程语言”更接近。

从稀疏向量到稠密向量

不同于词袋模型或TF-IDF等技术生成的高维稀疏向量（这些向量大部分元素为零，且长度等于词汇量大小），词嵌入将词语表示为低维空间中的稠密向量。通常，一个词 $w$ 会被映射到一个向量 $v_w \in \mathbb{R}^d$。其中 $d$ 是嵌入维度（一个超参数，通常在50到300之间）。

$$v_{\text{词语}} = [x_1, x_2, \dots, x_d]$$

此向量中的每个维度 $x_i$ 都表示从数据中学到的词语含义的潜在特征。与人工设计的特征不同，这些维度通常无法用人类可理解的术语来解释（例如，维度1不明确表示“是动物”或“可食用”）。相反，它们共同捕获了词语含义、用法和关联性的复杂而精妙之处，这些信息源自词语在训练语料库中的上下文模式。重点是，整个向量表示了词语与其他词语之间的含义关联。

几何关联的威力

词嵌入的魅力在于这些向量在$d$维空间中的几何关联。

1. 语义相似性： 含义相似的词语，它们的向量往往相互接近。我们可以使用欧氏距离等距离度量来衡量这种接近程度，更常用的是余弦相似度。余弦相似度衡量的是两个向量之间夹角的余弦值，范围从-1（含义相反）到1（含义/语境相同），0表示不相关（正交）。

   $$\text{相似度}(A, B) = \cos(\theta) = \frac{A \cdot B}{\|A\| \|B\|} = \frac{\sum_{i=1}^{d} A_i B_i}{\sqrt{\sum_{i=1}^{d} A_i^2} \sqrt{\sum_{i=1}^{d} B_i^2}}$$

   因此，“汽车”和“轿车”的向量应该具有较高的余弦相似度，而“汽车”和“香蕉”的相似度应该较低。

2. 语义类比： 值得注意的是，这些向量空间常能捕捉到关联相似性。经典的例子是类比：“男人之于女人，犹如国王之于女王。”在向量空间中，这种关系可能会表示为：

   $$v_{\text{king}} - v_{\text{man}} + v_{\text{woman}} \approx v_{\text{queen}}$$

   这表明向量差 $v_{\text{king}} - v_{\text{man}}$ 捕捉到了类似“王权减去男性特征”这样的属性，加上 $v_{\text{woman}}$ 后，结果向量会非常接近 $v_{\text{queen}}$。类似的类比，如“法国之于巴黎，犹如德国之于柏林”（$v_{\text{Paris}} - v_{\text{France}} + v_{\text{Germany}} \approx v_{\text{Berlin}}$），也能够被观察到。

设想一个简化的2D可视化图，显示某些词语在嵌入空间中彼此间的相对位置：

这是一个简化的图示，说明了相关词语（国王/男人、女王/女人、苹果/橙子）如何在嵌入空间中聚类，并与不相关词语（汽车）分开。实际的嵌入空间维度要高得多。

下游任务的输入

这些稠密向量表示可作为各种应用于自然语言处理任务的机器学习模型的有效输入特征。我们可以使用相应的词嵌入，而非将独热编码向量或TF-IDF分数输入到分类器或序列模型中。这通常会带来显著的性能提升，因为模型接收的特征已经包含了语义信息，从而减轻了模型从头开始学习这些关联的负担。

在接下来的章节中，我们将研究Word2Vec和GloVe等特定算法，它们能从大型文本语料库中学习这些向量表示。我们还将了解如何使用预计算的嵌入，这能节省大量的训练时间，并凭借从海量数据集中获取的知识。