当我们使用“国王-男人+女人≈女王”这样的词语类比时，背后是词向量模型在默默工作。一项研究通过数学方法揭示了这类模型如何逐步构建词语的语义空间，让我们能够一窥其学习机制。
词向量模型（如Word2Vec）的核心目标是将词语转化为计算机能理解的数字形式——向量。这些向量不仅能表示单个词的含义，还能捕捉词与词之间的关系。比如，“巴黎”和“法国”的向量关系，可能类似于“东京”和“日本”的关系。这种能力并非人为设计，而是模型通过分析大量文本数据自动学习到的。
为了理解这种学习过程，研究者们没有直接分析复杂的Word2Vec模型，而是采用了一种巧妙的简化方法：用四次泰勒展开近似原始损失函数。这种近似保留了足够多的关键特征，同时大大降低了数学分析的难度。通过这种方式，他们将模型训练转化为一个可解析的矩阵分解问题，称为“二次词嵌入模型”（QWEM）。
研究最关键的发现是：模型的训练过程可以被精确地描述为一系列线性子空间的逐步学习。想象一下，模型就像一个学生，每次只专注学习一个主题（如“体育”或“科技”），掌握后再转向下一个。这些主题在数学上表现为正交的子空间，每个子空间对应一种语义概念。随着训练的进行，模型逐步扩展其“知识库”，直到达到其容量上限。
当模型在真实数据（如维基百科）上训练时，这些子空间展现出令人惊讶的语义结构。前几个主要子空间往往对应着明显的主题级概念，比如“科学术语”或“地理名称”。更抽象的概念（如“性别”或“国家-首都关系”）则通过子空间的线性组合自然浮现。这解释了为什么简单的向量加减就能完成词语类比——因为模型已经将这些关系编码为可操作的数学结构。
这项研究不仅提供了对词向量学习过程的理论解释，还为改进模型提供了方向。例如，通过理解模型如何逐步学习不同抽象层次的概念，我们可以设计更高效的训练策略，或者诊断模型在特定任务上失败的原因。虽然研究基于简化模型，但其揭示的原理很可能适用于更复杂的现代语言模型。