当医生需要从模糊的MRI扫描中重建清晰图像，或天文学家试图从有限信号中还原遥远星系的全貌时，他们都在面对“逆问题”。最新研究揭示了深度线性神经网络（Deep Linear Networks）如何通过梯度下降和权重衰减（Weight Decay）自动捕捉数据中的隐藏结构，为这类难题提供理论保障。
逆问题就像根据拼图碎片还原完整画面——我们只能观察到部分信息（如医学影像的扫描数据），需要反向推导出原始信号。这类问题在科学和工程中无处不在，但核心难点在于“解不唯一”：不同的原始信号可能产生相同的观测结果。传统方法（如压缩感知）通过假设信号具有低维结构（例如图像主要由少数关键特征组成）来锁定唯一解，而这项研究探讨的是神经网络能否自动学会这种策略。
尽管现实中的神经网络通常充满非线性，但研究人员选择深度线性网络（由多层线性变换组成）作为理论分析的切入点。这种简化模型保留了深度架构的核心特性，同时避免了非线性带来的复杂数学问题。研究发现，即使在这种“纯净”环境下，网络通过梯度下降优化时，仍会展现出与复杂网络相似的行为模式。
权重衰减（一种通过惩罚过大参数值来防止过拟合的技术）在本研究中扮演了关键角色。它像一位隐形的教练，引导网络在训练过程中不仅追求拟合数据，还要保持模型的简洁性。论文证明，这种正则化会促使网络自动将注意力集中在数据中真正重要的低维结构上，而非盲目记忆噪声或无关细节。
“过参数化”（即网络参数远多于训练数据量）常被视为深度学习的“魔法”之一。研究团队发现，这种现象在此类逆问题中具有双重好处：
加速收敛：更大的模型空间让梯度下降更快找到优化路径；
隐式正则化：多余参数并非冗余，而是帮助网络更稳定地捕捉数据的本质特征。
该研究首次严格证明了：
在合理的学习率和初始化条件下，带权重衰减的深度线性网络会收敛到能准确解决逆问题的解；
网络会自动编码数据中的潜在子空间结构，无需人工指定。
这为理解更复杂的非线性网络提供了跳板，也解释了为何实践中简单的梯度下降就能让神经网络在逆问题上表现优异。
以CT重建为例：当网络从少量X射线投影中学习重建人体断层图像时，这项理论表明，适当的正则化和过参数化设计会使网络自动聚焦于器官的解剖结构（低维特征），而非纠缠于无关的成像噪声。这种特性对医疗诊断的可靠性至关重要。
尽管该研究建立了线性网络的理论框架，但真实世界的非线性网络如何工作仍是开放问题。此外，论文中的“温和过参数化”条件（即参数不能无限增加）提示我们：网络规模与问题复杂度之间需要精细平衡，这为后续研究指明了方向。