当Transformer模型处理长文本时，深层网络可能会"遗忘"早期学到的关键特征。一项名为LIMe的创新技术，通过让模型自主选择调用不同深度的记忆，显著提升了其理解能力。
Transformer模型如同一位需要记住整本书内容的读者，其每一层网络都在不断更新对文本的理解。但传统设计中，每一层只能接收前一层的"记忆摘要"，随着层数加深，早期的重要细节可能被逐渐稀释。这种现象被称为"表征坍缩"（representation collapse）——就像复印件的复印件，最终关键信息变得模糊不清。
LIMe（Layer-Integrated Memory）技术的核心创新在于改造了Transformer的"记忆系统"。模型原有的注意力机制（attention）就像使用钥匙（query）在钥匙串（key-value）中查找匹配项，而LIMe为每个注意力头（attention head）配备了智能路由系统：
允许同时访问所有深度的记忆仓库（从第1层到当前层的前一层）
每个注意力头自主决定各层记忆的调用比例
通过动态权重实现特征的精确定位
这种设计类似摄影师用不同焦距镜头拍摄同一场景，最后合成最清晰的图像。
与传统需要增加参数的方法不同，LIMe的巧妙之处在于：
零新增缓存：复用模型原有的key-value存储空间
路由学习：仅增加约0.01%的参数用于记忆调度
自适应整合：不同注意力头自动形成分工，有的专注局部特征，有的负责长程依赖
实验显示，在同等计算量下，采用LIMe的模型：
语言建模困惑度（perplexity）降低2.1%
合成推理任务准确率提升最多15%
深层网络（48层）训练速度加快19%
研究人员通过分析路由权重发现有趣规律：
浅层网络更依赖邻近层的记忆
深层网络会主动调用跨度超过10层的早期特征
不同注意力头自发形成"特征专家"分工
这解释了为何LIMe能缓解表征坍缩——就像考古学家同时参考不同年代的史料，而不是仅依赖最新修订的版本。
LIMe的价值不仅体现在指标提升，更揭示了Transformer模型的优化方向：
记忆效率：证明现有模型的记忆容量尚未被充分利用
架构设计：为超深层网络提供新思路
长文本处理：可能改善模型对远距离依赖的捕捉能力
该技术已开源实现，研究者可将其集成到现有架构中，无需改变基础模型参数。