在评估大语言模型（LLM）性能时，研究者常依赖统计学中的“中心极限定理”计算误差范围，但最新研究表明，当测试数据量较小时，这种方法可能严重低估实际不确定性，导致结论失真。
评估大语言模型的表现时，研究者通常使用标准化测试集（benchmark）——例如让模型回答数百道数学题或完成文本生成任务，通过正确率等指标量化其能力。为了确保结果可靠，统计学家会计算“误差范围”（error bars），即结果可能的波动区间。目前最常用的方法是基于中心极限定理（Central Limit Theorem, CLT），这一理论认为只要数据量足够大，平均值会呈现正态分布，从而简化计算。
然而，CLT的应用存在一个关键前提：数据量需要“足够大”。在现实场景中，许多专业领域的测试集可能仅有几十到上百条数据（例如医疗法律问答或小众语言翻译）。论文通过实证分析发现，当数据量低于数百条时，CLT会严重低估误差范围——例如宣称“模型准确率为70%±2%”，而真实波动可能达到±10%。这种偏差可能导致研究者高估模型性能，甚至误判技术优劣。
为什么CLT在小数据场景中失效？核心原因在于其依赖的“渐进近似”特性。举例来说，CLT如同用天气预报推测全年气候：如果观察了365天的温度，预测会较准确；但如果仅凭3天的数据推断，结果显然不可靠。类似地，当测试数据较少时，模型表现的分布可能呈现偏态或存在异常值，而CLT无法捕捉这种复杂性。
论文特别指出，这一问题在两类场景中尤为突出：
专业领域评估：如模型在罕见病诊断或古文献翻译中的表现，测试数据天然稀缺；
细分能力测试：例如单独评估逻辑推理或跨文化理解能力，需针对性设计小规模测试集。
针对这一问题，研究者推荐了两类替代方法：
频率学派的重采样技术：如自助法（bootstrap），通过反复抽样模拟数据分布，无需依赖CLT假设；
贝叶斯方法：通过引入先验分布，将有限数据与领域知识结合，尤其适合超小数据集（如n<30）。
值得注意的是，这些方法计算成本略高，但论文作者提供了开源工具（bayes_evals库），可一键生成更稳健的误差估计。例如，在仅50条数据的测试中，贝叶斯方法能将误差范围从CLT的±3%修正至±8%，更真实反映不确定性。
低估误差范围的实际后果是什么？假设某公司选择部署“准确率75%±2%”的客服模型，而真实波动为±15%，可能导致实际应用中大量错误回复。类似地，在学术研究中，过窄的误差区间可能掩盖模型间的真实差距。论文强调，随着大语言模型向专业化、垂直化发展，小规模测试将成为常态，统计方法的改进已迫在眉睫。