DLMs能否突破token危机？

最近，新加坡国立大学的研究团队在AI领域掀起了一场小范围讨论。他们提出了一种新的训练方式，让模型在数据量有限的情况下依然能持续提升性能。这不仅对AI模型的训练效率提出了新挑战，也让不少业内人士开始重新思考：传统训练方式是否真的到了极限？

在当前AI模型的发展过程中，token危机已经成为制约技术进步的关键因素。随着模型规模不断扩大，所需的数据量也呈指数级增长。当高质量训练数据逐渐枯竭时，模型的性能提升就会受到明显限制。这种现象在实际应用中表现得尤为突出，比如在电商推荐系统中，优质商品数据的获取成本越来越高，导致模型难以持续优化。

针对这一问题，研究团队选择了一条与众不同的路径。他们从零开始训练扩散语言模型（DLMs），并将其与传统的自回归模型（AR）进行对比。实验结果显示，在相同数据量下，DLMs的表现明显优于AR模型。这种差异不仅体现在基准测试中的准确率提升，更体现在模型对数据的利用效率上。

具体来说，团队在实验中使用了10亿参数的DLMs模型，仅用10亿token的数据集就达到了56%的HellaSwag准确率和33%的MMLU得分。相比之下，AR模型在相同条件下只有41%和29%的得分。这个差距在多个测试场景中都得到了验证，说明DLMs在数据利用效率上确实存在优势。

更值得关注的是，DLMs在重复训练时展现出的持续提升能力。当团队将同一份数据集重复训练480个epoch时，模型性能依然没有出现饱和现象。这种特性在传统模型中较为罕见，意味着DLMs能够从有限的数据中提取出更多有效信息。

DLMs真的比AR模型更强吗？

要回答这个问题，需要从模型结构和训练方式两个维度进行分析。传统AR模型采用因果方向建模，这种设计虽然能提高计算效率，但也限制了模型对数据的深度理解。相比之下，DLMs通过双向注意力机制，能够同时处理文本的前向和后向信息，这种特性在处理复杂语义时展现出明显优势。

实际测试数据显示，DLMs在处理多选题任务时，真实答案与其他选项的负对数似然（NLL）差距持续扩大。即使在验证集出现过拟合的情况下，模型的判别能力依然在提升。这种现象在域内和域外数据训练中都得到了验证，说明DLMs的训练效果具有更强的泛化能力。

从数据利用角度看，DLMs的训练效果与数据重复次数密切相关。当团队将10亿token的数据集重复训练480次时，模型性能提升了近20%。这种提升幅度远超传统模型，说明DLMs能够从固定数据集中挖掘出更多潜在价值。

值得注意的是，DLMs的训练效果还与模型规模密切相关。当模型参数量增加到80亿时，其数据利用效率比小规模模型提升了三倍以上。这种扩展性优势在实际应用中尤为重要，因为大多数商业场景都需要处理海量数据。

DLMs训练的底层逻辑是什么？

要理解DLMs的优势，需要从其训练机制入手。传统模型采用教师强制策略，通过因果掩码限制信息流动。这种设计虽然能提高计算效率，但也限制了模型对数据的深度理解。DLMs则通过扩散目标，将预训练数据集中的每个数据点在多个掩码比例和组合下进行损坏，这种设计能更精确地估计期望值。

在实际应用中，这种训练方式的优势尤为明显。比如在电商推荐系统中，DLMs能够更准确地识别用户偏好，即使在数据量有限的情况下也能保持较高推荐准确率。这种特性对于依赖用户行为数据的推荐系统来说，具有重要价值。

从模型结构看，DLMs的"超密集"特性是其核心优势之一。这种设计在计算上表现出更高的密度，每个任务需要更多的FLOPs，直接转化为更强的智能表现。相比之下，AR模型更注重计算效率，这种设计在数据量充足时表现良好，但在数据受限场景下就显得力不从心。

在实际测试中，DLMs的性能提升不仅体现在准确率上，更体现在模型的泛化能力。当团队将模型训练到480个epoch时，其在新任务上的表现依然保持稳定。这种持续提升能力在传统模型中较为罕见，说明DLMs的训练效果具有更强的可扩展性。

为什么传统模型会存在性能瓶颈？

传统AR模型的局限性主要体现在两个方面：首先是其因果方向建模方式，这种设计虽然能提高计算效率，但也限制了模型对数据的深度理解。其次是其Transformer架构，这种设计虽然能提高GPU使用效率，但也在一定程度上限制了建模能力。

在实际应用中，这种局限性会带来明显影响。比如在自然语言处理任务中，AR模型对长距离依赖的处理能力较弱，导致在处理复杂语义时表现不佳。而DLMs通过双向注意力机制，能够更全面地理解文本结构，这种优势在处理复杂语义任务时尤为明显。

从数据利用角度看，传统模型的性能提升与数据量呈线性关系，而DLMs则表现出更强的扩展性。当数据量增加时，DLMs的性能提升幅度远超传统模型，这种特性在实际应用中具有重要价值。比如在金融风控领域，DLMs能够更准确地识别风险信号，即使在数据量有限的情况下也能保持较高识别准确率。

在对比实验中，DLMs的表现也证明了其优势。当团队将同一份数据集重复训练480次时，模型性能提升了近20%。这种提升幅度远超传统模型，说明DLMs能够从固定数据集中挖掘出更多潜在价值。

DLMs的潜力究竟有多大？

从实验数据来看，DLMs在数据利用效率和模型泛化能力方面都表现出明显优势。这种优势不仅体现在基准测试中，更在实际应用中展现出巨大潜力。比如在电商推荐系统中，DLMs能够更准确地识别用户偏好，即使在数据量有限的情况下也能保持较高推荐准确率。

这种潜力在商业场景中尤为突出。当数据量不足时，传统模型的性能提升会受到明显限制，而DLMs则能保持较高的训练效率。这种特性对于依赖用户行为数据的推荐系统来说，具有重要价值。

从长远来看，DLMs的训练方式可能为AI模型的发展开辟新方向。当数据量逐渐枯竭时，这种新的训练方式能够有效缓解token危机，让模型在有限数据中持续优化。这种能力对于推动AI技术发展具有重要意义。