### SELF-QUESTIONING LANGUAGE MODELS (SQLM) 框架详解 --- #### **核心思想：自问自答提升推理能力** SQLM（Self-Questioning Language Models）是一种无需外部标注数据的自监督学习框架，通过模型自身的“提问-解答”过程，实现推理能力的自我提升。其核心机制是**非对称自博弈**（Asymmetric Self-Play），即提议者（Proposer）动态生成问题，解决者（Solver）通过多次解答并接收奖励信号，逐步优化模型的推理能力。 --- ### **1. 核心流程步骤** 以代数应用题为例，SQLM的流程如下： 1. **提议者生成问题** - 输入：主题提示（如“生成代数应用题”） - 输出：生成一个具体问题（如：“鸡兔同笼问题”）。 2. **解决者多次解答** - 模型对同一问题进行多次解答，生成多个答案。 3. **计算奖励信号** - **解决者奖励**：根据答案正确性（如[1,1,1,0]）。 - **提议者奖励**：根据问题难度和多样性（如1）。 4. **模型参数更新** - 根据奖励信号调整模型参数，优化提问和解答能力。 --- ### **2. 实验设计与验证** #### **主实验设计** - **任务领域**： - **算术**（三位数乘法）：检验基础计算能力。 - **代数**（OMEGA基准）：评估复杂推理能力。 - **编程**（Codeforces）：测试代码生成与算法逻辑。 - **评价指标**： - **准确率**：直接判断答案是否正确（数学）或代码是否通过测试用例（编程）。 - **基线方法**： - **原始预训练模型**：无额外训练的模型。 - **格式奖励基线**：仅奖励答案格式，不关注内容正确性。 - **结果**： - SQLM在所有任务中显著优于原始模型（如代数准确率从44.0%提升至60.0%）。 - 优于格式奖励基线，证明是推理能力提升而非表面格式模仿。 --- ### **3. 消融实验：提议者更新频率** - **实验设置**： - 测试不同提议者更新频率（1,5,10,∞）。 - **频率=5**表现最优，方差低，说明动态调整难度是关键。 - **频率=∞**（固定问题集）效果差，缺乏课程适应性。 - **频率=1**（频繁更新）训练不稳定，破坏学习节奏。 - **结论**： 动态更新提议者是SQLM成功的核心，平衡频率（如5）可实现有效课程学习。 --- ### **4. 深度实验：方法特性分析** #### **实验一：难度递增课程生成** - **结果**： - 算术问题从简单加减法演变为复杂表达式（如含括号、乘除）。 - 编程问题从单行代码扩展到复杂算法逻辑（如最长唯一子数组）。 - **结论**：SQLM自动生成适应性课程，而非随机问题生成。 #### **实验二：数据多样性分析** - **对比模式**： - **在线生成**（SQLM标准）：问题在特征空间分布广泛，多样化。 - **批量预生成**：问题聚集在少数区域，多样性差。 - **结论**：SQLM的奖励机制引导模型探索更广阔的问题空间，优于简单合成数据方法。 --- ### **5. 创新点与优势** - **动态课程学习**：提议者根据解决者能力动态调整问题难度，形成自适应学习路径。 - **自监督奖励机制**：无需外部标注，通过正确性与多样性奖励信号驱动学习。 - **跨任务泛化**：从算术到编程，证明方法的通用性与有效性。 --- ### **6. 总结** SQLM框架通过“提问-解答-奖励”循环，使大语言模型在无外部数据的情况下显著提升推理能力。其核心创新在于动态课程生成与自适应奖励机制，实验结果验证了其在算术、代数和编程任务中的有效性。该方法为自监督学习提供了新的范式，具有广泛的应用潜力。