### 表格问答系统构建指南（结构化总结） --- #### **一、核心输入表示策略** 1. **双路输入机制** - **数据矩阵序列化**：优先使用JSON/Markdown/LaTeX格式，结合三行示例行Schema确保结构清晰。 - **结构图像补充**：对合并单元格、层级表等复杂结构，使用1024px宽度图像提供视觉线索（如财报表格）。 - **表示互转能力**：支持JSON⇄Markdown⇄LaTeX的动态转换，适配不同工具链需求。 2. **复杂输入处理** - **层级表（HiTab）**：通过嵌套结构表示多级分类（如财务报表层级）。 - **长文本+多表（MULTIHIERTT）**：结合自然语言描述与表格数据，提升上下文理解。 - **跨表关联（Spider2）**：支持多表联合查询，模拟企业数据仓库场景。 --- #### **二、工具链与执行引擎** 1. **核心工具层** - **计算引擎**：集成财务算子的pandas执行器，支持SQL/Python脚本调用。 - **可视化组件**：嵌入图表生成工具，输出带计算过程与来源单元格的解释性结果。 - **工具审计**：记录工具选择、参数、执行日志，支持失败回放与根因分析。 2. **动态计划生成** - 模型负责生成执行计划（如“先计算总营收，再对比季度数据”），工具层按计划调用。 --- #### **三、评测与质量保障** 1. **核心指标体系** - **执行正确率（EX）**：关注结果是否符合业务逻辑（如Text-to-SQL）。 - **证据溯源**：标注答案来源单元格，提升可信度（如财报问答）。 - **重采样一致性**：对长回答任务，通过重采样验证稳定性（如TQA总结）。 2. **鲁棒性测试** - **FREEB-TQA**：测试格式扰动、列顺序打乱等噪声场景。 - **CRT-QA**：验证复杂推理链路（如跨表关联分析）。 - **企业侧噪声模拟**：加入单位切换、小数精度浮动等真实场景干扰。 3. **多模态评测** - **双通道验证**：图像+文本/Schema联合输入，消融实验分析结构贡献度。 - **方差分析**：记录不同表示方式下的波动区间，定位工具链共振点。 --- #### **四、落地场景与实施步骤** 1. **MVP快速验证** - **财报问答示例**： - 输入：数据矩阵序列化 + 三行Schema + 合并单元格图像。 - 工具：财务算子pandas执行器。 - 输出：带计算过程的图表与证据单元格，线上监控EX与证据命中率。 - **关键触发机制**：结果不确定时自动触发简短澄清提问（如“是否按季度统计？”）。 2. **版本化管理** - **基准集**：按“弱到强”难度阶梯搭配（WTQ→HiTab→Spider2）。 - **表示模板**：版本化JSON Schema与Markdown模板，减少团队协作摩擦。 - **知识库**：记录代表性失败样例与修复策略，形成系统化知识沉淀。 --- #### **五、团队协作分工** 1. **数据工程** - 负责表示转换通道、采样与标注，确保输入一致性。 - 工具：PySpark/SQLAlchemy实现数据预处理。 2. **应用工程** - 编排多路输入、工具链、对话澄清流程，提升用户体验。 - 工具：集成问答系统与QTSUMM小节总结模块。 3. **评测工程** - 管理基准集、指标口径与线上观测，确保系统稳定性。 - 工具：HiTab/MULTIHIERTT等多任务集联合评测。 --- #### **六、交付清单与检查表** 1. **基础工单** - 表示双路与互转能力。 - 采样与解释管道（长表裁剪+关键词摘要）。 - 工具执行与审计（日志记录+失败回放）。 - 鲁棒性与多语评测（FREEB-TQA/CRT-QA）。 - Spider2/2V套件集成。 - 长回答混合评估（规则+执行+模型评审）。 2. **周度监控指标** - 复杂输入失败率（HiTab/MULTIHIERTT）。 - 跨表示摆动幅度（JSON/Schema切换）。 - 高阶任务澄清触发率（如跨表关联）。 --- #### **七、未来扩展方向** 1. **表示迁移训练** - 练习模型在JSON/Markdown/LaTeX之间的转换，提升跨工具链稳定性。 2. **高阶意图处理** - 支持Spider2风格的目标导向问题（如“分析季度营收趋势”）。 - 引入Text2Analysis的分析型任务（如趋势诊断、异常检测）。 3. **科学文献表格场景** - 自动识别趋势、异常、跨文本一致性，贴近真实业务需求。 --- #### **八、关键结论** - **输入表示决定系统上限**：选错表示（如忽略合并单元格结构）会导致后续模型表现不稳定。 - **版本化管理是核心**：通过基准集、模板、工具白名单的版本化，确保系统可维护性。 - **从“能检索”到“会思考”**：逐步引入高阶意图处理，提升系统智能化水平。 --- **附：参考数据集与工具** - **基准集**：WTQ、TabFact、HiTab、MULTIHIERTT、Spider2、Text2Analysis、QTSUMM。 - **结构增强模块**：Table Cell Locating、Merged Cell Detection（用于训练/推理前结构预处理）。 通过以上策略，可系统化构建稳定、可靠的表格问答系统，适配复杂业务场景。