### **PresentAgent：将长文文档转化为多模态演示视频的系统** **概述** PresentAgent 是一个模块化系统，旨在将长篇文本文档（如技术博客、科研综述等）自动转换为带有语音讲解的演示视频。系统通过结构解析、幻灯片生成、语音合成和视频合成四大模块，实现从文本到多模态内容的端到端生成，支持教育、商业等场景的自动化内容创作。 --- ### **核心技术模块** 1. **幻灯片规划与生成** - **文档解析**：使用轻量级语言模型（如 Qwen-VL）解析文本，划分语义段落（如引言、技术解释等）。 - **类型匹配**：为每段匹配合适的幻灯片类型（如项目符号、图文结合、标题介绍等）。 - **模板渲染**：基于 HTML 模板生成静态幻灯片图像，支持标题、图像占位符和替代文本。 2. **讲解生成与语音合成** - **口语化讲稿**：提示语言模型生成简洁、自然的口语化讲解内容，控制长度在 30–150 秒。 - **TTS 合成**：使用 MegaTTS3 生成语音，支持中英文发音和情感节奏控制。 - **时间对齐**：将音频与幻灯片页面同步，确保讲解与视觉内容匹配。 3. **视频合成** - **动态效果**：添加淡入淡出过渡，使用 ffmpeg 合成 1080p 视频，支持字幕和多语言输出。 --- ### **评估与实验结果** - **测试集**：包含 30 个长文档（教育、产品说明、科研综述等），每篇配有人工制作的演示视频作为参考。 - **评估框架**：采用 **PresentEval** 双重策略： - **事实理解**：使用 Qwen-VL-2.5-3B 回答多项选择题（测验准确率）。 - **主观评分**：Qwen-Omni-7B 对内容质量、视觉/听觉效果、理解难度进行打分。 - **关键结果**： - **测验准确率**：Claude-3.7-Sonnet 达到 0.64（优于人工基准 0.56），Qwen-VL-Max 和 Gemini-2.5-Flash 略低。 - **主观评分**：GPT-4o-Mini 在视频内容和视觉吸引力上表现最佳（均分 4.8），Claude-3.7-Sonnet 音频质量均衡（4.53）。 - **权衡案例**：Gemini-2.5-Flash 视觉质量最高（5.0），但理解性较低，反映美观性与清晰度的平衡。 --- ### **案例分析** - **技术博客转视频**：系统将技术博客的“并行化工作流”“代理系统架构”等主题转化为带字幕和语音的演示视频，保持技术准确性的同时实现清晰、对话式表达。 --- ### **讨论与未来方向** - **多模态协同**：当前评估侧重各模态独立质量（如视觉清晰度、音频可理解性），但实际应用中需关注模态间的语义与时间一致性（如讲解与视觉内容的同步）。 - **融合感知模型**：未来需结合 **表示对齐（representation alignment）** 与 **多模态推理能力**，构建能联合感知、理解多模态输入的系统（如基于语音和视觉解释概念）。 - **动态动画支持**：当前系统生成静态幻灯片，未来需引入动态动画和转场效果，优化视频合成架构和生成效率。 --- ### **局限性** 1. **依赖商业 API**：使用 GPT-4o、Gemini-2.5 等商业模型导致成本高，限制了大规模评估。 2. **静态幻灯片**：尚未支持动态动画，受限于视频合成架构和生成速度与质量的平衡。 --- ### **总结** PresentAgent 通过模块化设计实现了从文本到多模态演示视频的自动化生成，其实验结果表明在事实理解、内容质量和视觉效果上接近人类水平。未来需进一步优化多模态协同、动态动画支持及轻量化部署，推动系统在教育、商业等场景的广泛应用。