最近AI圈掀起一阵热潮，老黄不仅卖铲子（GPU），还自己下场开矿（造模型）。英伟达最新推出的Llama Nemotron Super v1.5开源模型，专门针对复杂推理和智能体任务进行了优化。这个模型在科学、数学、编程及agent任务中实现了行业领先的性能表现，同时将吞吐量提升至前代的3倍，可以在单卡上高效运行，实现了更准、更快、更轻的“三全其美”。

这背后究竟有何玄机？

模型介绍

Llama Nemotron Super v1.5是Llama-3.3-Nemotron-Super-49B-V1.5的简称，它是Llama-3.3-Nemotron-Super-49B-V1的升级版本。这个模型基于Meta的Llama-3.3-70B-Instruct衍生而来，专门针对复杂推理和智能体任务进行了优化。通过架构调整和训练策略的改进，使其在保持高性能的同时，显著降低了计算资源的消耗。

模型架构

Llama Nemotron Super v1.5采用神经架构搜索（NAS）技术，这种技术通过算法从众多可能的神经网络结构中寻找最优解，实现准确率与效率的平衡。相比传统Transformer架构，该模型在结构设计上做了两项关键调整。

首先，引入了跳过注意力机制（Skip attention）。在部分模块中，直接跳过注意力层，或用单个线性层替代。这种设计减少了计算量，同时保持了模型的核心功能。其次，采用可变前馈网络（Variable FFN），不同模块的前馈网络扩展比可以灵活调整。这种设计使模型在资源受限时仍能高效运行。

研究团队还对原始Llama模型进行了逐模块的知识蒸馏（block-wise distillation）。通过构造多个模块变体，并在所有结构中搜索最佳组合，最终构建出兼顾性能与效率的模型。这种设计让模型既能满足单卡H100 80GB显卡的吞吐量和内存需求，又尽量减少性能损失。

训练与数据集

模型在FineWeb、Buzz-V1.2和Dolma三个数据集上进行了训练，总计包含400亿个token。训练数据重点关注英语单轮和多轮对话，确保模型在实际应用中具备良好的对话能力。

在后训练阶段，模型通过结合监督微调（SFT）和强化学习（RL）的方法，进一步提升在代码、数学、推理和指令遵循等任务上的表现。训练数据不仅包括公开语料库中的题目，还包含人工合成的问答样本。其中部分题目配有开启和关闭推理的答案，帮助模型更好地区分不同推理模式。

英伟达表示，这些训练数据将在未来几周内发布。整体来看，Llama Nemotron Super v1.5是一个通过NAS优化架构、精简计算图的Llama 3.3 70B Instruct变体。它针对单卡运行场景做了结构简化、知识蒸馏训练与后训练，兼顾高准确性、高吞吐量与低资源占用，特别适合英语对话类任务及编程任务的部署。

部署优势

英伟达延续了其在AI生态方面的优势，这款模型专为NVIDIA GPU加速系统设计。通过充分利用GPU核心和CUDA库，相比仅依赖CPU的方案，模型在训练和推理阶段实现了显著的速度提升。

目前该模型已开源，开发者可以在build.nvidia.com体验Llama Nemotron Super v1.5，或直接从Hugging Face下载模型。这种开源策略让开发者能够更灵活地使用该模型，加速AI应用的落地。

模型定位

作为英伟达最新发布的开源大语言模型，Llama Nemotron Super v1.5隶属于Nemotron生态。这个生态集成了大语言模型、训练与推理框架、优化工具和企业级部署方案，旨在实现高性能、可控性强、易于扩展的生成式AI应用开发。

为满足不同场景需求，英伟达推出了三个不同定位的大语言模型系列——Nano、Super和Ultra。Nano系列针对成本效益和边缘部署，适合部署在边缘设备或成本敏感型场景。Super系列则在单卡上平衡精度和计算效率，适合企业开发者或中型部署。Ultra系列则专注于数据中心的最大精度，适合复杂推理和大规模生成任务。

目前，Nemotron已获得SAP、ServiceNow、Microsoft、Accenture、CrowdStrike、Deloitte等企业支持，用于构建面向企业级流程自动化和复杂问题解决的AI智能体平台。此外，在Amazon Bedrock Marketplace中也能通过NVIDIA NIM微服务调用Nemotron模型，简化部署流程，支持云端、混合架构等多种运营方案。

总结来看，Llama Nemotron Super v1.5通过架构优化和训练策略的改进，在保持高性能的同时显著降低了资源消耗。这种设计使其在单卡运行场景中具备明显优势，特别适合需要高吞吐量和低资源占用的AI应用。随着开源和生态支持的推进，这款模型有望在更多领域发挥作用。