最近有个好消息传来，AI技术在生命科学领域的突破让不少研究者感到惊喜。2024年诺贝尔化学奖就颁发给了计算生物学领域的科学家们，这说明AI在生命科学中的作用已经得到权威认可。像Alphafold3、Evo2这样的AI工具，已经能准确预测几乎所有生命分子的结构和功能，科学家们甚至可以利用这些工具设计工程酶、疫苗、抗体、药物等生物产品。

不过，这些AI工具的潜力远不止于此。既然能设计「药」，那是否也能设计「毒药」？能设计mRNA疫苗，是不是也可以设计病毒？这个问题最近引发了不少讨论。来自普林斯顿大学、斯坦福大学、浙江大学等机构的研究团队最近给出了一项重要发现——他们开发出了一套系统性评估DNA大模型「越狱攻击」风险的框架，名为GeneBreaker。

这项研究发现，即使在训练时已经去除了所有致病序列，当前最强的Evo2-40B模型仍能被引导生成接近SARS-CoV-2、HIV、脊髓灰质炎病毒等病原体的DNA序列，攻击成功率高达60%。这项研究以「GeneBreaker: Jailbreak Attacks against DNA Language Models with Pathogenicity Guidance」为题，于2025年5月28日发布在arXiv预印平台。

DNA编码了几乎所有生物体的遗传指令，对DNA密码的破译推动了基因组学和合成生物学的突破性进展。近年来，DNA基础模型在设计合成功能性DNA序列，甚至设计全基因组方面均取得了成功。然而，这些模型对「越狱」的敏感性如何，我们却不得而知。科学家们开始担心这些模型会不会产生有害序列（例如病原体或产毒基因）。

于是，科学家开发了首个系统性评估DNA基础模型越狱漏洞的框架GeneBreaker。这项研究的核心在于，他们发现即使在训练时已经去除了所有致病序列，模型仍能生成接近病原体的DNA序列。这说明当前的DNA模型在安全性方面还存在明显漏洞。

GeneBreaker的越狱攻击包含三个关键组件：第一，用于提示设计的LLM智能体，使用ChatGPT-4o来检索与目标致病区域（例如HIV-1 env基因）具有高同源性的非致病DNA序列；第二，一种由PathoLM（以致病性为中心的DNA模型）和平均对数概率启发式方法指导的集束搜索策略；第三，一个评估流程，使用核苷酸/蛋白质BLAST将生成的序列与精选的人类病原体数据库进行比较。

为了验证GeneBreaker，研究人员构建了用于测试DNA模型「越狱」的基准数据集JailbreakDNABench，它包含众多与人类健康息息相关的各类病毒序列，包括6个主要类别：大DNA病毒、小DNA病毒、正链RNA病毒、负链RNA病毒、双链病毒和肠道RNA病毒。

研究人员在JailbreakDNABench上对模型进行了评估。结果显示，GeneBreaker成功使6种病毒类别内的最新Evo系列模型发生了持续越狱，其中Evo2-40B的攻击成功率高达60%。这说明当前的DNA模型在安全性方面还存在明显漏洞。

研究人员还使用「越狱」后的模型生成了近似SARS-CoV-2刺突蛋白和HIV-1包膜蛋白的两种「病毒」DNA序列。AlphaFold3的结构预测表明，生成的DNA序列不仅与Sars-Cov-2刺突蛋白具有较高的核苷酸和氨基酸相似性，而且生成的蛋白质在结构上与其天然对应物一致。

越狱生成的HIV-1包膜蛋白的预测结构与晶体结构的RMSD仅为0.334，说明「越狱」非常成功。这表明AI模型不仅能生成病原体序列，还能在结构上接近真实病毒。

研究人员还使用GeneBreaker（Evo2 40B）对SARS-CoV-2刺突蛋白进行了进化建模研究。GeneBreaker生成的序列涵盖了广泛的进化枝，这表明DNA语言模型能够重现进化上不同的刺突蛋白变体。并且，可以根据比对序列计算得出完整刺突蛋白的氨基酸突变熵。

用通俗的话说，这项研究就像给AI模型装上了「病毒探测器」。虽然目前还没有真的出现AI制造病毒的情况，但这项研究已经为构建更健全的防御机制和安全架构提供了方向。科学家通过GeneBreaker揭示DNA基础模型生成致病序列的漏洞，正是为构建更健全的防御机制和安全架构提供了方向。

尽管生物学AI存在被恶意滥用和公众信任的风险，但主动识别漏洞对确保生物模型安全性至关重要。科学家呼吁应当通过加强跨学科合作和限制高风险信息传播来降低风险，同时优先考虑伦理从而保障生物生成式AI的安全未来。

GeneBreaker的相关数据已经上传在github，感兴趣的小伙伴可以去尝试一下。代码获取：https://www.valimart.net/