奥特曼说了句啥?这位大佬竟挥泪告别OpenAI?为梦想付出的成本,究竟能有多高?

2025-10-14 08:00:03 作者:Vali编辑部

全球AI军备竞赛已经耗资超过3000亿美元,但真正关注AI安全的科学家寥寥无几。Anthropic核心成员Benjamin Mann透露,当人形机器人觉醒时,缺的只是一个「大脑」——而这一天,最早可能在2028年到来。

1亿美元,还是守护人类文明?

在硅谷科技圈,1亿美元的融资额度早已成为常态。但Benjamin Mann却用这个数字衡量着AI安全的分量。他带领的团队在2020年底集体离开OpenAI,创办Anthropic,用行动诠释着「安全优先」的信念。这场从OpenAI出走的行动,背后藏着对AI发展路径的深刻思考。

AI安全:一场无声的战争

全球AI研发投入已突破3000亿美元,但真正专注于AI对齐研究的科学家不足千人。Benjamin Mann坦言,这正是AI安全领域最严峻的挑战。当资本追逐着技术突破,安全研究往往被边缘化。他用「强制性登机检查」比喻AI安全工作:即使概率再小,也要防范1%坠机率的航班。

技术路线之争:RLHF与RLAIF

在AI训练技术领域,Benjamin Mann团队选择了一条不同于主流的路径。当同行沉迷于人类反馈强化学习(RLHF)时,他们已升级到让AI自我批判与修正的RLAIF。这种技术革新让模型训练效率提升千倍,但也带来新的风险——如果自查机制存在盲区,就像蒙眼开火箭。

硬件瓶颈:硅、算法与电的角力

算力饥荒、硅的诅咒、数据荒漠——这些物理限制正在制约AI发展。Benjamin Mann指出,7nm芯片的物理极限逼近,算法进步开始「挤牙膏」。而高质量语料即将耗尽,AI可能陷入「自我抄袭循环」。这些挑战让AI安全研究显得更加紧迫。

变革性AI:人类文明的新纪元

当人形机器人成本降至两万美元,AI安全研究的紧迫性达到顶峰。Benjamin Mann预测,2024-2026年将是关键窗口期,2028年可能迎来AI奇点。如果成功实现安全对齐,人类将进入「数据中心里的天才国度」;否则,后果难以估量。

从OpenAI出走:安全优先的抉择

2020年底,Benjamin Mann带领团队集体离开OpenAI,创办Anthropic。这个决定源于对安全优先级的担忧。当时,OpenAI安全团队发现安全优先级持续降低,边界风险被忽视。Mann认为,安全应是全员核心目标,而非某个「阵营」的职责。

AI安全的使命:守护人类文明

Benjamin Mann的AI安全理念源于对未来的深刻思考。他在2016年阅读Nick Bostrom的《超级智能》后,第一次意识到AI安全可能是人类命运最关键的议题。如今,他将这种思考转化为行动,用「宪法式AI」构建模型价值观,用真实数据暴露弱点,为AI安全研究铺就道路。

未来展望:从实验室到现实世界

随着AI技术的快速演进,人形机器人即将走进日常生活。Benjamin Mann提醒,当AI进入机器人和自主智能体领域,才是最大的危险。现在的AI只是运行在计算机上,但未来可能控制整个系统。这要求人类必须做好准备,以应对可能的AI失控风险。

AI安全的终极目标:让AI成为人类文明的伙伴

Benjamin Mann的团队正在探索一条独特的道路。他们将联合国人权宣言、苹果隐私条款等原则写入模型,构建系统化的价值观体系。这种「宪法式AI」不仅减少偏见,更让AI的价值观更具系统性。这或许正是应对未来AI挑战的关键。

从实验室到现实世界,AI安全研究正在经历关键阶段。Benjamin Mann和他的团队用行动证明,安全优先的AI发展路径是可行的。当人形机器人即将走进生活,这场关乎人类文明的AI安全之战,才刚刚开始。