AI造假论文,平台真的能管住吗?自动化审核,能扛住多少压力?
AI生成论文泛滥成灾,arXiv平台看不下去了——
紧急升级审核机制,用自动化工具来检测AI生成内容。
Nature最新发现,原来每年竟然都有2%的论文会因为AI使用被拒?!
比如像,bioRxiv和medRxiv每天都要拒绝十多篇公式化AI手稿,每个月就高达7000多份。
本来是方便快速分享成果的预印本平台,现已成为了AI内容的温床。
一方面AI写作泛滥成灾,另一方面又要确保不会误伤到合理的AI英语润色需求。
两难之间,预印本平台也是出手整顿了…….
不过这件事还得从一篇离谱的预印本论文说起。
AI生成内容泛滥
这篇论文题目名为“自我实验报告:梦境中生成式人工智能界面的出现”,7月发表在PsyArXiv上。
乍一看好像没什么问题,直到“不幸”被一名心理学家点开了文档。
嚯好家伙,整篇论文只有短短几页,署名还只有作者Jiazheng Liu一个人,也没有注明隶属机构。
再仔细看看内容呢,所描述的AI实验更是脱离实际,基本可以盖棺定论用了AI。
由于没有明确声明AI的使用情况,PsyArxiv也是立即下架删除了这篇论文。
结果没过多久,由于预印本审核不严,该作者再次在PsyArXiv上传了标题和摘要几乎一模一样的预印本。
另外作者还向Nature附了一封邮件,邮件内容表示AI在该论文生成中发挥作用有限,只用于数学推导、符号计算、组装和应用现有数学工具、公式验证以及另外八项任务。
他称自己是常驻中国的独立研究人员,没有高等教育学位,唯一的工具还是台二手智能手机……当然,现在第二个版本也已被删除。
不过这也只是众多AI生成论文中的其中一篇,据arXiv估计,每年都有约2%的论文,因为涉及AI和专门批量造假学术论文的论文工厂,而被平台拒之门外。
尤其是在ChatGPT推出后,这一比例还出现了大幅度增长的情况,LLM生成了arXiv上22%的计算机科学摘要以及约10%的bioRxiv生物学摘要。
在一些发表在生物医学期刊的摘要中,AI生成也达到了14%。
PsyArXiv也对此发表了声明,明确表示涉及AI生成的论文内容有所增加,对于他们这类降低研究共享门槛的非盈利组织而言,越来越多诸如此类的内容,只会让读者削弱对平台共享内容的信任程度。
筛选低质量的内容需要资源支持,且会降低论文提交后的处理速度,这与预印本平台致力于让科学家们更容易发表工作的初心相悖。
而与此同时,AI幻觉导致的虚假预印本也会带来错误信息,误导从事相关工作的科研人员。
如何能够在保持快速审核的同时,确保质量水平,现已成为预印本平台共同的挑战。
预印本平台没有坐以待毙
要知道,AI论文生成并不能全盘否定,许多研究人员会使用AI工具来提高清晰度或者总结数据,尤其是对于一些英语非母语的作者,他们需要AI协助完成润色工作。
这是相当合理的行为,并不存在论文欺诈,真正值得担心的是那些完全由AI捏造方法、结果的论文内容。
但二者之间其实相当难以区分,一些预印本平台,如PsyArXiv,会直接撤下被标记为内容存疑的论文,但还有一些平台考虑到可能会误伤,所以虽然也会将内容标记为“已撤回”,但在没有明确法律要求的情况下,不会直接进行删除。
不过他们也没有坐以待毙,现在会使用各种自动化工具和人工筛选程序来捕捉此类可疑内容,如Research Square正在使用一款名为Geppetto的工具来检测人工智能生成文本的痕迹。
arXiv也在试图提高综述性论文的发表标准,因为这类论文往往投稿数量巨大,且很多都是AI生成,这样做的目的就是为了丰富个人履历。
一直依赖人工筛选的openRxiv,现在也在寻求自动化工具使用,以进一步识别AI生成内容的特征。
当前预印本平台们都正在加急采取一系列反制措施,包括检查异常用户行为、在投稿流程中增设步骤、调整内容公开可见的方式或时间,以阻止低质量内容进入平台。
但这无异于隔靴搔痒,预印本平台在反击的同时,AI也在不断发展。
更有甚者,一些作者为了规避被自动化工具抓住AI使用痕迹,会在论文里加入提示词,试图欺骗自动评审。
也有专业的编辑表示,这对于预印本平台来说相当可怕,因为预印本其实本质还是未经人工审查的。
所以当未来AI发展到,虚假与真实内容之间已经完全无法区分的时候,预印本平台又将如何应对呢?
AI生成内容的双刃剑效应
AI生成内容带来的便利性不容忽视,它让科研工作者能够在短时间内完成大量重复性工作,尤其对于非英语母语的研究者而言,AI工具能够显著提升论文的表达质量。
这种效率提升是显而易见的,像一些生物医学领域的研究者,借助AI工具可以在几小时内完成摘要撰写,节省大量时间成本。
但与此同时,这种便利性也带来了潜在风险,当AI生成的内容缺乏深度思考和逻辑推导时,很容易导致论文内容失真。
例如,一些AI生成的摘要虽然结构完整,但往往缺乏对研究背景的深入分析,导致读者难以准确理解研究价值。
这就像是一把双刃剑,既为科研工作提供了便利,也增加了内容真实性验证的难度。
预印本平台在应对AI生成内容时,需要在效率与质量之间找到平衡点,既要保证科研成果的快速传播,又要避免低质量内容对学术界的冲击。
一些平台已经开始尝试引入多维度审核机制,比如在投稿时要求作者提供AI使用说明,或者在论文中加入AI生成内容的标注。
这种做法虽然能提高透明度,但也会增加作者的负担,如何在不增加过多工作量的前提下实现内容质量控制,是预印本平台需要持续探索的方向。
与此同时,AI生成内容的质量也在不断提升,一些先进的模型已经开始具备一定的逻辑推理能力,能够生成较为完整的科研论文。
这种进步让预印本平台不得不重新审视审核标准,既要识别AI生成内容的特征,又要避免误伤那些合理使用AI工具的研究者。
这种动态平衡的建立,将决定预印本平台在未来AI时代的发展方向。
预印本平台的未来挑战
当前的预印本平台在应对AI生成内容时,面临着多重挑战。首先是技术层面的挑战,如何准确识别AI生成内容的特征,需要不断优化算法和模型。
其次是流程层面的挑战,如何在保持快速审核的同时,确保内容质量,这需要平台在审核流程中引入更多人工干预环节。
此外,还有制度层面的挑战,如何建立一套科学合理的AI使用规范,让研究者在合理范围内使用AI工具,同时避免滥用。
这些挑战并非一朝一夕能够解决,需要平台、研究者和AI工具开发者共同参与。
一些平台已经开始尝试建立AI使用评价体系,比如在投稿时要求作者提供AI使用说明,或者在论文中加入AI生成内容的标注。
这种做法虽然能提高透明度,但也会增加作者的负担,如何在不增加过多工作量的前提下实现内容质量控制,是预印本平台需要持续探索的方向。
与此同时,AI生成内容的质量也在不断提升,一些先进的模型已经开始具备一定的逻辑推理能力,能够生成较为完整的科研论文。
这种进步让预印本平台不得不重新审视审核标准,既要识别AI生成内容的特征,又要避免误伤那些合理使用AI工具的研究者。
这种动态平衡的建立,将决定预印本平台在未来AI时代的发展方向。
预印本平台的未来,不仅取决于技术的进步,更取决于整个学术界对AI工具使用的态度和规范。
只有当研究者、平台和AI工具开发者形成合力,才能在保持科研效率的同时,确保内容的真实性,让AI生成内容真正成为科研工作的助力,而非负担。