日本人工智能初创公司Sakana近日宣布，其AI系统生成的一篇科学论文通过了同行评审，成为首批由AI生成的经过同行评审的出版物之一。然而，这一成就的背后存在一些争议和限制。

Sakana使用名为The AI Scientist-v2的AI系统生成了一篇论文，并将其提交给国际学习表征会议(ICLR)的一个研讨会。该公司表示，研讨会的组织者和ICLR领导层同意进行一项实验，对AI生成的手稿进行双盲评审。Sakana与不列颠哥伦比亚大学和牛津大学的研究人员合作，提交了三篇AI生成的论文，其中一篇被研讨会接受。这篇论文对AI模型的训练技术提出了批判性观点，但Sakana在发表前撤回了该论文，以确保透明度和尊重ICLR的规定。

Sakana的研究科学家Robert Lange表示，AI Scientist-v2“端到端”生成了论文，包括科学假设、实验代码、数据分析、可视化和文本。然而，Sakana也承认，AI在生成论文时偶尔会出现引用错误，例如错误地将方法归属于错误的文献。

尽管Sakana的论文通过了同行评审，但其成就并不像表面看起来那样令人印象深刻。首先，该论文没有经过额外的“元评审”，因为Sakana在初步评审后撤回了它。其次，会议研讨会的接受率通常高于主要会议轨道，Sakana在其博客中也坦率地提到了这一点。此外，该公司表示，其AI生成的研究均未达到ICLR主要会议轨道的发布标准。

阿尔伯塔大学的人工智能研究员Matthew Guzdial认为，Sakana的结果“有点误导”。他指出，Sakana的研究人员从AI生成的论文中挑选了他们认为可能通过评审的成果，这表明人类与AI的结合可能更有效，而非AI本身能够独立推动科学进步。

伦敦国王学院的研究员Mike Cook则质疑同行评审的严谨性。他指出，像这样的新研讨会通常由初级研究人员评审，且研讨会主题涉及负面结果和困难，这使得AI生成的内容更容易通过评审。Cook还强调，AI生成论文通过评审并不新鲜，但这并不等同于AI能够真正推动科学进步。

Sakana表示，其目标并非声称AI能够产生开创性的科学工作，而是研究AI生成研究的质量，并强调对“AI生成科学的规范”的迫切需求。该公司写道：“未来，我们将继续与研究界就这项技术的现状交换意见，以确保它不会发展成仅以通过同行评审为目的，从而破坏科学评审过程的意义。”