人工智能在文学分析领域的应用潜力引发关注。哥伦比亚大学工程系的研究人员近期通过一项创新评估框架，对大型语言模型在叙事理解方面的能力进行了测试。
该研究评估了GPT-4、Claude-2.1和LLaMA-2-70B等前沿语言模型在摘要短篇小说任务中的表现。研究人员与专业作者合作，构建了一个受控原创数据集，确保测试内容未包含在模型训练数据中，从而更准确地评估其分析能力。
基于叙事理论的定量与定性分析表明，这些模型在超过半数的案例中出现了忠实性错误，并在处理具体细节、复杂潜台词或非线性叙事结构时面临挑战。哥伦比亚大学计算机科学教授凯瑟琳·麦基翁指出：“在我们真正信任LLMs的分析能力之前，需要明确证据来界定其功能范围。”
论文主要作者梅兰妮·苏比亚表示：“模型输出依赖概率机制，导致结果不可预测。即使性能最优的模型，在提供可靠文学分析时也仅具约50%的准确率，类似于随机猜测。”这项研究强调了当前语言模型在需要深度语境理解和细读的创造性任务中的局限。
研究团队注重伦理规范，确保参与作者获得充分报酬并保护其知识产权。该项目专注于叙事理解评估而非文本生成，体现了对负责任研究实践的重视。苏比亚补充道：“人类专家见解应指导技术评估，确保人在人工智能发展中居于核心位置。”
该评估框架为未来研究提供了可复制的模型，通过领域专家合作提升对语言模型解释能力的评测可靠性。研究表明，尽管人工智能可作为辅助工具，但在细微文学分析等任务中仍需保持审慎态度。
出版详情：作者：Bernadette O. Young, Columbia University；标题：《Can AI understand literature? Researchers put it to the test》；发表于：《arXiv》(2024)。
