近日，卡内基梅隆大学计算机科学学院的研究团队针对在定性研究中使用生成式大型语言模型(LLM)替代人类参与者的可行性进行了深入探讨。研究指出，尽管LLM能够完成许多复杂任务，但在以人类视角为重点的定性研究中，其应用存在根本局限性。

该研究由卡内基梅隆大学软件与社会系统系(S3D)和机器学习系的K&L Gates职业发展助理教授Hoda Heidari领导。Heidari表示：“我们研究了基于LLM的代理是否可以取代人类参与定性研究，而高层答案是否定的。无论技术多么先进，人类参与者所贡献的各种细微差别都不可能从基于LLM的代理中消除。”

研究团队在上周于日本横滨举行的计算机协会计算机系统人为因素会议(CHI 2025)上展示了其论文《故事的模拟：将大型语言模型作为定性研究参与者进行考察》，并获得了荣誉奖。团队成员包括Heidari教授及多位人机交互研究所(HCII)的学者。

在研究中，团队采访了19位具有定性研究经验的研究人员，并让他们与一个类似LLM的聊天机器人工具进行交互。通过比较LLM生成的数据与人工生成的数据，研究人员发现LLM在收集和解读知识的方法上存在多种问题。例如，LLM可能会从多个来源收集答案，并将它们不自然地拼凑成一个答案，这种态度的混淆并不能反映现实情况。

此外，研究还指出，使用社交媒体平台公开数据训练的LLM可能会引发关于知情同意的问题，以及模型训练所基于数据的人是否有选择退出的选项。这些问题凸显了LLM在定性研究中的道德困境和有效性质疑。

研究人员总结道：“这些模型蕴含着模型制作者的偏见、假设和权力动态，以及它们所基于的数据和背景。因此，它们在研究中的使用重塑了所产生知识的性质，其方式往往强化了现有的等级制度和排斥。”

更多信息： Shivani Kapania 等，《故事模拟：考察大型语言模型作为定性研究参与者》，2025 年 CHI 计算机系统人为因素会议论文集(2025)。