模拟人类语音的法学硕士(LLM)正逐步成为社会科学研究的新工具,其通过低成本方式测试假设、开展试点研究,已取得早期积极成果。社会科学研究通过提升对人类行为的理解,助力企业营销、政策制定及公共卫生策略规划。然而,传统社科研究因研究对象——人的复杂性而面临耗时、昂贵及难以复制的挑战。

随着人工智能进步,LLM可模拟专业社会科学家或多样化人类受试者,进行低成本假设测试与初步研究。斯坦福大学以人为本人工智能研究所 (HAI) 的访问学者、芝加哥大学博士生Jacy Anthis指出,尽管LLM在模拟上展现出潜力,但其答案常缺乏多样性、带有偏见或过于谄媚,且在新环境推广能力有限。尽管如此,Anthis对LLM在社科研究中的应用持乐观态度,认为一年深入研究可带来实质性进展。
为评估LLM模仿人类能力,斯坦福大学PACS高级研究员Luke Hewitt团队将LLM与随机对照试验(RCT)对比,发现LLM在模拟人类对随机治疗反应上,预测准确度与人类专家相当,且与治疗效果高度相关。然而,Hewitt也指出,新模型因网络搜索功能而更难审查,可能需要未公开研究档案进行评估。同时,LLM还面临分布一致性挑战,即无法完全匹配人类答案多样性。斯坦福大学电气工程研究生Nicole Meister称,通过“少量样本”引导,可改善LLM答案分布,但该方法对偏好问题效果有限。此外,使用LLM还面临验证、偏见、谄媚、陌生性、概括等挑战。Anthis认为,这些挑战虽存在,但可通过特定技巧减轻,如基于访谈的模拟、微调模型等。
当前,混合方法成为利用LLM进行社科研究的最佳实践。斯坦福大学社会学研究生戴维·布罗斯卡(David Broska)提出结合人类回应与LLM预测的混合研究设计,通过预测驱动推理,有效利用两种数据资源,同时避免LLM引入偏见。Hewitt表示,LLM模拟在实验设计、问卷措辞选择等方面已发挥作用,但人类数据仍是社科研究基石。
更多信息: Jacy Reese Anthis 等人,LLM 社会模拟是一种有前途的研究方法,arXiv (2025)。期刊信息: arXiv














京公网安备 11010802043282号