马克斯·普朗克研究：推理让LLM错误更趋同

马克斯·普朗克论文发现，开启推理后不同LLM的一致性上升，连错误也更趋同。作者用9个Qwen和GPT模型在3个基于美国人口普查调查的预测任务上测试，开启推理后全部9个模型都答错的人群比例上升2.0至2.4个百分点；对推理链最长的人群，校正后一致性降至约0.31至0.39。作者建议在涉及人的决策中检查模型集合里是否有人能给出正确答案，因为更高一致性也可能意味着更多共同错误。