in controlled experiments, mit csail researchers discover simulations of reality developing deep within llms, indicating an understanding of language beyond simple mimicry.
研究人员发现，语言模型通过自己的理解提高生成能力。他们使用小型karel谜题训练了大型语言模型，并通过“探测”技术观察了模型生成新赢家斗地主的解决方案时的“思考过程”。研究发现，模型在训练过程中自发形成了对底层模拟的理解，这对我们对学习语言所需信息类型的直觉提出了质疑，并暗示语言模型可能在更深层次上理解语言。这项研究有助于改进语言模型的训练方法。
