目录:
1.gpt模型
2.gpt-3模型
3.gpt transformer
4.gptms
5.gpt elmo
6.gpd模型
7.gpt2中文模型
8.gpt模型结构
9.gpt2模型大小
10.gpt3 模型大小
1.gpt模型
我们一直深信,人类的大脑,是靠着一套严谨的规则、语法和结构分析来理解语言的,复杂且独一无二这是一个持续了数十年的「共识」可最近Nature Communications上发表的一项颠覆性研究,把这个古老的信仰掀了个底朝天。

2.gpt-3模型
论文地址:https://www.nature.com/articles/s41467-025-65518-0研究者们让受试者听30分钟的故事,同时用毫秒级的脑电技术,精准捕捉大脑对每个词语的反应接着,他们将同样的故事文本输入给大语言模型,比如GPT-2和Llama-2,提取模型每一层对文本的内部理解表示。
3.gpt transformer
令人震惊的实验结果出现了:GPT那看似冰冷的层级结构,竟然在人类的大脑里,找到了完美的时间对应关系过去,我们总以为是GPT在模仿人类但这个实验却给出了一个石破天惊的暗示:或许,我们的大脑,天然就长成了「GPT」的样子。
4.gptms
GPT的结构,能在大脑里找到对应要理解这项研究的颠覆性,必须看清它最关键、也最精妙的动作:把GPT的48层结构,逐层对齐到人脑的时间序列研究团队找了9名因癫痫接受术前监测的病患,他们的大脑皮层上,已经植入了高密度的ECoG电极。

5.gpt elmo
ECoG植入和定位示意图这种设备能以毫秒级精度记录大脑真实的电活动受试者听了一段30分钟的播客,研究者同步采集到了围绕每个词出现时刻的高伽马脑电信号这些信号覆盖了语言通路中的关键区域:从掌管听觉的mSTG、aSTG,到负责语言整合的IFG,再到高级语义区的TP。
6.gpd模型
与此同时,研究者把同一段文本输入GPT-2 XL和Llama-2每当模型处理到一个词时,他们就「暂停」,抽取这个词在模型内部从第一层到最后一层的所有内部理解表示随后,他们将模型每一层的表示,通过CA降维进行简化,然后用线性模型去尝试预测人脑在那一毫秒的电活动。

7.gpt2中文模型
研究方法示意:GPT-2的每一层都会生成一个语义表示(左)研究者把这些语义表示输入线性模型,预测人脑听到该词时的脑电活动(右)如果某一层语义表示能在特定时间点预测脑电,就说明该层与那一时刻的大脑处理阶段对应。
8.gpt模型结构
如果GPT的内部层级结构与人脑无关,那么将模型层级对齐到大脑的时间轴上,结果必然是一团乱麻,毫无秩序但如果二者真的存在某种结构对应,我们就会在脑电时间轴上看到秩序事实正是如此把模型的层级,排成「时间阶梯」。
9.gpt2模型大小
实验一开始,研究者只是想验证一个简单的假设:如果大语言模型的层级结构与大脑的某个处理阶段相对应,那么这种对应,就应该像接力跑一样,在时间轴上依次出现研究者把GPT的每一层语义表示丢进线性模型里,试图去预测大脑在听到每个词时,高伽马活动会在哪一毫秒达到峰值。
10.gpt3 模型大小
他们的设想是:如果模型的浅层、中层和深层分别承担不同的语言功能,那么它们在人脑活动的时间轴上,也理应「错开时间」、「按序登场」结果,这张「时间阶梯图」清晰地揭示了大脑的秘密:越靠近高阶语义的区域,越像GPT的深度结构。

GPT的48层在大脑语言通路中呈现出清晰的「时间—深度」对应结构浅层(暖色)在更早的时间点达到峰值,深层(冷色)在更晚时间出现TP、aSTG、IFG等高阶区域表现出强线性关系(r=.93 / .92 / .85),而mSTG(近听觉皮层)几乎没有层级结构(r≈0)。
因为这里只处理了声音本身,语言的语义和结构还未展开。可一旦进入aSTG、IFG、TP,曲线像被拉开一样,呈现出从浅到深的整齐分布。


在关键语言区IFG内部,GPT的层级结构同样呈现强烈的时间对应关系左:浅层至深层的相关度分布(暖色→冷色)右:浅层峰值更早、深层更晚,形成规律性的时间推移IFG 的整体拟合度达到r=.85(p


评论(0)