1.普林斯顿大学人类学

大语言模型的层级计算序列精确映射了人类大脑处理语言的毫秒级时间动态。

普林斯顿大学等Nature揭秘:人类大脑与大语言模型共享同一套语言处理时钟(插图普林斯顿大学等Nature揭秘:人类大脑与大语言模型共享同一套语言处理时钟(插图1

2.普林斯顿大学神经科学研究所

普林斯顿大学,谷歌研究,纽约大学,哈佛大学等,研究通过对比人类颅内脑电数据与大语言模型的内部状态,发现人工智能处理语言的深浅层级,与人类大脑理解语言的先后时间顺序存在惊人的高度一致性AI精确镜像了人类思维的时间流。

3.普林斯顿大学调查:智慧

大语言模型的出现为理解人类大脑如何处理自然语言提供了全新的计算框架传统的心理语言学模型长期依赖于对符号表征的规则操作,通过层级树结构来解析语言大语言模型截然不同,它将词汇及其上下文编码为连续的数值向量,即嵌入(Embedding)。

4.普林斯顿大学人性

这些嵌入通过层层非线性变换构建,生成了复杂的语言结构表征这种层级化的模型结构及其产生的表征,让机器具备了翻译和类人文本生成的能力大语言模型体现了语言处理的三个基本原则:基于嵌入的词汇上下文表征、下一个词的预测以及基于误差修正的学习。

5.普林斯顿大学科学家

神经科学研究已经开始在人脑中寻找这些计算原则的神经相关物源自大语言模型的上下文嵌入为预测自然语言处理过程中的神经反应提供了强大的模型例如,下额叶回(IFG)的神经反应似乎与特定模型(如GPT-2 XL)的上下文嵌入保持一致。

6.普林斯顿大学人工智能实验室

自发的词前预测现象已在人类大脑的电生理和成像研究中被发现,这些预测与模型的预测高度吻合对于意外出现的词汇,语言区域会表现出神经活动的增强,这表明大脑在理解语言时存在误差反应这些结果凸显了大语言模型作为人类语言理解认知模型的潜力。

7.普林斯顿大学为接受自然科学家专门成立的高级研究中心

研究的核心在于探索大语言模型实现的序列化层级过程是否与人类大脑理解语言的神经时间动态共享同一套逻辑换句话说,当人类聆听自由语音时,大脑内部的时间动态是否遵循模型诱导的层级结构研究利用了皮层电图(ECoG)卓越的时空分辨率,证明了人脑处理口语叙事的内部时间进程,与大语言模型中非线性逐层变换的内部序列相匹配。

8.普林斯顿大学cccdna攻克

研究团队在受试者聆听30分钟口语叙事时,记录了沿颞上回和下额叶回(IFG)的语言区域的神经活动研究人员将同样的叙事输入到高性能的大语言模型中,并提取了模型所有层级中每个词的上下文嵌入通过使用GPT-2 XL来展示大语言模型与大脑之间的基本相似性,并将结果推广到开源模型Llama-2,支持了模型与大脑处理语言方式之间存在关键相似性的论点。

普林斯顿大学等Nature揭秘:人类大脑与大语言模型共享同一套语言处理时钟(插图2

9.普林斯顿大学创始人

研究人员将大语言模型层级间的内部嵌入序列映射到人类受试者在自然语言理解过程中记录的神经反应上为了进行这种比较,研究测量了线性编码模型的性能,这些模型被训练用于根据每一层的嵌入来预测随时间演变的神经活动性能指标是真实神经信号与编码模型预测的神经信号之间的相关性。

10.普林斯顿神经科学

在下额叶回(IFG)内,编码结果观察到了一个清晰的时间序列:较浅层的模型层级在词汇出现初期达到编码性能峰值,而较深层的模型层级则在更晚的时间点达到峰值这一发现表明,大语言模型层级间的变换序列映射到了高级语言区域信息处理的时间动态上。

大语言模型的空间层级结构可以被用来模拟语言理解的时间动态随后,这一分析被应用到语言处理层级中的其他区域,验证了信息随着时间尺度增加而累积的现有理论,即从听觉区域向句法和语义区域层级递进中间层级最能预测皮层活动的发现得到了复现。

ECoG记录所带来的更高时间分辨率揭示了大语言模型嵌入的逐层序列与自然语言理解过程中皮层活动的时间动态之间的精确对齐这项研究通过展示大语言模型中的逐层计算序列与自然语言处理过程中人脑电活动之间的联系,为大语言模型与人类大脑共享计算原则提供了有力证据。

从听觉皮层到布罗卡区的动态神经映射研究团队收集了9名癫痫患者的皮层电图(ECoG)数据,其中7名患者的电极位于预定义的感兴趣区域(ROI)患者聆听了一段30分钟的音频播客(”Monkey in the Middle”, NPR 2017)。

神经数据经过预处理以反映高伽马波段信号之前的研究通常从GPT-2 XL的最终隐藏层提取嵌入来预测大脑活动,并发现这些上下文嵌入优于静态(即非上下文)嵌入在此基础上,本研究通过使用从GPT-2 XL和Llama-2的所有隐藏层提取的上下文嵌入,对播客中每个词的神经反应进行了建模。

研究聚焦于沿腹侧语言处理流的四个区域:拥有28个电极的中部颞上回(mSTG)、13个电极的前部颞上回(aSTG)、46个电极的下额叶回(IFG)以及6个电极的颞极(TP)所选电极均显示出对静态GloVe嵌入具有显著的编码性能。

鉴于先前的研究报告称,对于大语言模型正确预测的词汇,编码结果有所改善,研究分别对正确预测和错误预测的神经反应进行了建模如果GPT-2 XL将最高概率分配给实际出现的下一个词,则认为预测正确播客中有1709个这样的词,被称为“前1预测”或“预测词”。

对于下额叶回(IFG)中的每个电极,研究针对GPT-2 XL的每一层(1-48层)在每个滞后时间(-2000毫秒至2000毫秒,以25毫秒为增量)进行了编码分析随后,将IFG内所有电极的编码性能进行平均,得到每一层的单一平均编码时间进程。

通过对电极和滞后时间进行平均,获得了每一层的平均编码性能。显著性评估使用了自举重采样法。

普林斯顿大学等Nature揭秘:人类大脑与大语言模型共享同一套语言处理时钟(插图3

在IFG中,编码模型的峰值平均相关性出现在中间层第22层这印证了功能磁共振成像(fMRI)的近期发现,即编码性能在中间层达到峰值,呈现倒U型曲线ECoG记录的精细时间分辨率揭示了一个特定的动态模式所有48层在IFG中都产生了稳健的编码,在4000毫秒窗口的边缘编码性能接近于零,而在词汇出现前后性能增强。

观察每一层的编码结果随滞后时间的变化,揭示了一个有序的动态过程:早期层级(如第5层,红色)的峰值编码性能倾向于先于中间层级(如第25层,绿色),随后是晚期层级(如第45层,蓝色)为了可视化这种跨滞后时间的时间序列,研究将每一层的编码性能归一化,使其峰值性能缩放为1。

为了定量验证这一主张,研究计算了层级索引(1-48)与产生该层峰值相关性的滞后时间之间的皮尔逊相关系数这产生了一个强显著的正相关(r=0.85,p

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。