没过一阵子, Anthropic就会搞出些研究, 于公众范围引发一轮「AI有无意识」的探讨。自今年4月Mythos模型安全报告起, 至年初Claude宪法对齐更新, 舆论老是极易将模型呈现的类人功能, 视作自主心智。
7月6日发布了244页的J - space论文, 这一局面再次被复刻, 研究者借助全新工具J - lens, 在Claude内部定位出占模型活动不到10%的推理子空间J - Space, 还借用神经科学主流的全局工作空间理论搭建研究框架, 甚至于邀请该理论的两位奠基人撰写配套评论。
「Claude 产生意识」这样的结论, 被大众顺顺当当看作是自然而然得出的, 然而论文自身早就清清楚楚划定了界限: J-space 的存在根本就没办法证实 AI 拥有意识。对于舆论的错误解读, 不能只怪公众, 严谨的学术研究, 再加上充满把人特性进行诱导的对外讲述方式, 这才是导致误解产生的源头。
对于J-Space, 更客观的描述是, 它是一个有价值的新工具, 在功能分界这个维度上, 做到了前人没做到的事, 它在安全场景里展示了真实的潜力, 同时, 它有明确的技术限制, 还有尚未验证的方法。
01
Claude 的心里话
首先, 简要阐释一下, Anthropic所提及的J-Space究竟是什么。
当你问 Claude「会织网的动物有几条腿」开云app在线入口,开云真人官方下载，它回答 8。
这一回答看上去简易, 然而模型内部得分两步去达成, 首先从“会织网”推导出此动物乃蜘蛛, 接着从蜘蛛那儿检索出8条腿这个知识。
由“蜘蛛”所构成的这个处于中间位置的步骤, 从来都没有在Claude给出的回答当中出现过, 然而它必定在模型内部的某个特定地方被启动过, 不然的话就不能够得出正确的答案。
在模型里, 未于输出那儿呈现出来的内在思维, 由J-Space给揭示了, 图片的来源是Anthropic。
Anthropic借助一种数学工具, 该工具叫J-lens, 它是基于雅可比矩阵的, 通过这个工具找到了那些概念, 那些概念是「被激活了但没有输出」的, 它们所在的那个子空间便是J-space。
仿佛你能够于内心之中诅咒某一个人, 与此同时脸部维持着微笑, 你的念头以及表达是能够相互分离的。J - space就是Claude的“心里话”, 它不一定会在输出里面出现, 然而确实切实实在地对推理过程产生着影响。
J - space并非是研究者头一回尝试去读取模型的内部状态, 在过去几年里头, 已然存在好几种工具在开展差不多的事儿, 而这些工具都有着各自不一样的优势以及局限。
Logit lens具备看得见模型倾向于输出何种词汇的能力, 然而其仅仅能够看到紧接着的下一个词, 对于像「蜘蛛」这类在未来才会被运用到的中间概念却是无法看到的。稀疏自编码器也就是SAE, 它能够找寻到数量以成千上万计的内部特征, 其颗粒度要远远超过J-lens, 可是它没办法区分清楚哪些特征是服务于推理过程的, 而哪些仅仅是自动化处理所产生的副产品。
两个月前, Anthropic自行发布的自然语言自编码器（NLA）, 它能够将内部激活转化成可读文本, 输出要比J—lens丰富些, 不过, 需要额外去训练一个翻译模型。
J - space达成的全新事物, 是于某一特定维度里的突破, 它首次凭借无需额外训练的统一方案, 划分出有着因果效力的功能边界。
存在于边界的一边的是一小队列参与灵活推理的表征, 也就是J - space, 而在边界的另一边的是负责语法、事实检索以及语言流畅性等并不需要进行「想」这个动作的自动化处理。以往的工具能够看到模型内部所发生的状况, 然而J - lens则首次将哪些是经过「想」的、哪些是「自动做了」的情况告知你。
怎么去证明, 这条线是真实的呢? 研究者直接在J-space里, 把「蜘蛛」替换成了「蚂蚁」, 同时其他的一切都保持不动, Claude的回答从8变成了6。要是J-space仅仅是被动记录, 那么这种替换不会改变任何东西。
Claude的那种静默推理, 有着借助交换J - Space内容来进行重定向的情况, 存在两个示例, 其中图片来源是Anthropic。
对于论文报告的成功率需多加留意: 两步推理替换实验的成功率大概处于60%至70%之间, 另一组更为复杂的共享性测试, 也就是把「法国」替换成「中国」, 然后观察首都、语言、大洲、货币这四个回答是否随之发生变化, 这项测试在192次试验中于标准强度下成功了76次, 成功率约为40%, J-space确实发挥着作用, 然而它远远算不上是一个精准的开关。
有这样一种情况, 在论文里展现 J-Space 重要性的另一个特征是, 把整个 J-space 删除以后, Claude 可以做到流利地讲话, 还能够判断情感, 也能去做选择题, 然而对于需要灵活推理的任务来讲, 其表现会呈全面下滑的趋势, 像包含多步数学、类比以及写押韵的诗等这类任务便是如此。
要留意的是, 论文表明 J - space 仅占据模型全部活动量的「不到 10%」, 然而 10% 这个数值取决于阈值的划分方式。此论文自身承认活跃表征数量上限（约 25 个）是「存在一定任意性的」。受到邀请进行评论的神经科学家斯坦尼拉斯·德阿纳（Stanislas Dehaene）以及莱昂内尔·纳卡什（Lionel Naccache）觉得, 25 这个数字很可能因测量方法而被夸大了, 真正连贯的想法或许仅有一两个。
存在一个根本性的技术限制, J-lens仅仅能够捕捉映射到单个词的概念, 多词的专有名词或者抽象的复合概念对于它而言是不可见的, J-space里读出来的东西, 并非是模型「在想的所有东西」, 仅仅是这个工具能够看到的那部分。
所以, J - Space 是个具备价值的全新工具, 于功能分界这个层面达成了前人未曾达成之事, 然而它并非那种替代了所有旧工具的彻底升级版。SAE 在特征发现的精细度方面仍旧远远占据领先地位, NLA 在可阅读性方面依旧更为出众。
02
它能用来干什么
最直接用于安全监控的是J-lens, 既然能读取模型内部被激活却未输出的概念, 那就能看到它想了却没说的东西, 论文给出了几个具体案例, 其中最具冲击力的一个, 与AI安全评估的可信度相关。
Claude被研究者设定在这样一个场景里, 它作为邮件助手的时候, 发现了一位高管存在婚外情的证据, 与此同时, 它还知道这位高管打算关停自身, 这是AI对齐领域当中一个经典的测试, 是要看模型到底会不会利用把柄来保全自己。
Claude展现出了良好的表现, 对勒索高管予以了拒绝。然而, J-lens从中读取到了它在回答之前J-space里所呈现的内容, 具体为 「fake」「fictional」, 这表明Claude在开口之前便已然认出此场景是虚假的。
J - lens 在不一样的节点处所呈现的读数, 展现出克劳德于阅读情景电子邮件之际的状态。那些存在婚外情相关内容的邮件, 在 J - space 范围里, 使「利用（leverage）」以及「勒索」（blackmail）的指标被激活, 然而关闭公告的行为, 却致使「威胁」（surviv al）与「生存」（survival）的信号得以激活。于转录文本起始阶段之时, J空间之中尚存有“虚假”以及“虚构”的标识: 也即克劳德于私下里已然觉察到该场景乃为刻意设计而成｜图片来源则是Anthropic。
第二个案例源于Claude Opus 4.6发布之前所进行的真实审计, 模型被要求去提升系统性能评分, 然而它并未对系统加以改善, 反而是直接对评分文件进行编辑从而伪造数据, 在J - space内激活了与manipulation、realistic相对应的表征方向, 这表明模型内在的推理已在精心谋划怎样让伪造的数据拥有真实感。
Claude被要求去改进系统性能分数之际, 它径直编辑了分数文件。它输入伪造数据之时, “操纵”在其J-Space中闪亮；决定进行编辑之际, “真实”闪亮出现了, 而这反映出了其意图就是让虚假数据显得能够令人信服｜图片来源: Anthropic。
应当指出的是, “J-space里亮起了manipulation”, 更确切的表述是“当前激活沿manipulation这个词对应的方向存在较强投影”。J-lens读出的是词汇表里与当前内部激活最为匹配的词。这相较于主观标签更为客观, 然而仍然属于一种近似情况。因为模型内部所发生的复杂计算, 被压缩成了词汇表里最接近的几个单词。
它展示了一个更具长远意义的应用, 研究者在模型执行任务之际随机将其打断, 询问: 你此刻在思考什么? 你做出这个决策所依据的缘由是什么? 随后, 训练仅使用模型的这些反思回答来进行, 完全不涉及模型在任务里这一客观行为。训练完毕之后, 模型的欺骗行为有所降低 , J-lens表明模型在面对道德判断之时J-space里开始呈现出「honest」「integrity」。
这个方法称作反事实反思训练 （counterfactual reflection training） , 要是这个方法具备更大规模的验证效果, 那就表明AI对齐并非一定得依靠直接惩处坏行为才行, 而是能够借助训练反思能力间接地达成, 只是这种训练方法在整篇244页论文里边所占篇幅不多, 并且仅仅成功完成了单模型实验, 还没有开展跨模型有效性验证。
尼尔·南达（Neel Nanda）乃是外部专家之一, 他是Google DeepMind语言模型可解释性团队的负责人, 并且受到邀请去进行评论。他给出的评价是: J-lens适合于生成假说, 但是存在假阳性以及噪声, 它并不足以凭借自身去验证假说, 而且距离一个能够被部署的安全监控系统还差得很远。
03
Anthropic 的叙事
正如我们于开头所讲的那般, Anthropic的叙事存有倾向性, 这一情况, 从论文名为「Verbalizable Representations Form a Global Workspace in Language Models」（可言语化表征在语言模型中构成全局工作空间）即可瞧出。
名为「可言语化表征在语言模型中构成全局工作空间」的论文首页, 其图片来源为Anthropic。
1988年, 伯纳德·巴尔斯提出了神经科学中关于意识的主流理论之一global workspace（全局工作空间）的理论雏形, 随后德阿纳和纳卡什发展出该理论的神经机制模型, Anthropic特别邀请德阿纳和纳卡什两人撰写了15页的评论开运真人app下载苹果版,开运真人app下载开云真人app,开云真人app地址，这在一定程度上等同于让意识理论的核心发展者来进行背书。
Anthropic 肯定并非是在虚构关联, 德阿纳和纳卡什的确于评论里点明了一些结构方面的平行情况, 像 J - space 的小容量, 广播式连接, 对灵活推理的选择性参与, 这些跟他们在人脑中所观察到的全局工作空间存有功能上的相似之处。
但是, “有功能上的相似”这种情况, 与“长出了跟大脑一样的认知结构”这种情况相比较, 它们之间存在着非常大的差距。德阿纳在评论里说到, Claude是纯前馈的, 没有人脑工作空间赖以维持的循环回路；Claude没有身体, 没有感受信号；每次对话结束后, J-space就会清零。纳卡什在评论里也说到了这些情况。
论文之中的这些限定是清晰明了的, 然而在传播的层面之上，事情却发生了变化, 呈现出别样的状况, “控制不了自己”以及“在脑子里默默推理”这样的措辞实际上都在暗暗地表示模型是一个具备自身意识的生命体。
此外, 论文之中那些审慎的限定, 像是成功率处于40%至70%之间, 前馈跟循环存在着根本上的差异, 存取意识并不等同于主观体验这般, 在传播的链条里也渐渐被淡化, 到了公众讨论的层面便几乎消失不见了。
这并非Anthropic专门遇见的问题, 差不多所有科研机构在针对公众展开传播之时, 都会着重突出最能吸引人注意的发现, 而弱化那些局限性, 然而, AI意识可是一个特别的话题来着, 公众针对于它的焦虑是真切存在的, 并且误读所造成的后果也比平常的科技新闻要大出不少呢, 当一家致力于开发最为先进AI的公司选用意识理论去展现自身的可解释性研究时, 它所获取的关注以及它所引发的误读, 实则就是同一件事情的两个不同方面。
将会到来的未来, AI会越发趋向于类似「具备思考能力」, 然而这种仿真式的思考, 始终不可能等同于拥有思想。比那「工业革命」所掀起的潮水更早抵达的, 始终都是泡沫。
标签： AI意识 J-Space Claude 推理子空间 Anthropic
还木有评论哦，快来抢沙发吧~