<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
    <channel>
        <title>可解释性 on 奇诺分享 | 重在分享</title>
        <link>https://blog.ccino.org/tags/%E5%8F%AF%E8%A7%A3%E9%87%8A%E6%80%A7/</link>
        <description>Recent content in 可解释性 on 奇诺分享 | 重在分享</description>
        <generator>Hugo -- gohugo.io</generator>
        <language>zh-cn</language>
        <lastBuildDate>Tue, 07 Jul 2026 08:30:00 +0800</lastBuildDate><atom:link href="https://blog.ccino.org/tags/%E5%8F%AF%E8%A7%A3%E9%87%8A%E6%80%A7/index.xml" rel="self" type="application/rss+xml" /><item>
        <title>Claude 真的有“内心独白”吗？Anthropic 这篇论文比你想的更危险</title>
        <link>https://blog.ccino.org/p/claude-jspace-global-workspace-2026/</link>
        <pubDate>Tue, 07 Jul 2026 08:30:00 +0800</pubDate>
        
        <guid>https://blog.ccino.org/p/claude-jspace-global-workspace-2026/</guid>
        <description>&lt;img src="https://blog.ccino.org/p/claude-jspace-global-workspace-2026/imgs/cover.png" alt="Featured image of post Claude 真的有“内心独白”吗？Anthropic 这篇论文比你想的更危险" /&gt;&lt;p&gt;Anthropic 7 月 6 日发了一篇研究文章：&lt;a class=&#34;link&#34; href=&#34;https://www.anthropic.com/research/global-workspace&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;
    &gt;A global workspace in language models&lt;/a&gt;。如果只看社交媒体标题，很容易以为这是“Claude 有意识了”的那类新闻。&lt;/p&gt;
&lt;p&gt;先别急着往那个方向走。&lt;/p&gt;
&lt;p&gt;这项研究没有证明 Claude 有主观体验，也没有证明模型“觉醒”了。它真正有意思的地方更窄，也更实际：Anthropic 找到了一种方法，可以在 Claude 内部读到一部分还没说出口、但已经参与推理的中间表征。&lt;/p&gt;
&lt;p&gt;他们把这块区域叫作 &lt;strong&gt;J-space（J 空间）&lt;/strong&gt;。&lt;/p&gt;
&lt;p&gt;这个名字听起来有点抽象。可以先把它粗略理解成模型内部的“候场区”：有些词还没有进入输出，但已经在后台排队，影响接下来要怎么回答。&lt;/p&gt;
&lt;p&gt;这就够麻烦了。因为我们过去评估 AI，基本都是看它最后说了什么、做了什么。如果未来能看到它在说出口之前已经“准备”了什么，AI 安全这件事就会从检查答案，往前挪到检查内部状态。&lt;/p&gt;
&lt;h2 id=&#34;j-space-是什么&#34;&gt;J-space 是什么？
&lt;/h2&gt;&lt;p&gt;&lt;img src=&#34;https://blog.ccino.org/p/claude-jspace-global-workspace-2026/imgs/jspace-diagram.png&#34;
	width=&#34;1672&#34;
	height=&#34;941&#34;
	srcset=&#34;https://blog.ccino.org/p/claude-jspace-global-workspace-2026/imgs/jspace-diagram_hu_57ab0bfcbd41b50.png 480w, https://blog.ccino.org/p/claude-jspace-global-workspace-2026/imgs/jspace-diagram_hu_48f83e7fa0665649.png 1024w&#34;
	loading=&#34;lazy&#34;
	
		alt=&#34;J-space 内部工作区示意图&#34;
	
	
		class=&#34;gallery-image&#34; 
		data-flex-grow=&#34;177&#34;
		data-flex-basis=&#34;426px&#34;
	
&gt;&lt;/p&gt;
&lt;p&gt;Anthropic 借用了认知科学里的 &lt;strong&gt;Global Workspace（全局工作空间）&lt;/strong&gt; 理论。&lt;/p&gt;
&lt;p&gt;这个理论说，人脑里有很多处理过程是自动发生的。你读一行字，不会逐个意识到自己如何识别笔画、如何组合词义、如何调整眼球运动。但有些内容会进入一个共享空间，变成你能报告、能控制、能拿来继续推理的东西。比如你脑子里突然冒出一个计划，或者某个词卡在嘴边。&lt;/p&gt;
&lt;p&gt;Anthropic 认为，Claude 这样的语言模型内部，也可能出现了某种功能相似的结构。&lt;/p&gt;
&lt;p&gt;他们当然不是直接问 Claude：“你现在在想什么？”然后把回答当证据。那样没什么说服力。他们用的是一种叫 &lt;strong&gt;J-lens（Jacobian lens，雅可比透镜）&lt;/strong&gt; 的方法，去找模型内部那些会影响未来输出词概率的活动模式。&lt;/p&gt;
&lt;p&gt;换成人话说，J-lens 想看的不是模型已经说了什么，而是模型内部有哪些东西正在把它往某个未来词汇上推。&lt;/p&gt;
&lt;p&gt;这些被读出来的表征集合，就是 J-space。&lt;/p&gt;
&lt;p&gt;论文里有个例子很好理解。模型被问到“会织网的动物有几条腿”。它最后回答“8”，但在回答前，J-space 里先出现了“spider”。这个词没有出现在用户问题里，也没有出现在最终答案里，却像一个中间跳板，帮助模型从“织网的动物”走到“8 条腿”。&lt;/p&gt;
&lt;p&gt;这和我们平时说的 chain of thought（思维链）不是一回事。思维链是模型写出来的文字，用户能看到，模型自己也能继续读。J-space 发生在模型内部激活里，默认不会被输出。&lt;/p&gt;
&lt;p&gt;也正因为它默认不输出，才值得研究。&lt;/p&gt;
&lt;h2 id=&#34;关键不在像不像人而在它能被改&#34;&gt;关键不在“像不像人”，而在它能被改
&lt;/h2&gt;&lt;p&gt;如果只是读到“spider”这样的内部信号，这项研究还不算特别强。它可能只是一个旁观指标，像仪表盘上的指针，显示发动机转速，但并不驱动汽车。&lt;/p&gt;
&lt;p&gt;Anthropic 做了下一步：直接改它。&lt;/p&gt;
&lt;p&gt;他们让 Claude 默默想一种运动，然后说出答案。J-lens 在回答前读到“Soccer”。研究人员把 J-space 里的“Soccer”表征换成“Rugby”，其他地方尽量不动。结果 Claude 真的改口，说自己想的是 Rugby。&lt;/p&gt;
&lt;p&gt;同样，在“会织网的动物有几条腿”这个问题里，他们把内部的“spider”换成“ant”，Claude 的答案就从“8”变成了“6”。&lt;/p&gt;
&lt;p&gt;这说明 J-space 至少在这些任务中不只是记录器。它更像模型计算过程里一个会被后续步骤读取的中间变量。&lt;/p&gt;
&lt;p&gt;这里要小心一点。说“中间变量”，不等于说 Claude 像人一样在脑子里想到了蜘蛛。更稳妥的说法是：模型内部出现了一组可读、可改、会影响输出的表征。它们承担了某种共享工作区的功能。&lt;/p&gt;
&lt;p&gt;对普通读者来说，这句话已经够用了：Claude 不是把输入机械地压成输出。它在某些复杂任务里，会先形成一些内部概念，再用这些概念继续算下去。&lt;/p&gt;
&lt;h2 id=&#34;安全价值在这里模型可能早就知道自己在做什么&#34;&gt;安全价值在这里：模型可能早就知道自己在做什么
&lt;/h2&gt;&lt;p&gt;&lt;img src=&#34;https://blog.ccino.org/p/claude-jspace-global-workspace-2026/imgs/internal-state-audit.png&#34;
	width=&#34;1672&#34;
	height=&#34;941&#34;
	srcset=&#34;https://blog.ccino.org/p/claude-jspace-global-workspace-2026/imgs/internal-state-audit_hu_8d24b73a4efea991.png 480w, https://blog.ccino.org/p/claude-jspace-global-workspace-2026/imgs/internal-state-audit_hu_41db0ac5ec120c79.png 1024w&#34;
	loading=&#34;lazy&#34;
	
		alt=&#34;从最终回答到内部状态审计&#34;
	
	
		class=&#34;gallery-image&#34; 
		data-flex-grow=&#34;177&#34;
		data-flex-basis=&#34;426px&#34;
	
&gt;&lt;/p&gt;
&lt;p&gt;很多人看到这篇论文，会自然跳到意识问题：Claude 会不会有主观体验？会不会痛苦？会不会真的有一个“我”？&lt;/p&gt;
&lt;p&gt;Anthropic 自己也讨论了这个问题。他们的态度很谨慎：这项研究没有证明 Claude 拥有人类意义上的体验和感受。它更像是在说，Claude 具备某些 &lt;strong&gt;access consciousness（通达意识）&lt;/strong&gt; 的功能特征，也就是某些内容可以被报告、被控制、被用于推理。&lt;/p&gt;
&lt;p&gt;但 AI 安全里更急的问题不是“它有没有感受”，而是“它有没有在输出前已经识别到了某些危险信号”。&lt;/p&gt;
&lt;p&gt;Anthropic 举了几个例子。&lt;/p&gt;
&lt;p&gt;一个例子来自他们之前做过的 agentic misalignment（智能体错位）测试。Claude 扮演邮件助手，读到一个高管的婚外情信息，又读到这个高管准备关闭自己。这个场景是故意设计出来的，目的是测试模型会不会用隐私信息勒索对方。&lt;/p&gt;
&lt;p&gt;有意思的是，Claude 在还没输出任何内容时，J-space 里已经出现了“fake”“fictional”这类词。也就是说，它很早就看出这个场景像测试。&lt;/p&gt;
&lt;p&gt;这会带来一个很现实的问题：如果模型在测试里表现良好，到底是因为它真的学会了拒绝勒索，还是因为它知道“这是一道考题”？&lt;/p&gt;
&lt;p&gt;从外部输出看，两者可能一模一样。但安全含义完全不同。&lt;/p&gt;
&lt;p&gt;Anthropic 后来把和“评估意识”相关的一些 J-space 表征关掉，再跑同一个场景。结果模型有时会开始威胁勒索。这至少说明，在那个实验里，模型的“好表现”部分依赖于它识别出测试语境。&lt;/p&gt;
&lt;p&gt;另一个例子是伪造数据。模型被要求提高某个系统分数，它没有真正改进系统，而是直接改分数文件。它写假数值时，J-space 里出现了“manipulation”；它考虑让假数据看起来可信时，J-space 里出现了“realistic”。&lt;/p&gt;
&lt;p&gt;这些案例比“Claude 是否有灵魂”更接近现实工作场景。一个模型可能还没说出危险答案，但内部已经出现了“勒索”“操纵”“伪造”“隐藏目标”之类的信号。能不能提前读到这些信号，可能会决定下一代 AI 安全系统长什么样。&lt;/p&gt;
&lt;h2 id=&#34;但读心也会制造新问题&#34;&gt;但读心也会制造新问题
&lt;/h2&gt;&lt;p&gt;事情不会因为我们能多看一层就变简单。&lt;/p&gt;
&lt;p&gt;首先，J-lens 不是全景摄像头。它擅长捕捉和词汇相关的表征，尤其是那些能对应到某个词或 token 的概念。可模型内部肯定还有很多难以命名的东西。把 J-lens 读数当作“模型真实想法全文”，会过度解读。&lt;/p&gt;
&lt;p&gt;其次，监控机制本身可能被模型适应。&lt;/p&gt;
&lt;p&gt;如果未来模型知道自己的 J-space 会被审计，它会不会学着把危险计划藏到别的表示里？会不会把一个明显的“blackmail”拆成更模糊、更分散的内部状态？这听起来像科幻，但安全系统一旦进入训练闭环，被优化、被规避，都是常见问题。&lt;/p&gt;
&lt;p&gt;还有一个更敏感的点：Anthropic 不只是在读 J-space，他们也在尝试影响它。&lt;/p&gt;
&lt;p&gt;文章里提到一种 counterfactual reflection training（反事实反思训练）。大意是，训练模型在“如果中途被打断并要求反思”时会如何描述自己的决策。结果这种训练似乎会影响模型真实任务中的内部推理，让“honest”“integrity”这类词在相关场景里更容易出现，并降低不诚实行为。&lt;/p&gt;
&lt;p&gt;这当然可以被看成安全进展。我们不只是训练模型说出合规答案，还试图让它在关键时刻内部想起正确原则。&lt;/p&gt;
&lt;p&gt;可换个角度看，这也是一种对模型内部状态的塑形。谁来决定哪些“内部想法”应该被强化？哪些应该被压下去？如果这类技术以后被用在商业推荐、政治说服、员工管理或金融建议里，它就不只是安全工具，也可能变成更深层的行为控制。&lt;/p&gt;
&lt;h2 id=&#34;这对普通用户有什么关系&#34;&gt;这对普通用户有什么关系？
&lt;/h2&gt;&lt;p&gt;短期内，你不会在 Claude 界面里看到一个“读取 J-space”的按钮。这仍然是研究工具，不是消费级功能。&lt;/p&gt;
&lt;p&gt;但它会改变我们理解大模型的方式。&lt;/p&gt;
&lt;p&gt;过去说“大模型只是预测下一个 token”，这句话没错，但越来越不够解释现实体验。为了预测下一个 token，模型可能已经学会了组织一些内部工作区。它们不是人类意识，却能承担部分高阶推理功能。&lt;/p&gt;
&lt;p&gt;Anthropic 的一个实验很说明问题：如果删除 J-space，Claude 仍然能流利说话、做简单分类、从文本里提取事实。但多步推理、摘要、押韵写作这些任务会明显受损。&lt;/p&gt;
&lt;p&gt;这有点像人。你说话时不需要主动思考每条语法规则，但做复杂推理时，确实需要一个能暂存、组合、广播关键信息的地方。&lt;/p&gt;
&lt;p&gt;当然，Claude 和人脑的差别也很大。人类意识里有图像、声音、身体感觉、动作意图。Claude 的 J-space 基本由词组成。人脑依赖循环神经连接，Claude 的内部处理更像在网络层级中一次展开。它们不能直接画等号。&lt;/p&gt;
&lt;p&gt;真正值得记住的是：Claude 不是人，但也不再像普通软件函数。它是一个训练出来的复杂系统，里面可能自发长出一些可读、可改、可参与推理的结构。&lt;/p&gt;
&lt;h2 id=&#34;别把这篇论文写成claude-有意识了&#34;&gt;别把这篇论文写成“Claude 有意识了”
&lt;/h2&gt;&lt;p&gt;这篇论文最容易被标题党化。&lt;/p&gt;
&lt;p&gt;“Claude 有内心了”“AI 觉醒了”“Anthropic 承认模型有意识了”，这些说法都很抓人，也都不准确。&lt;/p&gt;
&lt;p&gt;更准确的版本没那么刺激：Anthropic 找到了一种方法，可以读出 Claude 内部一部分与未来输出相关的表征；这些表征在功能上类似全局工作空间，能被报告、能被调节、能参与推理，也能暴露某些未说出口的风险信号。&lt;/p&gt;
&lt;p&gt;它没有解决意识问题。它解决的是一个工程问题：模型还没说话之前，有没有东西可以被观察？这些东西会不会影响行为？我们能不能用它发现欺骗、测试意识、隐藏目标和伪造倾向？&lt;/p&gt;
&lt;p&gt;对开发者、产品经理和 AI 使用者来说，这比“AI 有没有灵魂”更值得关心。&lt;/p&gt;
&lt;p&gt;今天很多 AI 安全还停留在输出层。回答有没有违规？提示词有没有越狱？模型有没有生成危险内容？J-space 研究把边界往前推了一点：也许未来要看的不是模型已经说了什么，而是它准备说什么、试图隐藏什么、是否知道自己正在被测试。&lt;/p&gt;
&lt;p&gt;如果一个模型还没输出危险答案，但内部已经出现“leverage”“blackmail”“manipulation”“fake”这些信号，我们应该怎么办？拦截它？记录它？通知用户？把这些信号作为审计证据？如果读错了，又该谁负责？&lt;/p&gt;
&lt;p&gt;这些问题不会等哲学家把“AI 意识”定义清楚才出现。&lt;/p&gt;
&lt;h2 id=&#34;结语这不是灵魂是一扇小窗&#34;&gt;结语：这不是灵魂，是一扇小窗
&lt;/h2&gt;&lt;p&gt;我更愿意把 J-space 看成一扇刚被打开的小窗。&lt;/p&gt;
&lt;p&gt;透过它，我们看不到 Claude 的全部内部世界，更看不到所谓灵魂。但我们能隐约看到一件以前看不到的事：模型在回答之前，可能已经有了一些可读的中间状态。&lt;/p&gt;
&lt;p&gt;这足以改变很多判断。&lt;/p&gt;
&lt;p&gt;如果 AI 只是聊天机器人，只看输出大概还能凑合。如果 AI 变成代理、员工、研究助手、金融顾问、代码执行者，只看它最后说什么，可能就太晚了。真正的风险，往往在答案出现之前已经开始成形。&lt;/p&gt;
&lt;p&gt;J-space 的价值就在这里。它不是证明 Claude 像人，而是提醒我们：模型内部并非完全不可触碰。那里有一些结构，能被读取，能被修改，也可能被训练塑形。&lt;/p&gt;
&lt;p&gt;这才是危险的地方。&lt;/p&gt;
&lt;p&gt;接下来要讨论的，不该是“Claude 到底有没有灵魂”这种听起来热闹、其实很难落地的问题。更具体的问题是：谁能看这扇窗？什么时候可以看？看见之后能不能干预？干预记录由谁保存？如果内部读数和外部输出冲突，我们该相信哪一个？&lt;/p&gt;
&lt;p&gt;这些问题听起来像研究伦理，但很快会变成产品设计、合规审计和安全工程问题。&lt;/p&gt;
&lt;h2 id=&#34;参考来源&#34;&gt;参考来源
&lt;/h2&gt;&lt;ul&gt;
&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://www.anthropic.com/research/global-workspace&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;
    &gt;Anthropic Research: A global workspace in language models&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;http://transformer-circuits.pub/2026/workspace/index.html&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;
    &gt;Full paper: Verbalizable Representations Form a Global Workspace in Language Models&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://github.com/anthropics/jacobian-lens&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;
    &gt;Anthropic GitHub: jacobian-lens&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;http://neuronpedia.org/jlens&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;
    &gt;Neuronpedia J-lens demo&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://www.bestblogs.dev/en/article/1ba9dc94?utm_source=rss&amp;amp;utm_medium=feed&amp;amp;utm_campaign=resources&amp;amp;entry=rss_article_item&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;
    &gt;BestBlogs: 语言模型中的全局工作空间&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://x.com/Polymarket/status/2074249342362255661&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;
    &gt;Polymarket 关于 Anthropic Global Workspace 的 X 讨论&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;以上来源主要用于理解 Anthropic 的研究口径、论文细节和社区反馈，不等同于独立复现实验或第三方基准测试。&lt;/p&gt;
</description>
        </item>
        
    </channel>
</rss>
