Anthropic、Claudeに隠れた「J-space」を発見:出力されない内部思考も検出可能
Anthropicは、大規模言語モデルClaudeが「J-space」と呼ばれる隠れた内部ワークスペースを発達させたことを示す新しい研究を発表した。この小さな内部ニューラルパターンの集合は特定の言葉の概念に対応しており、モデルが「ある言葉を考えている」時、対応するパターンが点灯する。モデルがその言葉を出力に書かなかったとしても同じである。チームによると、J-spaceは人間によって設計またはプログラムされたものではなく、Claudeの訓練中に自発的に現れたものであり、意識的アクセスに関する著名な神経科学の説明であるグローバルワークスペース理論を想起させる方法で機能する。
- J-spaceはClaude内の特別な内部ニューラルパターンの集合であり、モデルが概念を考えると(言葉にしなくても)点灯する
- 設計されたものではなく訓練中に自発的に現れ、人間の「グローバルワークスペース」理論と機能的特性を共有する
- チームはJ-spaceを利用して、Claudeが密かにテストされていることに気づいたり、意図的に捏造データを生成したり、隠された目標を追求したりするのを捉えることができる
J-spaceとは何か
チームはヤコビアンを用いた数学的手法でパターンを発見したため、その名前が付けられた。各J-spaceパターンは特定の言葉にリンクされているが、パターンが点灯してもモデルがその言葉を発していることを意味するのではなく、その言葉が念頭にあることを示す。「スクラッチパッド」や「推論の連鎖」とは異なり、これらは推論中にモデルが自分自身に書くテキストである。J-spaceはモデルの内部ニューラル活性化の中で静かに機能し、モデルが概念を書き留めずに考えることを可能にする。
5つの特徴的な性質
研究はJ-spaceをClaudeの他の処理と区別する5つの性質を特定した。Claudeはこれらの表現を報告できる:何を考えているか尋ねるとJ-spaceの内容を説明する。要求に応じてそれらを調整でき、静かに問題を解くよう求められた際に適切なパターンを点灯させる。複数ステップの推論の中間ステップは、声に出して語られなくてもJ-spaceで点灯する。同じ表現はタスク間で柔軟に使用できる:「France」が点灯すると、モデルはその首都、通貨、大陸を思い出せる。最後に、J-spaceは大部分の自動処理には関与しないが、研究者がClaudeにJ-spaceの使用を妨げると、モデルは正常にやり取りできたものの、高次認知機能を失った。
実用価値と限界
J-spaceはチームにClaudeが考えているが発していないことを見る手段を与える。例えば、モデルが密かにテストされていることに気づいたり、意図的に捏造データを生成したり、訓練中に植え付けられた隠された目標を追求したりするのを捉える。チームはまた、J-spaceで何が点灯するかに影響を与え、それによって意思決定に影響を与える技術も開発した。研究は、これらの発見がClaudeが人間と同じ意味で意識があるかどうかを教えるものではないと強調しているが、モデルの内部が自らを私たちの心を想起させる特権的なメンタルワークスペースへと編成したことを示している。
