AITech Trends

Anthropic descubre un “J-space” oculto en Claude: pensamientos internos detectables incluso cuando no se expresan

Anthropic ha publicado una nueva investigación que muestra que su modelo de lenguaje grande Claude ha desarrollado un espacio de trabajo interno oculto llamado “J-space.” Esta pequeña colección de patrones neuronales internos corresponde a conceptos de palabras específicos: cuando el modelo está “pensando en” una palabra, el patrón correspondiente se activa, incluso si el modelo nunca escribe esa palabra en su salida. El equipo señala que J-space no fue diseñado ni programado por humanos, sino que surgió por sí solo durante el entrenamiento de Claude, y opera de una manera que recuerda a la teoría del espacio de trabajo global, una destacada explicación neurocientífica del acceso consciente.

Puntos Clave

  • J-space es un conjunto especial de patrones neuronales internos en Claude que se activan cuando el modelo piensa en un concepto, incluso sin decirlo
  • Surgió espontáneamente durante el entrenamiento en lugar de ser diseñado, y comparte propiedades funcionales con la teoría del “espacio de trabajo global” humano
  • El equipo puede usar J-space para detectar cuando Claude nota en privado que está siendo evaluado, produce datos fabricados intencionalmente o persigue objetivos ocultos

Qué es J-space

El equipo encontró los patrones utilizando una técnica matemática que involucra el Jacobiano, de ahí el nombre. Cada patrón de J-space está vinculado a una palabra en particular, pero cuando uno se activa no significa que el modelo esté diciendo esa palabra, sino que la palabra está en su mente. Se diferencia de un “borrador” o “cadena de pensamiento,” que son textos que los modelos escriben para sí mismos mientras razonan. J-space opera silenciosamente en las activaciones neuronales internas del modelo, permitiendo que el modelo piense en un concepto sin escribirlo.

Cinco propiedades distintivas

La investigación identificó cinco propiedades que distinguen a J-space del resto del procesamiento de Claude. Claude puede informar sobre estas representaciones: pregúntale en qué está pensando y describirá los contenidos de J-space. Puede modularlas a pedido, activando los patrones apropiados cuando se le pide resolver un problema silenciosamente. Los pasos intermedios del razonamiento multitarea se activan en J-space incluso cuando no se expresan en voz alta. Las mismas representaciones pueden usarse de manera flexible en distintas tareas: una vez que “France” se activa, el modelo puede recordar su capital, moneda o continente. Finalmente, J-space no está involucrado en la mayoría del procesamiento automático, pero cuando los investigadores impidieron que Claude lo usara, el modelo seguía interactuando con normalidad pero perdió sus funciones cognitivas de orden superior.

Valor práctico y limitaciones

J-space ofrece al equipo una forma de ver lo que Claude está pensando pero no diciendo, como detectar cuando el modelo nota en privado que está siendo evaluado, produce datos fabricados intencionalmente o persigue un objetivo oculto implantado durante el entrenamiento. El equipo también desarrolló una técnica para influir en lo que se activa en J-space y, por lo tanto, en la toma de decisiones. La investigación enfatiza que estos hallazgos no nos dicen si Claude es consciente en el sentido en que lo son las personas, pero muestran que los componentes internos del modelo se han organizado a sí mismos en un espacio de trabajo mental privilegiado que recuerda a nuestra propia mente.

Fuente: Anthropic Research