AI

Subquadratic lanza SubQ, un LLM construido sobre una arquitectura subcuadrática

Subquadratic, una empresa de inteligencia artificial con sede en San Francisco, ha lanzado SubQ 1M-Preview, un modelo de lenguaje de gran escala (LLM) que, según la compañía, está construido sobre una arquitectura completamente subcuadrática. A diferencia de los modelos transformadores tradicionales, donde los requisitos computacionales escalan de forma cuadrática con la longitud del contexto, la empresa afirma que el cómputo de SubQ crece de manera lineal, lo que potencialmente permite ventanas de contexto significativamente más largas y costos operativos más bajos.

El anuncio, realizado por el cofundador y CEO Justin Dangel, marca la presentación pública de un modelo diseñado para abordar una limitación fundamental de escalado en la IA. La empresa ha recaudado 29 millones de dólares en financiación inicial de inversores como Justin Mateen, cofundador de Tinder, y Grant Gittlin de Lasagna, junto con los primeros patrocinadores de organizaciones como Anthropic y OpenAI.

Abordando el cuello de botella del escalado cuadrático

El desafío técnico central que la empresa pretende resolver es el escalado cuadrático de los modelos transformadores tradicionales. En las arquitecturas estándar, cada token debe compararse con todos los demás tokens dentro de un contexto determinado. A medida que la longitud del contexto crece, el número de estas interacciones —y el cómputo requerido— aumenta de forma cuadrática. Dangel señaló que esta limitación ha moldeado históricamente el diseño de sistemas, obligando a los desarrolladores a utilizar soluciones alternativas como tuberías de generación aumentada por recuperación (RAG) y estrategias de fragmentación, en lugar de procesar corpus de documentos completos de forma directa.

“Los desarrolladores e inversores dedican más tiempo y dinero a soluciones alternativas que al problema en sí mismo”, declaró Dangel en el anuncio. “Los sistemas RAG utilizan un motor de búsqueda para extraer un pequeño número de resultados relevantes antes de enviarlos al modelo, porque enviar el corpus completo no es factible”.

La nueva arquitectura de Subquadratic está diseñada desde cero para ser subcuadrática, un objetivo que la empresa reconoce que la comunidad investigadora ha perseguido durante años mediante mecanismos como la atención lineal y los modelos de espacio de estado. El avance, según la empresa, radica en lograr esta eficiencia sin sacrificar el nivel de rendimiento de los modelos frontera existentes.

Producto y puntos de referencia de rendimiento

SubQ 1M-Preview se pone a disposición a través de una beta privada, ofreciendo tres productos iniciales:

  • API: Una API de contexto completo para desarrolladores y equipos empresariales.
  • SubQ Code: Un agente de codificación que carga bases de código completas en una única ventana de contexto, accesible a través de una interfaz de línea de comandos (CLI). Esto permite la planificación, ejecución y revisión en un repositorio completo en una sola pasada.
  • SubQ Search: Una herramienta de búsqueda de contexto largo diseñada para proporcionar capacidades de investigación profundas a la velocidad de un chatbot.

La empresa publicó varios puntos de referencia de rendimiento para SubQ 1M-Preview, que, según indicó, fueron verificados por un tercero en el punto de referencia RULER 128K, una prueba estándar para el razonamiento sobre entradas extendidas. Los resultados clave incluyen:

  • Una puntuación de precisión del 95% en el punto de referencia RULER 128K, en comparación con el 94.8% de Claude Opus 4.6.
  • Se informó que el mecanismo de Atención Dispersa (Sparse Attention) de la empresa es 52 veces más rápido que FlashAttention en su comparación a nivel de arquitectura, al tiempo que requiere un 63% menos de cómputo.
  • En el punto de referencia MRCR v2 (que prueba la recuperación y el razonamiento en un contexto largo), se reportó una puntuación verificada por terceros de 65.9. Esto se compara favorablemente con las puntuaciones citadas para GPT 5.5 (74), Claude Opus 4.7 (32.2) y Gemini 3.1 Pro (26.3).
  • Una puntuación verificada en SWE-Bench de 81.8, en comparación con Opus 4.6 (80.8) y Deepseek 4.0 Pro (80.0).

La empresa también compartió un resultado de investigación que demuestra el rendimiento con hasta 12 millones de tokens, señalando que otros modelos frontera “fallan mucho antes de su límite declarado de 1 millón de tokens”. A esta escala, la arquitectura de SubQ reduce el cómputo de atención en casi 1000 veces en comparación con otros modelos frontera, según la empresa.

Habilitando aplicaciones de contexto largo

Al reducir el costo y el cómputo asociados con el procesamiento de grandes cantidades de datos, SubQ está posicionada para habilitar nuevas categorías de aplicaciones. La empresa sugiere que expandir la frontera del tamaño de la ventana de contexto hace viable procesar bases de código completas, colecciones de documentos extensas, hojas de cálculo complejas o historiales de interacción de larga duración en una sola pasada. Este enfoque reduce la necesidad de tuberías de recuperación complejas y sistemas de coordinación multiagente, y ayuda a preservar información que de otro modo podría perderse en los límites del contexto.

Economía y equipo

El costo se destaca como una limitación principal en el despliegue de sistemas de IA a gran escala. Al hacer que la inferencia sea más eficiente, Subquadratic pretende hacer viables cargas de trabajo que antes eran prohibitivas en términos de costo. Esto incluye cargas de trabajo de alto volumen y aplicaciones que dependen de una interacción sostenida y de contexto largo con el modelo.

El equipo de la empresa incluye 11 investigadores con doctorado e ingenieros de investigación con experiencia en organizaciones como Meta, Google, Oxford, Cambridge y Adobe. El CTO Alex Whedon trabajó anteriormente como ingeniero de software en Meta y se desempeñó como Jefe de IA Generativa en TribeAI, donde lideró más de 40 implementaciones empresariales de IA.

Conclusión

Con el lanzamiento de SubQ 1M-Preview, Subquadratic ingresa a un mercado competitivo de modelos de lenguaje de gran escala, ofreciendo un enfoque arquitectónico fundamentalmente diferente. La afirmación de la empresa de un escalado lineal eficiente con la longitud del contexto, si se valida a escala, podría cambiar los límites prácticos de lo que es posible con la IA. A medida que la empresa pase de la beta privada a una disponibilidad más amplia, el rendimiento de la tecnología en aplicaciones del mundo real y de alto volumen determinará su impacto a largo plazo.


Fuente: https://subq.ai/introducing-subq