Subquadratic、サブクアッドラティックアーキテクチャに基づくLLM「SubQ」を発表
サンフランシスコに拠点を置くAI企業Subquadraticは、完全なサブ二次アーキテクチャに基づいて構築された大規模言語モデル（LLM）「SubQ 1M-Preview」をリリースしました。同社によると、従来のトランスフォーマーモデルでは計算要件がコンテキスト長に応じて二次関数的に増加するのに対し、SubQの計算量は線形に増加するため、大幅に長いコンテキストウィンドウと低い運用コストが可能になる可能性があるとされています。
共同創業者兼CEOのJustin Dangel氏が発表したこの発表は、AIにおける基本的なスケーリングの限界に対処するために設計されたモデルの一般公開を示すものです。同社は、Tinderの共同創業者であるJustin Mateen氏やLasagnaのGrant Gittlin氏、そしてAnthropicやOpenAIなどの組織の初期支援者を含む投資家から、2,900万ドルのシード資金を調達しています。
二次スケーリングのボトルネックへの対処
同社が解決しようとしている中核的な技術的課題は、従来のトランスフォーマーモデルの二次スケーリングです。標準的なアーキテクチャでは、与えられたコンテキスト内のすべてのトークンを他のすべてのトークンと比較する必要があります。コンテキスト長が長くなるにつれて、これらの相互作用の数と必要な計算量は二次関数的に増加します。Dangel氏は、この制約が歴史的にシステム設計を形作り、開発者に全文書コーパスを直接処理するのではなく、検索拡張生成（RAG）パイプラインやチャンク戦略などの回避策を使用せざるを得なくしてきたと指摘しました。
「開発者や投資家は、問題そのものよりも、回避策に多くの時間と資金を費やしています」とDangel氏は発表で述べています。「RAGシステムは、全文書コーパスを送信することが現実的ではないため、検索エンジンを使用して少数の関連結果を取得してからモデルに送信します。」
Subquadraticの新しいアーキテクチャは、ゼロからサブ二次になるように設計されており、研究コミュニティが線形アテンションや状態空間モデルなどのメカニズムを通じて長年追求してきた目標であると同社は認識しています。同社によると、ブレークスルーは、既存のフロンティアモデルの性能レベルを犠牲にすることなく、この効率性を達成したことにあります。
製品と性能ベンチマーク
SubQ 1M-Previewは、プライベートベータ版として提供され、3つの初期製品を提供します。
- API: 開発者やエンタープライズチーム向けのフルコンテキストAPI。
- SubQ Code: コードベース全体を単一のコンテキストウィンドウにロードするコーディングエージェントで、コマンドラインインターフェース（CLI）からアクセス可能。これにより、リポジトリ全体を1回のパスで計画、実行、レビューできます。
- SubQ Search: チャットボットのような速度で深い調査機能を提供するように設計された、長いコンテキストの検索ツール。
同社はSubQ 1M-Previewのいくつかの性能ベンチマークを公開し、これらは拡張入力に対する推論をテストする標準ベンチマークであるRULER 128Kベンチマークで第三者によって検証されたと述べています。主な結果は以下の通りです。
- RULER 128Kベンチマークで95%の精度を達成（Claude Opus 4.6の94.8%と比較）。
- 同社のSparse Attentionメカニズムは、アーキテクチャレベルの比較でFlashAttentionよりも52倍高速で、63%少ない計算量を必要とすることが報告されました。
- MRCR v2ベンチマーク（長いコンテキストにわたる検索と推論をテスト）では、第三者検証済みのスコア65.9が報告されました。これは、GPT 5.5（74）、Claude Opus 4.7（32.2）、Gemini 3.1 Pro（26.3）のスコアと比較して良好です。
- SWE-Bench Verifiedスコアは81.8で、Opus 4.6（80.8）およびDeepseek 4.0 Pro（80.0）と比較されています。
同社はまた、最大1,200万トークンまでの性能を示す研究結果を共有し、他のフロンティアモデルは「公称の100万トークン制限のかなり手前で機能しなくなる」と述べています。この規模では、SubQのアーキテクチャは、他のフロンティアモデルと比較してアテンション計算をほぼ1,000分の1に削減するとのことです。
長いコンテキストアプリケーションの実現
大量のデータ処理に関連するコストと計算量を削減することで、SubQは新しいカテゴリのアプリケーションを可能にする位置づけにあります。同社は、コンテキストウィンドウサイズのフロンティアを拡大することで、コードベース全体、大規模なドキュメントコレクション、複雑なスプレッドシート、または長期にわたる対話履歴を1回のパスで処理することが現実的になると示唆しています。このアプローチにより、複雑な検索パイプラインやマルチエージェント調整システムの必要性が減り、コンテキストの境界で失われる可能性のある情報を保持するのに役立ちます。
経済性とチーム
コストは、AIシステムを大規模に展開する際の主要な制約として強調されています。推論をより効率的にすることで、Subquadraticはこれまでコスト的に困難だったワークロードを実現可能にすることを目指しています。これには、高ボリュームのワークロードや、モデルとの持続的な長いコンテキストの相互作用に依存するアプリケーションが含まれます。
同社のチームには、Meta、Google、Oxford、Cambridge、Adobeなどの組織で経験を積んだ11名の博士号研究者と研究エンジニアが含まれています。CTOのAlex Whedon氏は、Metaでソフトウェアエンジニアとして働き、TribeAIで生成AI責任者を務め、40以上のエンタープライズAI導入を主導しました。
結論
SubQ 1M-Previewのリリースにより、Subquadraticは大規模言語モデルの競争の激しい市場に参入し、根本的に異なるアーキテクチャアプローチを提供しています。同社が主張するコンテキスト長に対する効率的な線形スケーリングが大規模に検証されれば、AIで可能なことの実用的な限界を変える可能性があります。同社がプライベートベータからより広範な提供へと移行するにつれて、実際の高ボリュームアプリケーションでの技術の性能が、その長期的な影響を決定づけるでしょう。
