Subquadratic ने SubQ लॉन्च किया, जो एक Subquadratic आर्किटेक्चर पर निर्मित LLM है।
सैन फ्रांसिस्को स्थित AI कंपनी Subquadratic ने SubQ 1M-Preview जारी किया है, जो एक बड़ा भाषा मॉडल (LLM) है जिसे कंपनी के अनुसार पूरी तरह से उप-द्विघातीय आर्किटेक्चर पर बनाया गया है। पारंपरिक ट्रांसफॉर्मर मॉडलों के विपरीत, जहाँ कंप्यूटेशनल आवश्यकताएँ संदर्भ लंबाई के साथ द्विघातीय रूप से बढ़ती हैं, कंपनी का दावा है कि SubQ का कंप्यूट रैखिक रूप से बढ़ता है, जो संभावित रूप से काफी लंबी संदर्भ विंडो और कम परिचालन लागत को सक्षम बनाता है।
सह-संस्थापक और CEO जस्टिन डेंजेल द्वारा की गई यह घोषणा, AI में एक मौलिक स्केलिंग सीमा को संबोधित करने के लिए डिज़ाइन किए गए मॉडल का सार्वजनिक परिचय है। कंपनी ने टिंडर के सह-संस्थापक जस्टिन मतीन, लसाग्ना के ग्रांट गिटलिन, और Anthropic और OpenAI जैसे संगठनों के शुरुआती समर्थकों सहित निवेशकों से 29 मिलियन डॉलर की सीड फंडिंग जुटाई है।
द्विघातीय स्केलिंग अड़चन को संबोधित करना
कंपनी जिस मुख्य तकनीकी चुनौती का समाधान करना चाहती है, वह पारंपरिक ट्रांसफॉर्मर मॉडलों की द्विघातीय स्केलिंग है। मानक आर्किटेक्चर में, प्रत्येक टोकन की तुलना किसी दिए गए संदर्भ के भीतर हर दूसरे टोकन से की जानी चाहिए। जैसे-जैसे संदर्भ लंबाई बढ़ती है, इन अंतःक्रियाओं की संख्या—और आवश्यक कंप्यूट—द्विघातीय रूप से बढ़ती है। डेंजेल ने कहा कि इस बाधा ने ऐतिहासिक रूप से सिस्टम डिज़ाइन को आकार दिया है, जिससे डेवलपर्स को पूर्ण दस्तावेज़ कॉर्पोरा को सीधे संसाधित करने के बजाय रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) पाइपलाइन और चंकिंग रणनीतियों जैसे वर्कअराउंड का उपयोग करने के लिए मजबूर होना पड़ा।
“डेवलपर और निवेशक अपना अधिक समय और पैसा समस्या पर ही नहीं, बल्कि वर्कअराउंड पर खर्च करते हैं,” डेंजेल ने घोषणा में कहा। “RAG सिस्टम मॉडल को भेजने से पहले थोड़ी संख्या में प्रासंगिक परिणाम खींचने के लिए सर्च इंजन का उपयोग करते हैं, क्योंकि पूरा कॉर्पस भेजना संभव नहीं है।”
Subquadratic का नया आर्किटेक्चर शुरू से ही उप-द्विघातीय होने के लिए डिज़ाइन किया गया है, एक ऐसा लक्ष्य जिसे कंपनी स्वीकार करती है कि अनुसंधान समुदाय ने रैखिक ध्यान और राज्य अंतरिक्ष मॉडल जैसे तंत्रों के माध्यम से वर्षों से अपनाया है। कंपनी के अनुसार, सफलता मौजूदा फ्रंटियर मॉडलों के प्रदर्शन स्तर का त्याग किए बिना इस दक्षता को प्राप्त करने में निहित है।
उत्पाद और प्रदर्शन बेंचमार्क
SubQ 1M-Preview एक निजी बीटा के माध्यम से उपलब्ध कराया जा रहा है, जो तीन प्रारंभिक उत्पाद प्रदान करता है:
- API: डेवलपर्स और एंटरप्राइज़ टीमों के लिए एक पूर्ण-संदर्भ API।
- SubQ Code: एक कोडिंग एजेंट जो संपूर्ण कोडबेस को एकल संदर्भ विंडो में लोड करता है, जो कमांड लाइन इंटरफ़ेस (CLI) के माध्यम से सुलभ है। यह एक पास में पूरे रिपॉजिटरी में योजना, निष्पादन और समीक्षा की अनुमति देता है।
- SubQ Search: एक लंबी-संदर्भ खोज उपकरण जो चैटबॉट-जैसी गति पर गहन शोध क्षमताएँ प्रदान करने के लिए डिज़ाइन किया गया है।
कंपनी ने SubQ 1M-Preview के लिए कई प्रदर्शन बेंचमार्क प्रकाशित किए, जिन्हें उसने कहा कि RULER 128K बेंचमार्क पर तीसरे पक्ष द्वारा सत्यापित किया गया था, जो विस्तारित इनपुट पर तर्क के लिए एक मानक परीक्षण है। मुख्य परिणामों में शामिल हैं:
- RULER 128K बेंचमार्क पर 95% सटीकता का स्कोर, जबकि Claude Opus 4.6 के लिए 94.8% था।
- कंपनी के Sparse Attention तंत्र को उसके आर्किटेक्चर-स्तरीय तुलना में FlashAttention की तुलना में 52 गुना तेज़ बताया गया, जबकि 63% कम कंप्यूट की आवश्यकता थी।
- MRCR v2 बेंचमार्क (जो लंबे संदर्भ में पुनर्प्राप्ति और तर्क का परीक्षण करता है) पर 65.9 का तीसरे पक्ष द्वारा सत्यापित स्कोर बताया गया। यह GPT 5.5 (74), Claude Opus 4.7 (32.2), और Gemini 3.1 Pro (26.3) के लिए उद्धृत स्कोर के मुकाबले अनुकूल रूप से तुलना करता है।
- SWE-Bench Verified स्कोर 81.8, जबकि Opus 4.6 (80.8) और Deepseek 4.0 Pro (80.0) था।
कंपनी ने 12 मिलियन टोकन तक के प्रदर्शन को प्रदर्शित करने वाला एक शोध परिणाम भी साझा किया, यह देखते हुए कि अन्य फ्रंटियर मॉडल “अपनी बताई गई 1M-टोकन सीमा से बहुत पहले टूट जाते हैं।” कंपनी के अनुसार, इस पैमाने पर, SubQ का आर्किटेक्चर अन्य फ्रंटियर मॉडलों की तुलना में ध्यान कंप्यूट को लगभग 1,000 गुना कम कर देता है।
लंबी-संदर्भ अनुप्रयोगों को सक्षम करना
बड़ी मात्रा में डेटा प्रोसेसिंग से जुड़ी लागत और कंप्यूट को कम करके, SubQ नए प्रकार के अनुप्रयोगों को सक्षम करने की स्थिति में है। कंपनी सुझाव देती है कि संदर्भ विंडो आकार के लिए सीमा का विस्तार करना संपूर्ण कोडबेस, बड़े दस्तावेज़ संग्रह, जटिल स्प्रेडशीट, या लंबे समय तक चलने वाले इंटरैक्शन इतिहास को एक पास में संसाधित करना व्यवहार्य बनाता है। यह दृष्टिकोण जटिल पुनर्प्राप्ति पाइपलाइनों और बहु-एजेंट समन्वय प्रणालियों की आवश्यकता को कम करता है, और उस जानकारी को संरक्षित करने में मदद करता है जो अन्यथा संदर्भ सीमाओं पर खो सकती है।
अर्थशास्त्र और टीम
लागत को बड़े पैमाने पर AI सिस्टम तैनात करने में एक प्राथमिक बाधा के रूप में उजागर किया गया है। अनुमान को अधिक कुशल बनाकर, Subquadratic का लक्ष्य उन वर्कलोड को व्यवहार्य बनाना है जो पहले लागत-निषेधात्मक थे। इसमें उच्च-मात्रा वाले वर्कलोड और वे अनुप्रयोग शामिल हैं जो मॉडल के साथ निरंतर, लंबी-संदर्भ अंतःक्रिया पर निर्भर करते हैं।
कंपनी की टीम में 11 PhD शोधकर्ता और शोध इंजीनियर शामिल हैं, जिनकी पृष्ठभूमि Meta, Google, Oxford, Cambridge, और Adobe जैसे संगठनों से है। CTO एलेक्स व्हीडन ने पहले Meta में सॉफ्टवेयर इंजीनियर के रूप में काम किया और TribeAI में जनरेटिव AI के प्रमुख के रूप में कार्य किया, जहाँ उन्होंने 40 से अधिक एंटरप्राइज़ AI कार्यान्वयनों का नेतृत्व किया।
निष्कर्ष
SubQ 1M-Preview के रिलीज़ के साथ, Subquadratic बड़े भाषा मॉडलों के लिए एक प्रतिस्पर्धी बाजार में प्रवेश कर रहा है, जो एक मौलिक रूप से भिन्न आर्किटेक्चरल दृष्टिकोण प्रदान करता है। संदर्भ लंबाई के साथ कुशल रैखिक स्केलिंग का कंपनी का दावा, यदि पैमाने पर मान्य होता है, तो AI के साथ संभव की व्यावहारिक सीमाओं को बदल सकता है। जैसे-जैसे कंपनी निजी बीटा से व्यापक उपलब्धता की ओर बढ़ती है, वास्तविक दुनिया, उच्च-मात्रा वाले अनुप्रयोगों में प्रौद्योगिकी का प्रदर्शन इसके दीर्घकालिक प्रभाव का निर्धारण करेगा।
