AI

Subquadratic Meluncurkan SubQ, LLM Berbasis Arsitektur Subquadratic

Perusahaan AI yang berbasis di San Francisco, Subquadratic, telah merilis SubQ 1M-Preview, sebuah model bahasa besar (LLM) yang menurut perusahaan dibangun di atas arsitektur subkuadratik penuh. Tidak seperti model transformer tradisional, di mana kebutuhan komputasi meningkat secara kuadratik seiring panjang konteks, perusahaan mengklaim bahwa komputasi SubQ tumbuh secara linear, yang berpotensi memungkinkan jendela konteks yang jauh lebih panjang dan biaya operasional yang lebih rendah.

Pengumuman yang dibuat oleh salah satu pendiri dan CEO Justin Dangel ini menandai peluncuran publik model yang dirancang untuk mengatasi keterbatasan penskalaan fundamental dalam AI. Perusahaan telah mengumpulkan dana seed sebesar $29 juta dari investor termasuk Justin Mateen, salah satu pendiri Tinder, dan Grant Gittlin dari Lasagna, bersama dengan pendukung awal organisasi seperti Anthropic dan OpenAI.

Mengatasi Hambatan Penskalaan Kuadratik

Tantangan teknis inti yang ingin dipecahkan perusahaan adalah penskalaan kuadratik dari model transformer tradisional. Dalam arsitektur standar, setiap token harus dibandingkan dengan setiap token lainnya dalam konteks tertentu. Seiring bertambahnya panjang konteks, jumlah interaksi ini—dan komputasi yang diperlukan—meningkat secara kuadratik. Dangel mencatat bahwa kendala ini secara historis telah membentuk desain sistem, memaksa pengembang untuk menggunakan solusi alternatif seperti pipeline retrieval-augmented generation (RAG) dan strategi chunking daripada memproses korpus dokumen secara langsung.

“Pengembang dan investor menghabiskan lebih banyak waktu dan uang untuk solusi alternatif daripada pada masalah itu sendiri,” kata Dangel dalam pengumuman tersebut. “Sistem RAG menggunakan mesin pencari untuk menarik sejumlah kecil hasil yang relevan sebelum mengirimkannya ke model, karena mengirimkan seluruh korpus tidak memungkinkan.”

Arsitektur baru Subquadratic dirancang dari awal untuk menjadi subkuadratik, sebuah tujuan yang diakui perusahaan telah dikejar oleh komunitas riset selama bertahun-tahun melalui mekanisme seperti perhatian linear dan model ruang keadaan. Terobosan, menurut perusahaan, terletak pada pencapaian efisiensi ini tanpa mengorbankan tingkat kinerja model frontier yang ada.

Tolok Ukur Produk dan Kinerja

SubQ 1M-Preview tersedia melalui beta privat, menawarkan tiga produk awal:

  • API: API konteks penuh untuk pengembang dan tim perusahaan.
  • SubQ Code: Agen pengkodean yang memuat seluruh basis kode ke dalam satu jendela konteks, dapat diakses melalui antarmuka baris perintah (CLI). Ini memungkinkan perencanaan, eksekusi, dan peninjauan di seluruh repositori dalam satu langkah.
  • SubQ Search: Alat pencarian konteks panjang yang dirancang untuk memberikan kemampuan riset mendalam dengan kecepatan seperti chatbot.

Perusahaan menerbitkan beberapa tolok ukur kinerja untuk SubQ 1M-Preview, yang menurutnya diverifikasi oleh pihak ketiga pada tolok ukur RULER 128K, sebuah tes standar untuk penalaran atas input yang diperluas. Hasil utama meliputi:

  • Skor akurasi 95% pada tolok ukur RULER 128K, dibandingkan dengan 94,8% untuk Claude Opus 4.6.
  • Mekanisme Sparse Attention perusahaan dilaporkan 52 kali lebih cepat daripada FlashAttention dalam perbandingan tingkat arsitekturnya, sementara membutuhkan komputasi 63% lebih sedikit.
  • Pada tolok ukur MRCR v2 (yang menguji pengambilan dan penalaran dalam konteks panjang), skor yang diverifikasi pihak ketiga sebesar 65,9 dilaporkan. Ini lebih baik dibandingkan dengan skor yang dikutip untuk GPT 5.5 (74), Claude Opus 4.7 (32,2), dan Gemini 3.1 Pro (26,3).
  • Skor SWE-Bench Verified sebesar 81,8, dibandingkan dengan Opus 4.6 (80,8) dan Deepseek 4.0 Pro (80,0).

Perusahaan juga membagikan hasil riset yang menunjukkan kinerja hingga 12 juta token, mencatat bahwa model frontier lainnya “rusak jauh sebelum batas 1 juta token yang dinyatakan.” Pada skala ini, arsitektur SubQ mengurangi komputasi perhatian hampir 1.000x dibandingkan dengan model frontier lainnya, menurut perusahaan.

Memungkinkan Aplikasi Konteks Panjang

Dengan mengurangi biaya dan komputasi yang terkait dengan pemrosesan data dalam jumlah besar, SubQ diposisikan untuk memungkinkan kategori aplikasi baru. Perusahaan menyarankan bahwa memperluas batas ukuran jendela konteks membuatnya layak untuk memproses seluruh basis kode, koleksi dokumen besar, spreadsheet kompleks, atau riwayat interaksi yang berjalan lama dalam satu langkah. Pendekatan ini mengurangi kebutuhan akan pipeline pengambilan yang kompleks dan sistem koordinasi multi-agen, serta membantu melestarikan informasi yang mungkin hilang di batas konteks.

Ekonomi dan Tim

Biaya disorot sebagai kendala utama dalam menerapkan sistem AI dalam skala besar. Dengan membuat inferensi lebih efisien, Subquadratic bertujuan untuk membuat beban kerja yang sebelumnya mahal menjadi layak. Ini termasuk beban kerja volume tinggi dan aplikasi yang bergantung pada interaksi konteks panjang yang berkelanjutan dengan model.

Tim perusahaan mencakup 11 peneliti PhD dan insinyur riset dengan latar belakang dari organisasi seperti Meta, Google, Oxford, Cambridge, dan Adobe. CTO Alex Whedon sebelumnya bekerja sebagai insinyur perangkat lunak di Meta dan menjabat sebagai Kepala AI Generatif di TribeAI, di mana ia memimpin lebih dari 40 implementasi AI perusahaan.

Kesimpulan

Dengan dirilisnya SubQ 1M-Preview, Subquadratic memasuki pasar yang kompetitif untuk model bahasa besar, menawarkan pendekatan arsitektur yang fundamental berbeda. Klaim perusahaan tentang penskalaan linear yang efisien dengan panjang konteks, jika divalidasi dalam skala besar, dapat menggeser batas praktis dari apa yang mungkin dilakukan dengan AI. Saat perusahaan beralih dari beta privat ke ketersediaan yang lebih luas, kinerja teknologi dalam aplikasi dunia nyata bervolume tinggi akan menentukan dampak jangka panjangnya.


Sumber: https://subq.ai/introducing-subq