SubQ обещава 12 милиона токена контекст и по-евтин AI отвъд класическия Transformer

Subquadratic представи SubQ — нов AI модел, който обещава огромен контекст, по-ниска цена и по-ефективна архитектура от стандартните Transformer модели.

Защо това е важно

Повечето големи езикови модели днес са изградени върху Transformer архитектура. Тя е изключително успешна, но има един фундаментален проблем: стандартният attention механизъм става много скъп при дълъг контекст.

Причината е, че моделът трябва да проверява връзките между токените в последователността. Когато контекстът расте, изчисленията растат квадратично. Това е една от причините дългият контекст да е толкова скъп, а лимити от 1 милион токена да са трудни за реална масова употреба.

Какво твърди Subquadratic

Компанията Subquadratic представя SubQ като sub-quadratic LLM, създаден специално за много дълъг контекст. Моделът е обявен с поддръжка до 12 милиона токена — достатъчно за цели codebases, дълги документи, продължителни чат истории или големи работни контексти.

Ключовата идея е sparse attention. Вместо моделът да обработва всички възможни връзки между всички токени, той се фокусира върху връзките, които са най-важни. Така compute ресурсът се използва по-ефективно.

Големите числа

Според Subquadratic, SubQ може да намали attention compute с почти 1000 пъти при 12 милиона токена спрямо стандартни frontier модели. При 1 милион токена компанията твърди, че SubQ е 52 пъти по-бърз от FlashAttention.

Има и силни benchmark твърдения: около 95% на RULER 128K long-context benchmark и високи резултати при SWE-Bench Verified coding tasks. Компанията също така посочва цена под $1.50 за 1 милион токена, което би било значително по-ниско от някои водещи модели при дълъг контекст.

Защо трябва да сме внимателни

Това са много силни твърдения. Докато не видим повече независими тестове, реални developer ревюта и стабилна API употреба в production, е разумно да ги приемаме с известна доза скептицизъм.

Но дори така, SubQ е важен сигнал. Индустрията от години знае, че класическият attention механизъм има проблем с мащабирането. Ако Subquadratic наистина е намерила работеща архитектура за много дълъг контекст на ниска цена, това може да промени начина, по който се изграждат AI агенти, coding инструменти и системи с дълга памет.

Голямата картина

AI надпреварата вече не е само кой модел отговаря най-добре в чат. Следващата битка е за архитектури, които могат да работят с огромен контекст, по-ниска цена и по-малко излишни изчисления.

Ако SubQ се докаже в реални условия, това може да е една от първите сериозни крачки към ера след класическия Transformer.