AI след GPU: вероятностният чип Z1 и моделите Z1T на Extropic

Големите AI модели обикновено се свързват с огромни центрове за данни, скъпи ускорители и все по-висока консумация на електроенергия. Extropic предлага различна посока: вместо поредния чип за плътни матрични изчисления, компанията разработва вероятностен хардуер и модели, съобразени с неговата физическа структура.

Новото семейство се нарича Z1T. Това не са стандартни Transformers, прехвърлени без промяна върху друг процесор. Архитектурата използва силно разредени операции и модифицирани компоненти, които могат да бъдат разположени върху фиксираната мрежа от вероятностни битове — т.нар. pbits — в чипа Z1.

Какво е различното

Съвременните GPU са изключително добри в плътни матрични умножения. Z1 е проектиран по друг начин: неговите елементи са свързани в разредена мрежа и извършват вероятностни изчисления директно в хардуера. Според Extropic един чип има 269 568 pbits, работи с вътрешна честота над 50 MHz и консумира под 1 ват.

За да използва тези особености, екипът променя самия модел. Z1T разчита на ниска точност, фиксирана свързаност и разредени операции. Частите, които не са подходящи за Z1, се поемат от FPGA съпроцесори. Така системата е хетерогенна — не става дума само за един чип, който магически заменя целия GPU сървър.

Откъде идва твърдението за ефективността

Официалният материал на Extropic говори за над 100 пъти по-добра енергийна ефективност спрямо GPU. Публикацията в X закръгля това до 140 пъти. По-коректно е да останем при по-консервативната официална формулировка.

Има и важни уговорки. Това е предварително изследване на самата компания. Сравнението използва оценки за система от Z1 чипове и FPGA съпроцесори спрямо H100, а не независим тест на готов продукт при всички реални натоварвания. Самите разредени модели също изискват повече обучителни операции, за да достигнат загубата на плътен GPT-2 модел. Твърдението е интересно, но не означава, че Z1 днес е универсален заместител на GPU.

Нов тип scaling law

Екипът е обучил модели с различни размери и нива на свързаност, за да изследва как качеството се променя с изчислителния бюджет, размера и разредеността. Според Extropic резултатите показват предвидима зависимост, подобна на познатите scaling laws при Transformers, но с още една променлива — физическата свързаност на хардуера.

Това е по-голямата идея зад проекта. Ако алгоритъмът и чипът се проектират заедно, може да се постигне ефективност, която е трудна за хардуер, оптимизиран за съвсем друг тип изчисления.

Какво е публикувано

Extropic е публикувала отворени тегла за модел Z1T-0 в Hugging Face и Apache-2.0 тренировъчен код в GitHub. Това позволява на изследователи да разгледат архитектурата и рецептата за обучение, макар че ключовата хардуерна част не е нещо, което обикновеният потребител може просто да изтегли и стартира у дома.

Z1T не доказва, че ерата на GPU приключва. Показва обаче нещо важно: бъдещето на AI ефективността може да зависи не само от по-малки модели или по-добър софтуер, а от модели, създадени от самото начало за нов вид физически хардуер.