OpenAI показа първия си custom AI чип Jalapeño
OpenAI и Broadcom показаха AI чип за inference — ход към по-евтини и независими AI услуги.
OpenAI направи важна крачка към собствен AI хардуер с първия си custom чип Jalapeño, разработен заедно с Broadcom. Фокусът е върху inference — етапът, в който AI моделите реално отговарят на потребителски заявки. Това е различно от обучението на моделите и е огромна част от ежедневните разходи на компании като OpenAI.
Причината тази новина да е важна е проста: днес най-големите AI играчи зависят силно от ограничен брой доставчици на чипове, най-вече Nvidia. Ако OpenAI успее да оптимизира собствен хардуер за своите модели и услуги, това може да намали разходите, да ускори отговорите и да даде повече контрол върху инфраструктурата.
За обикновения потребител ефектът няма да се усети веднага като нов бутон в ChatGPT. Но в по-дългосрочен план подобни чипове могат да направят AI услугите по-стабилни, по-достъпни и по-масови. Битката за бъдещето на AI вече не е само в моделите — тя е и в силиция, върху който те работят.
