Надела за AI агентите: кой има право да натисне спирачката?
В есе от 10 октомври Сатя Надела предлага външни ограничения, проследими действия и човешко прекъсване на AI агентите.
Да поискаш от AI да обобщи документ е едно. Да му дадеш възможност да променя файлове, да изпраща съобщения и да действа в служебни системи е друго. Във втория случай добрият отговор не е достатъчен — важно е кой определя границите и кой може да спре изпълнението.
В есе, публикувано на 10 октомври, Сатя Надела разглежда именно този проблем. Текстът му е за архитектурата на доверие около AI моделите. TechCrunch отразява предложението с акцент върху сравнението с аварийна спирачка.
Ограниченията трябва да са извън модела
Основната идея е системата да не разчита единствено на обещанието на модела, че ще спазва правилата. Надела настоява контролът върху достъпа и допустимите действия да бъде отделен от интелигентността, която изпълнява задачата.
Практическият въпрос за потребителя е разбираем: ако помощникът трябва само да прочете папка, защо да получава право да променя всичко в нея? Ако подготвя съобщение, необходимо ли е и да може да го изпраща без проверка? Това са наши примери за прилагане на принципа, не нови настройки, обявени в есето.
Действията трябва да оставят проверима следа
Надела предлага съществените действия на модела да оставят четимо за хората доказателство, защитено от подправяне. Проверяващият не бива да разчита само на разказа на същия модел за собственото му поведение.
Той включва и независим одит, тестване на грешки и атаки, ограничения още от началото и своевременно съобщаване за инциденти. Човек с необходимите права трябва да може да прекъсне или спре модела по време на задача. Това е съдържанието зад метафората за спирачката.
Какво означава това за ежедневната работа
Преди да свържеш агент с реален акаунт, провери какво може да чете, какво може да променя и как се отнема достъпът. Разгледай къде се виждат извършените действия и кои стъпки изискват твое потвърждение. Ако тези отговори липсват, удобният разговор сам по себе си не решава проблема.
Тези проверки са практичен извод от предложените принципи, а не обещание за пълна безопасност. Есето не обявява универсален бутон, който вече съществува във всички AI приложения. И не доказва, че всеки модел е компрометиран: подходът е системите да бъдат проектирани така, че да ограничават последствията при грешка или компрометиране.
Изображението е концептуална AI визуализация на идеята за човешки контрол. То не показва реално устройство на Microsoft, интерфейс или случил се инцидент.
