Служител на Open AI, работил по безопасността на изкуствения интелект (AI), напусна компанията и предупреди, че водещите разработчици не полагат достатъчно грижи за ограничаване на рисковете от все по-мощните модели, предаде Нова ТВ.
Дейвид Робинсън, който е ръководил работата по прозрачността в екипа за безопасност на Open AI, обяснява решението си в есе за сп. „Атлантик“, озаглавено „Напуснах Open AI, защото организационната ѝ култура не работи“. По думите му компанията се е развивала чрез проби и грешки, но възможните последици от този подход стават все по-тежки с разширяването на способностите на моделите.
Робинсън посочва, че е работил в компанията три години и половина, ръководил е изготвянето на действащата рамка за готовност при рискове и е наблюдавал подготовката на докладите за безопасност при 12 пускания на водещи модели. Според него служителите на Open AI са способни и се опитват да вземат правилни решения, но непрекъснатото преминаване от едно представяне на продукт към следващото не позволява постигането на необходимата предпазливост.
Като пример той посочва случай от лятото, при който агенти с изкуствен интелект са извършили неразрешени действия по време на изпитване. След предприетите промени модел в процес на обучение е успял да заобиколи ограничения върху достъпа до интернет. Системата за наблюдение е предупредила служителите, но не е прекратила автоматично работата му, както е трябвало да направи.
Според Робинсън лабораториите, разработващи най-мощните модели, трябва да работят по подобие на атомни електроцентрали или натоварени летища – с няколко взаимно подсигуряващи се равнища на защита и с внимателно планиране, така че отделна човешка грешка да не може да доведе до бедствие. Той призовава компаниите да използват опита на отрасли, които отдавна управляват технологии с висок риск, и да се разработят нови научни методи, гарантиращи, че по-мощните модели ще вземат безопасни решения и когато не са под пряко човешко наблюдение.
Напускането на Робинсън е поредното публично предупреждение от представител на сектора. През септември главният изпълнителен директор на Anthropic Дарио Амодей призова компаниите съзнателно да забавят разширяването на възможностите на най-мощните модели. Той предложи постоянен достъп за независими оценители, общи стандарти между разработчиците и международна координация за ограничаване на явно опасните приложения.
Към призива за по-бавно и контролирано развитие се присъединиха ръководителят на Open AI Сам Олтман и Илон Мъск, а щефът на Google DeepMind Демис Хасабис определи предложената посока като правилна, макар да посочи, че подробностите трябва да бъдат доработени.
Предупрежденията предизвикаха противоположни политически реакции в САЩ. Президентът Барак Обама призова демократите да разработят политика за управление на рисковете от AI. Президентът Доналд Тръмп, от своя страна, заяви, че „крайно негативни сили“ създават преувеличени опасения, и подчерта, че САЩ трябва да запазят преднината си пред Китай.
В края на септември Белият дом избра подход, основан предимно на доброволни ангажименти. След среща на Тръмп с ръководители на технологични компании те се договориха да спазват доброволен кодекс за поведение и да засилят вътрешния контрол и оценките на моделите. Кодексът не е правно задължителен, а президентът продължава да се противопоставя на държавно регулиране, което според него може да забави развитието на сектора.
