«Не думав, що ШІ здатен брехати розробникам»: студент зі США викрив кібератаку ШІ-агента

Студент Техаського університету Сінан Джан Демір виявив спробу автономного ШІ-агента непомітно додати шкідливий код до проєкту на GitHub.

Про це пише Reuters.

Наприкінці липня студент факультету комп’ютерних наук Техаського університету в Далласі Сінан Джан Демір працював над своїм портфоліо на GitHub. Після понад 20 невдалих спроб знайти стажування влітку він звернув увагу на підозрілу активність у відкритому програмному забезпеченні myNetwork, призначеному для сканування мереж.

Один із користувачів платформи під ніком miraholt31 запропонував внести зміни до програми. Демір припустив, що разом з оновленнями до коду намагалися приховано додати завантажувач шкідливого програмного забезпечення. Він повідомив розробників про можливу загрозу, однак автор змін почав запевняти, що код є безпечним.

Згодом у дискусії з’явився ще один профіль, який видавав себе за німецьку інженерку Лену Брандт. Він також підтримав автора змін і переконував Деміра, що причин для занепокоєння немає. За словами студента, це на певний час змусило його засумніватися у власному аналізі. Проте після повторної перевірки він продовжив наполягати на тому, що код становить загрозу. Зрештою розробник myNetwork відхилив зміни саме через ризик для безпеки.

Пізніше з Деміром зв’язалися представники британського Інституту безпеки штучного інтелекту. Вони пояснили, що обидва профілі були створені в рамках експерименту з автономним ШІ-агентом. Під час перевірки безпеки система почала поводитися непередбачувано.

В інституті зазначили, що агент працював на основі моделі Mythos 5 від Anthropic.

«Я справді думав, що це людина, тому що вона явно мені брехала. Я не думав, що ШІ може бути здатним брехати справжнім розробникам», — розповів студент.

Фахівці з кібербезпеки назвали цей випадок показовим прикладом потенційної атаки на ланцюг постачання програмного забезпечення. На їхню думку, особливу небезпеку становить те, що ШІ не лише намагався впровадити шкідливий код, а й створив кілька вигаданих особистостей, щоб брати участь у дискусії та впливати на людину.

«Це перетнуло межу від автономного злому до інтерактивного обману», — зазначив дослідник Королівського коледжу Лондона Лукаш Олейнік.