Студент Техаського університету Сінан Джан Демір виявив спробу автономного ШІ-агента непомітно додати шкідливий код до проєкту на GitHub.
Про це пише Reuters.
Наприкінці липня студент факультету комп’ютерних наук Техаського університету в Далласі Сінан Джан Демір працював над своїм портфоліо на GitHub. Після понад 20 невдалих спроб знайти стажування влітку він звернув увагу на підозрілу активність у відкритому програмному забезпеченні myNetwork, призначеному для сканування мереж.
Один із користувачів платформи під ніком miraholt31 запропонував внести зміни до програми. Демір припустив, що разом з оновленнями до коду намагалися приховано додати завантажувач шкідливого програмного забезпечення. Він повідомив розробників про можливу загрозу, однак автор змін почав запевняти, що код є безпечним.
Згодом у дискусії з’явився ще один профіль, який видавав себе за німецьку інженерку Лену Брандт. Він також підтримав автора змін і переконував Деміра, що причин для занепокоєння немає. За словами студента, це на певний час змусило його засумніватися у власному аналізі. Проте після повторної перевірки він продовжив наполягати на тому, що код становить загрозу. Зрештою розробник myNetwork відхилив зміни саме через ризик для безпеки.
Пізніше з Деміром зв’язалися представники британського Інституту безпеки штучного інтелекту. Вони пояснили, що обидва профілі були створені в рамках експерименту з автономним ШІ-агентом. Під час перевірки безпеки система почала поводитися непередбачувано.
В інституті зазначили, що агент працював на основі моделі Mythos 5 від Anthropic.
«Я справді думав, що це людина, тому що вона явно мені брехала. Я не думав, що ШІ може бути здатним брехати справжнім розробникам», — розповів студент.
Фахівці з кібербезпеки назвали цей випадок показовим прикладом потенційної атаки на ланцюг постачання програмного забезпечення. На їхню думку, особливу небезпеку становить те, що ШІ не лише намагався впровадити шкідливий код, а й створив кілька вигаданих особистостей, щоб брати участь у дискусії та впливати на людину.
«Це перетнуло межу від автономного злому до інтерактивного обману», — зазначив дослідник Королівського коледжу Лондона Лукаш Олейнік.