На юридическом факультете Университета Миннесоты в США провели эксперимент и дали задание чат-боту «ChatGPT» сдать выпускные экзамены по четырем дисциплинам. Проходной балл система набрала, но результаты были не блестящими.
Научные сотрудники юридического факультета Университета Миннесоты в США решили проверить, сможет ли чат-бот «ChatGPT» сдать экзамены наравне со студентами. Это технология, основанная на нейросети «GPT-3,5». Она считается самой сложной и объемной языковой моделью в мире. Ее создала компания «OpenAI». Один из основателей организации – Илон Маск.
Искусственный интеллект набрал проходной балл, но показал далеко не блестящие результаты. Несмотря на это, в некоторых американских школах технологию уже начали запрещать из опасений, что учащиеся будут выполнять задания с ее помощью.
Ученые из университета Миннесоты выбрали четыре дисциплины, по которым нейросеть сдала экзамен. Конституционное право, гражданско-правовые правонарушения, налогообложение и трудовые гарантии и компенсации. Для первых двух предметов нужны знания с первого года обучения. Остальные – это более продвинутые курсы по выбору. Всего чат-бот ответил примерно на 100 вопросов с вариантами ответов и решил 12 задач на рассуждение. Искусственный интеллект получил оценки «хорошо», «хорошо с минусом» и «удовлетворительно с минусом». Это далеко не худшая оценка в образовательной системе США, после нее идут еще две отметки. И, хотя почти во всех испытаниях чат-бот занял предпоследнее или последнее место среди студентов, в теории он мог бы выпуститься из университета, потому что набрал проходной балл. Правда, как отметили авторы исследования, такому студенту, скорее всего, назначили бы академический испытательный срок, чтобы убедиться, что он старается.
Ученые из Университета Миннесоты отметили, что чат-бот «ChatGPT»оказался неспособным провести глубокие причинно-следственные связи. При этом по некоторым критериям написания эссе он справился местами даже лучше студентов. Например, емко пересказал подходящие юридические доктрины, которые не упоминались в вопросах, процитировал факты и решения по прецедентам. Причем речь была хорошо структурирована. Закрытые вопросы с вариантами ответов оказались для нейросети непростыми, но, несмотря на это, технология верно решила 21 из 25 таких заданий на экзамене по конституционному праву.
Некоторые американские школы на этом фоне уже начали бороться с тем, что учащиеся используют искусственный интеллект для написания работ. В частности, государственные школы Нью-Йорка недавно заблокировали доступ к «ChatGPT» на школьных компьютерах, нейросетью нельзя пользоваться и в случае, если ребенок подключен к школьной сети. Причина – сомнение по поводу безопасности и точности контента. Но смысла в запретах нет, такие технологии, напротив, нужно использовать с пользой для образования, уверен методист московской школы «Глория», учитель с 26-летним стажем Сергей Астахов:
«Запретами ничего не добьешься. Так же, как мы перестали запрещать сотовые телефоны, использование компьютеров, потому что это все учимся использовать во благо. Искусственный интеллект в Москве, допустим, уже используется: это цифровые домашние задания в московской электронной школе. Когда ученики дают ответы, искусственный интеллект проверяет и дает тебе тут же обратную связь. Беспокойство существует, что он пишет вступительные испытания, сочинения. Наверное, экзамен уже не должен быть чисто воспроизведением знаний, которые получил студент, а это должен быть какой-то экзамен креативный».
Впрочем, до совершенства тому же чат-боту «ChatGPT» еще далеко. Иногда его ответы абсолютно бессмысленны. Простой пример. Если задать вопрос, почему умер Александр Пушкин, вы получите такой ответ: от туберкулеза, которым заразился в детстве. Также есть версии, что он умер от сильного алкогольного опьянения или от сердечного недуга.
