Команда математиков нашла способ уменьшить размер обученной нейронной сети в шесть раз, не затрачивая дополнительных ресурсов на ее переобучение. Подход основан на нахождении корреляции между весами нейронных связей в исходной системе и ее упрощенной версии. Результаты работы опубликованы в журнале Optical Memory and Neural Networks.
Структуры искусственных нейронных сетей и нейронов в живом организме основаны на тех же принципах. Узлы в сети связаны между собой, но некоторые из них получают сигнал, а некоторые — передают его, активируя или подавляя следующий элемент в цепочке. Для обработки любого сигнала — такого, как изображения или звука — требуется множество сетевых элементов и исходящих от них соединений. Однако модели компьютеров имеют ограниченные емкость и объем памяти. Для работы с большими объемами данных специалистам приходится изобретать различные способы снижения требований к емкости, включая так называемое квантование. Это помогает снизить потребление ресурсов, но требует переобучения системы.
«Несколько лет назад мы провели эффективное и экономичное квантование весов в сети Хопфилда. Это сеть с ассоциативной памятью с симметричными связями между элементами, которые формируются в соответствии с правилом Хебба. В ходе ее работы активность сети сводится к определенному состоянию равновесия, и когда оно достигается, задача считается решенной. Выводы, полученные в этом исследовании, позже были применены к сетям прямого обучения с глубоким обучением, которые сегодня очень популярны в распознавании изображений. Как правило, эти сети требуют повторное обучение после квантования, но мы нашли способ избежать этого».
Яков Карандашев, кандидат наук, доцент РУДН.
Основная идея упрощения искусственных нейронных сетей — это так называемое квантование весов, то есть уменьшение количества битов на каждый вес. Квантование предусматривает усреднение сигнала: например, если оно применяется к изображению, все пиксели, представляющие разные оттенки одного цвета, станут идентичными. Математически это означает, что нейронные связи, похожие по определенным параметрам, должны иметь одинаковый вес (или важность), выраженный числом.
Команда математиков из РУДН провела расчеты и создала формулы, которые эффективно устанавливают корреляции между весами в нейронной сети до и после квантования. На их основе ученые разработали алгоритмы, с помощью которых обученная нейронная сеть могла классифицировать изображения. В своем эксперименте математики использовали текстовый пакет из 50 тысяч фотографий, которые можно было разделить на 1 000 групп. После обучения сеть была квантована с использованием нового метода и не подвергалась повторному обучению. Затем результаты сравнивали с другими алгоритмами квантования.
После квантования точность классификации снизилась всего на 1%, но требуемый объем хранилища был уменьшен в шесть раз. Эксперименты показывают, что эта сеть не требует повторного обучения из-за сильной корреляции между исходным и квантованным весами. Такой подход может помочь экономия ресурсов при выполнении срочных задач или работе на мобильных устройствах.