Естественный способ преодоления катастрофической забывчивости нейронных сетей

Аннотация

Проблема катастрофической забывчивости проявилась в моделях нейронных сетей на базе коннекционистского подхода, которые активно исследуются начиная со второй половины 20-го века. Предпринимались многочисленные попытки и были предложены различные способы решения этой проблемы, но до самого последнего времени значимых успехов достичь не удавалось. В 2016 году случился значительный прорыв – группа ученых из DeepMind предложила метод эластичного закрепления весов (EWC), который позволяет успешно бороться с проблемой катастрофической забывчивости. К сожалению, хотя нам известны случаи использования этого метода в реальных задачах, он пока не получил повсеместного распространения. В этой работе мы хотим предложить альтернативные подходы к преодолению катастрофической забывчивости, основанные на суммарном абсолютном сигнале, прошедшем через связь в нейронной сети, которые демонстрируют схожую с EWC эффективность и, при этом, имеют существенно меньшую вычислительную стоимость. Эти подходы имеют более простую реализацию и представляются нам по своей сути более близкими к процессам, происходящим в мозге животных для сохранения выученных ранее навыков при последующем обучении. Мы надеемся, что простота реализации этих методов послужит их более широкому применению.

Сведения об авторе

Alexey Anatolyevich Kutalev, АО "ИнфоВотч"

специалист, программист-исследователь отдела прогнозирования

Опубликована
2020-09-30
Как цитировать
KUTALEV, Alexey Anatolyevich. Естественный способ преодоления катастрофической забывчивости нейронных сетей. Международный научный журнал «Современные информационные технологии и ИТ-образование», [S.l.], v. 16, n. 2, sep. 2020. ISSN 2411-1473. Доступно на: <http://sitito.cs.msu.ru/index.php/SITITO/article/view/652>. Дата доступа: 02 dec. 2020