Оптимизация гиперпараметров сверточной нейронной сети, используемой при построении двумерных карт местности

  • Alexandra Vladimirovna Akinina Рязанский государственный радиотехнический университет им. В.Ф. Уткина http://orcid.org/0000-0002-2745-9415
  • Mikhail Borisovich Nikiforov Рязанский государственный радиотехнический университет им. В.Ф. Уткина http://orcid.org/0000-0002-4796-0776

Аннотация

Рассматривается задача определения гиперпараметров нейронной сети в контексте построения двумерной карты местности. Целью работы является анализ существующих методов оптимизации гиперпараметров, а также разработка улучшенного подхода к определению гиперпараметров на основе достоинств и недостатков существующих методов. В качестве гиперпараметров рассматриваются скорость обучения, коэффициент регуляризации, размер мини-батча, вероятность дропаута, сдвиг и растяжение, применяемые в пакетной нормализации. Среди существующих методов подбора гиперпараметров были рассмотрены случайный поиск, поиск по сетке (вариация параметров), Байесовская оптимизация, эволюционная оптимизация, оптимизация на основе градиентов и спектральный метод. На основе исследуемых методов был предложен подход, который увеличивает производительность и качество работы алгоритма.
Целевая функция оптимизируется в области, описываемой простыми ограничениями на нижнюю и верхнюю границу, гиперпрямоугольник, а переменные решения ограничены целочисленными значениями. Алгоритм основывается на исходной модели целевой функции, а затем выбирает новые точки для оценки, пытаясь сбалансировать исследование неизвестных значений и уже найденных. Одноцелевая задача оптимизации для выбора новой точки решается простым генетическим алгоритмом. Критерием остановки является максимально допустимое число оценок или установленный временной порог. Оценка целевой функции реализуется с помощью очереди задач.
Применение метода оптимизации без производных позволяет сократить вычислительные потери за счет оптимизации целевой функции в области, описываемой простыми ограничениями на нижнюю и верхнюю границу. При этом точность алгоритма оказывается выше, чем при использовании случайного поиска, байесовской и спектральной оптимизации.

Сведения об авторах

Alexandra Vladimirovna Akinina, Рязанский государственный радиотехнический университет им. В.Ф. Уткина

аспирант кафедры электронных вычислительных машин

Mikhail Borisovich Nikiforov, Рязанский государственный радиотехнический университет им. В.Ф. Уткина

директор НОЦ "СпецЭВМ", доцент кафедры электронных вычислительных машин, кандидат технических наук, доцент, член-корреспондент Академии информатизации образования

Опубликована
2020-09-30
Как цитировать
AKININA, Alexandra Vladimirovna; NIKIFOROV, Mikhail Borisovich. Оптимизация гиперпараметров сверточной нейронной сети, используемой при построении двумерных карт местности. Международный научный журнал «Современные информационные технологии и ИТ-образование», [S.l.], v. 16, n. 2, sep. 2020. ISSN 2411-1473. Доступно на: <http://sitito.cs.msu.ru/index.php/SITITO/article/view/653>. Дата доступа: 02 dec. 2020
Раздел
Прикладные проблемы оптимизации