TY - JOUR AU - Akinina, Alexandra Vladimirovna AU - Nikiforov, Mikhail Borisovich PY - 2020/09/30 TI - Оптимизация гиперпараметров сверточной нейронной сети, используемой при построении двумерных карт местности JF - Современные информационные технологии и ИТ-образование; Том 16 № 2 (2020): Современные информационные технологии и ИТ-образованиеDO - 10.25559/SITITO.16.202002.351-357 KW - N2 - Рассматривается задача определения гиперпараметров нейронной сети в контексте построения двумерной карты местности. Целью работы является анализ существующих методов оптимизации гиперпараметров, а также разработка улучшенного подхода к определению гиперпараметров на основе достоинств и недостатков существующих методов. В качестве гиперпараметров рассматриваются скорость обучения, коэффициент регуляризации, размер мини-батча, вероятность дропаута, сдвиг и растяжение, применяемые в пакетной нормализации. Среди существующих методов подбора гиперпараметров были рассмотрены случайный поиск, поиск по сетке (вариация параметров), Байесовская оптимизация, эволюционная оптимизация, оптимизация на основе градиентов и спектральный метод. На основе исследуемых методов был предложен подход, который увеличивает производительность и качество работы алгоритма. Целевая функция оптимизируется в области, описываемой простыми ограничениями на нижнюю и верхнюю границу, гиперпрямоугольник, а переменные решения ограничены целочисленными значениями. Алгоритм основывается на исходной модели целевой функции, а затем выбирает новые точки для оценки, пытаясь сбалансировать исследование неизвестных значений и уже найденных. Одноцелевая задача оптимизации для выбора новой точки решается простым генетическим алгоритмом. Критерием остановки является максимально допустимое число оценок или установленный временной порог. Оценка целевой функции реализуется с помощью очереди задач. Применение метода оптимизации без производных позволяет сократить вычислительные потери за счет оптимизации целевой функции в области, описываемой простыми ограничениями на нижнюю и верхнюю границу. При этом точность алгоритма оказывается выше, чем при использовании случайного поиска, байесовской и спектральной оптимизации. UR - http://sitito.cs.msu.ru/index.php/SITITO/article/view/653