Сравнительный анализ оптимизации гиперпараметров средствами Optuna и Hyperopt для сверточных нейронных сетей

Аннотация

Управление процессом обучения нейросетевой модели выполняется выбором оптимальных гиперпараметров, оказывающих существенное влияние на его качество и производительность. Это влияние было доказано как теоретически, так и эмпирически многими исследованиями. Задача трудоемка, если выбирается ручной поиск. Наиболее распространенные переборные методы решения включают поиск по сетке, случайный поиск и последовательную оптимизацию на основе моделей, в которой процедура оценки целевой функции достаточно оперативна. Но все эти методы создают проблемы в приложениях со сверточными нейронными сетями, где пространство параметров настолько велико, что даже сокращенный перебор их возможных комбинаций затратен по требуемым вычислительным мощностям. Альтернативой являются инструменты автоматической настройки гиперпараметров, совместимые с фреймворками машинного обучения и использующие быстродействующие вероятностные оценки целевой функции с дополнительными механизмами. В работе сравниваются производительности обучения сверточных нейронных сетей с использованием именно таких инструментов – Python-библиотек автоматической оптимизации гиперпараметоров – Hyperopt и Optuna. Их сравнительный анализ выполнен для приложений классификации изображений. Показано, что применение библиотек дает возможность преодолеть наиболее важные проблемы оптимизации гиперпараметров таких приложений, включая большую размерность их пространства поиска и чувствительность к выбору настраиваемых гиперпараметров. Сравнивая производительность модели по точности и потерям обучения, можно прийти к выводу, что оба метода оптимизации гиперпараметров эффективны, обеспечивая точность обучения более 99% и уровень потерь менее 0.03. Реализация алгоритма оптимизации в пакете Optuna оказалась немного лучше, чем в Hyperopt, обеспечивая высокие показатели производительности и на обучающих и на тестовых данных.