Производительность параллельных вычислений при обучении моделей глубокого обучения

Аннотация

Потребность в вычислительных ресурсах, необходимых для обучения новых моделей глубокого обучения, в настоящее время постоянно растет. Этот рост привел к появлению специализированных процессоров, называемых ускорителями. Такие ускорители, как графические процессоры (GPU) и тензорные процессоры (TPU) достигают лучшей производительности, чем центральный процессор (CPU), благодаря своим ресурсам параллельной реализации операций и высокой пропускной способности памяти. Google Colaboratory (Colab) – облачный сервис, позволяющий писать код на Python в Jupyter Notebook, обеспечивает свободный доступ к аппаратным платформам TPU и GPU, позволяя разрабатывать в браузере современные модели глубокого обучения. Основная цель данной статьи – сравнение производительности обучения моделей, работающих на ускорителях облачной платформы Colaboratory, предназначенных для обработки текстовых и графических данных. Представлено сравнение CPU и ускорителей GPU, TPU при обучении распознаванию изображений средствами моделей сверточной нейронной сети (CNN) и глубокой сети доверия (DBN). Выполнено сравнение производительности этих платформ в ходе обучения двунаправленных рекуррентных моделей долговременной краткосрочной памяти (BILSTM) и управляемого рекуррентного блока (BIGRU) с текстовыми данными на входе. Получены зависимости временных характеристик и метрик качества обучения моделей от их параметров, позволяющие количественно оценить производительность платформ. Для реализации параллелизма всех отобранных моделей выбрана Google-библиотека Tensorflow, поддерживающая реализацию параллельных вычислений на ускорителях GPU и TPU. Обучение распознаванию изображений выполнялось с использованием набора данных MNIST (Modified National Institute of Standards and Technology – модифицированная база данных Национального института стандартов и технологий), обучение классификации текстов – с набором IMDB (Internet Movie Database – интернет-база фильмов). Показано, что при этом время обучения на графических и текстовых данных сокращается в разы. Однако в случае текстов степень сокращения оказалась меньшей.