ВЕРТИКАЛЬНОЕ РАСПРЕДЕЛЕНИЕ НЕЙРОННОЙ СЕТИ МЕЖДУ МОБИЛЬНЫМ УСТРОЙСТВОМ И СЕРВИСАМИ ОБЛАЧНОЙ ИНФРАСТРУКТУРЫ

Аннотация

Нейронные сети в некоторых областях становятся безальтернативным способом решения задач. Распознавание изображений, звуков, классификация – эти задачи требуют серьезной процессорной мощности и памяти для обучения и для функционирования сети. Современные мобильные устройства имеют довольно неплохие характеристики для первичных слоев глубоких нейросетей, но для полноценной работы не хватает ресурсов. Поскольку обучение нейросетей для мобильных устройств происходит отдельно на внешних ресурсах, был разработан метод распределённой работы нейросети с вертикальным распределением по наборам слоев с синхронизацией данных обучения. Для этого модель разделяется после сохранения ее состояния, все слои на мобильном устройстве конвертируются в формат для мобильного фреймворка и синхронизируются с устройством после обучения на распределенной платформе. Отдельно формируются массивы, связанные с переменными и коэффициентами, что позволяет существенно уменьшить размер файла данных нейросети, загружаемого на устройство. Предложен алгоритм автоматического выбора места разделения нейросети на основе количества передаваемых между слоями данных и нагрузки на ресурсы мобильного устройства. Подход позволяет в некоторых случаях использовать полноразмерные глубокие нейросети совместно с мобильным устройством. Как показало исследование производительности, не перегружая канал связи и ресурсы устройства возможно получить приемлемый отклик даже при нестабильном канале связи.

Сведения об авторах

Юрий Александрович Ушаков, Оренбургский государственный университет

кандидат технических наук, доцент, кафедра геометрии и компьютерных наук

Петр Николаевич Полежаев, Оренбургский государственный университет

старший преподаватель, кафедра компьютерной безопасности и математического обеспечения информационных систем

Александр Евгеньевич Шухман, Оренбургский государственный университет

кандидат педагогических наук, доцент, заведующий кафедрой геометрии и компьютерных наук

Маргарита Викторовна Ушакова, Оренбургский государственный университет

старший преподаватель, кафедра геометрии и компьютерных наук

Литература

[1] Convolutional Neural Networks: a View from the Inside. DataSides. 2017. Available at: http://ru.datasides.com/code/cnn-convolutional-neural-networks/ (accessed 23.08.2018). (In Russian)
[2] Iandola F.N., Han S., W. Moskewicz M.W. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size. arXiv:1602.07360v4 [cs.CV], 2016. 13 p. Available at: https://arxiv.org/pdf/1602.07360.pdf (accessed 23.08.2018).
[3] Mengwei Xu, Mengze Zhu, Yunxin Liu, Felix Xiaozhu Lin, Xuanzhe Liu. DeepCache: Principled Cache for Mobile Deep Vision. Proceedings of the 24th Annual International Conference on Mobile Computing and Networking (MobiCom '18). ACM, New York, NY, USA, 2018, pp. 129-144. DOI: 10.1145/3241539.3241563
[4] Shankar S., Robertson D., Ioannou Y., Criminisi A., Cipolla R. Refining Architectures of Deep Convolutional Neural Networks. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, 2016, pp. 2212-2220. DOI: 10.1109/CVPR.2016.243
[5] Teerapittayanon S., McDanel B., Kung H.T. Distributed Deep Neural Networks Over the Cloud, the Edge and End Devices. Proceedings of 2017 IEEE 37th International Conference on Distributed Computing Systems (ICDCS). Atlanta, GA, 2017, pp. 328-339. DOI: 10.1109/ICDCS.2017.226
[6] LiKamWa R., Hou Y., Gao Y., Polansky M., Zhong L. RedEye: Analog ConvNet Image Sensor Architecture for Continuous Mobile Vision. Proceedings of 2016 ACM/IEEE 43rd Annual International Symposium on Computer Architecture (ISCA). Seoul, 2016, pp. 255-266. DOI: 10.1109/ISCA.2016.31
[7] Loc H.N., Lee Y., Balan R.K. DeepMon: Mobile GPU-based Deep Learning Framework for Continuous Vision Applications. Proceedings of the 15th Annual International Conference on Mobile Systems, Applications, and Services (MobiSys '17). ACM, New York, NY, USA, 2017, pp. 82-95. DOI: 10.1145/3081333.3081360
[8] Mathur A., Lane N.D., Bhattacharya S., Boran A., Forlivesi C., Kawsar F. DeepEye: Resource Efficient Local Execution of Multiple Deep Vision Models using Wearable Commodity Hardware. Proceedings of the 15th Annual International Conference on Mobile Systems, Applications, and Services (MobiSys '17). ACM, New York, NY, USA, 2017, pp. 68-81. DOI: 10.1145/3081333.3081359
[9] Jouppi N. Google supercharges machine learning tasks with TPU custom chip. Google Cloud, 2016. Available at: https://cloud.google.com/blog/products/gcp/google-supercharges-machine-learning-tasks-with-custom-chip (accessed 23.08.2018).
[10] Lovejoy B. Apple moves to third-generation Siri back-end, built on open-source Mesos platform. 9to5mac. 2015. Available at: https://9to5mac.com/2015/04/27/siri-backend-mesos/ (accessed 23.08.2018).
[11] Hauswald J. et al. DjiNN and Tonic: DNN as a service and its implications for future warehouse scale computers. Proceedings of 2015 ACM/IEEE 42nd Annual International Symposium on Computer Architecture (ISCA). Portland, OR, 2015, pp. 27-40. DOI: 10.1145/2749469.2749472
[12] Zhang Q., Yang L.T., Chen Z. Privacy Preserving Deep Computation Model on Cloud for Big Data Feature Learning. IEEE Transactions on Computers. 2016; 65(5):1351-1362. DOI: 10.1109/TC.2015.2470255
[13] Kang Y., Hauswald J., Gao C., Rovinski A., Mudge T., Mars J., Tang L. Neurosurgeon: Collaborative Intelligence Between the Cloud and Mobile Edge. ACM SIGARCH Computer Architecture News. 2017; 45(1):615-629. DOI: 10.1145/3093337.3037698
[14] Zhang Y., Huang G., Liu X., Zhang W., Mei H., Yang S. Refactoring android Java code for on-demand computation offloading. Proceedings of the ACM international conference on Object oriented programming systems languages and applications (OOPSLA '12). ACM, New York, NY, USA, 2012, pp. 233-248. DOI: 10.1145/2384616.2384634
[15] Wang X., Liu X., Zhang Y., Huang G. Migration and execution of JavaScript applications between mobile devices and cloud. Proceedings of the 3rd annual conference on Systems, programming, and applications: software for humanity (SPLASH '12). ACM, New York, NY, USA, 2012, pp. 83-84. DOI: 10.1145/2384716.2384750
[16] Zhang Y., Huang G., Zhang W., Liu X., Mei H. Towards module-based automatic partitioning of java applications. Frontiers of Computer Science. 2012; 6(6):725-740. DOI: 10.1007/s11704-012-2220-x
[17] Full imagenet dataset. GitHub. 2017. Available at: https://github.com/tornadomeet/ResNet/blob/master/README.md#imagenet-11k (accessed 23.08.2018).
Опубликована
2018-12-10
Как цитировать
УШАКОВ, Юрий Александрович et al. ВЕРТИКАЛЬНОЕ РАСПРЕДЕЛЕНИЕ НЕЙРОННОЙ СЕТИ МЕЖДУ МОБИЛЬНЫМ УСТРОЙСТВОМ И СЕРВИСАМИ ОБЛАЧНОЙ ИНФРАСТРУКТУРЫ. Современные информационные технологии и ИТ-образование, [S.l.], v. 14, n. 4, p. 903-910, dec. 2018. ISSN 2411-1473. Доступно на: <http://sitito.cs.msu.ru/index.php/SITITO/article/view/457>. Дата доступа: 28 mar. 2024 doi: https://doi.org/10.25559/SITITO.14.201804.903-910.
Раздел
Исследования и разработки в области новых ИТ и их приложений

Наиболее читаемые статьи этого автора (авторов)