ВЕРТИКАЛЬНОЕ РАСПРЕДЕЛЕНИЕ НЕЙРОННОЙ СЕТИ МЕЖДУ МОБИЛЬНЫМ УСТРОЙСТВОМ И СЕРВИСАМИ ОБЛАЧНОЙ ИНФРАСТРУКТУРЫ
Аннотация
Нейронные сети в некоторых областях становятся безальтернативным способом решения задач. Распознавание изображений, звуков, классификация – эти задачи требуют серьезной процессорной мощности и памяти для обучения и для функционирования сети. Современные мобильные устройства имеют довольно неплохие характеристики для первичных слоев глубоких нейросетей, но для полноценной работы не хватает ресурсов. Поскольку обучение нейросетей для мобильных устройств происходит отдельно на внешних ресурсах, был разработан метод распределённой работы нейросети с вертикальным распределением по наборам слоев с синхронизацией данных обучения. Для этого модель разделяется после сохранения ее состояния, все слои на мобильном устройстве конвертируются в формат для мобильного фреймворка и синхронизируются с устройством после обучения на распределенной платформе. Отдельно формируются массивы, связанные с переменными и коэффициентами, что позволяет существенно уменьшить размер файла данных нейросети, загружаемого на устройство. Предложен алгоритм автоматического выбора места разделения нейросети на основе количества передаваемых между слоями данных и нагрузки на ресурсы мобильного устройства. Подход позволяет в некоторых случаях использовать полноразмерные глубокие нейросети совместно с мобильным устройством. Как показало исследование производительности, не перегружая канал связи и ресурсы устройства возможно получить приемлемый отклик даже при нестабильном канале связи.
Литература
[2] Iandola F.N., Han S., W. Moskewicz M.W. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size. arXiv:1602.07360v4 [cs.CV], 2016. 13 p. Available at: https://arxiv.org/pdf/1602.07360.pdf (accessed 23.08.2018).
[3] Mengwei Xu, Mengze Zhu, Yunxin Liu, Felix Xiaozhu Lin, Xuanzhe Liu. DeepCache: Principled Cache for Mobile Deep Vision. Proceedings of the 24th Annual International Conference on Mobile Computing and Networking (MobiCom '18). ACM, New York, NY, USA, 2018, pp. 129-144. DOI: 10.1145/3241539.3241563
[4] Shankar S., Robertson D., Ioannou Y., Criminisi A., Cipolla R. Refining Architectures of Deep Convolutional Neural Networks. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, 2016, pp. 2212-2220. DOI: 10.1109/CVPR.2016.243
[5] Teerapittayanon S., McDanel B., Kung H.T. Distributed Deep Neural Networks Over the Cloud, the Edge and End Devices. Proceedings of 2017 IEEE 37th International Conference on Distributed Computing Systems (ICDCS). Atlanta, GA, 2017, pp. 328-339. DOI: 10.1109/ICDCS.2017.226
[6] LiKamWa R., Hou Y., Gao Y., Polansky M., Zhong L. RedEye: Analog ConvNet Image Sensor Architecture for Continuous Mobile Vision. Proceedings of 2016 ACM/IEEE 43rd Annual International Symposium on Computer Architecture (ISCA). Seoul, 2016, pp. 255-266. DOI: 10.1109/ISCA.2016.31
[7] Loc H.N., Lee Y., Balan R.K. DeepMon: Mobile GPU-based Deep Learning Framework for Continuous Vision Applications. Proceedings of the 15th Annual International Conference on Mobile Systems, Applications, and Services (MobiSys '17). ACM, New York, NY, USA, 2017, pp. 82-95. DOI: 10.1145/3081333.3081360
[8] Mathur A., Lane N.D., Bhattacharya S., Boran A., Forlivesi C., Kawsar F. DeepEye: Resource Efficient Local Execution of Multiple Deep Vision Models using Wearable Commodity Hardware. Proceedings of the 15th Annual International Conference on Mobile Systems, Applications, and Services (MobiSys '17). ACM, New York, NY, USA, 2017, pp. 68-81. DOI: 10.1145/3081333.3081359
[9] Jouppi N. Google supercharges machine learning tasks with TPU custom chip. Google Cloud, 2016. Available at: https://cloud.google.com/blog/products/gcp/google-supercharges-machine-learning-tasks-with-custom-chip (accessed 23.08.2018).
[10] Lovejoy B. Apple moves to third-generation Siri back-end, built on open-source Mesos platform. 9to5mac. 2015. Available at: https://9to5mac.com/2015/04/27/siri-backend-mesos/ (accessed 23.08.2018).
[11] Hauswald J. et al. DjiNN and Tonic: DNN as a service and its implications for future warehouse scale computers. Proceedings of 2015 ACM/IEEE 42nd Annual International Symposium on Computer Architecture (ISCA). Portland, OR, 2015, pp. 27-40. DOI: 10.1145/2749469.2749472
[12] Zhang Q., Yang L.T., Chen Z. Privacy Preserving Deep Computation Model on Cloud for Big Data Feature Learning. IEEE Transactions on Computers. 2016; 65(5):1351-1362. DOI: 10.1109/TC.2015.2470255
[13] Kang Y., Hauswald J., Gao C., Rovinski A., Mudge T., Mars J., Tang L. Neurosurgeon: Collaborative Intelligence Between the Cloud and Mobile Edge. ACM SIGARCH Computer Architecture News. 2017; 45(1):615-629. DOI: 10.1145/3093337.3037698
[14] Zhang Y., Huang G., Liu X., Zhang W., Mei H., Yang S. Refactoring android Java code for on-demand computation offloading. Proceedings of the ACM international conference on Object oriented programming systems languages and applications (OOPSLA '12). ACM, New York, NY, USA, 2012, pp. 233-248. DOI: 10.1145/2384616.2384634
[15] Wang X., Liu X., Zhang Y., Huang G. Migration and execution of JavaScript applications between mobile devices and cloud. Proceedings of the 3rd annual conference on Systems, programming, and applications: software for humanity (SPLASH '12). ACM, New York, NY, USA, 2012, pp. 83-84. DOI: 10.1145/2384716.2384750
[16] Zhang Y., Huang G., Zhang W., Liu X., Mei H. Towards module-based automatic partitioning of java applications. Frontiers of Computer Science. 2012; 6(6):725-740. DOI: 10.1007/s11704-012-2220-x
[17] Full imagenet dataset. GitHub. 2017. Available at: https://github.com/tornadomeet/ResNet/blob/master/README.md#imagenet-11k (accessed 23.08.2018).
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
