Повышение доходности торгового агента на основе метода Q-learning посредством использования производных финансовых показателей
Аннотация
Повышению доходности торговых агентов уделялось и продолжает уделяться огромное внимание. В статье рассматриваются различные подходы к решению указанной проблемы, одним из которых является обучение с подкреплением активно используемое для решения задач алгоритмической торговли. Повышение эффективности (доходности) алгоритмической торговли возможно двумя способами, с одной стороны, усовершенствование алгоритмов, с другой стороны обогащение данных, которые передаются на вход алгоритмам. В исследовании проведено подтверждение целесообразности применения производных финансовых показателей для задач применения торговых алгоритмов на основе алгоритмов обучения с подкреплением. Основная идея реализации исследования направлена на получение результатов работы торгового агента на основе Q-learning на технических показателях и на производных технических показателях (агент реализован на Python). Проведено обоснование выбора метода Q-learning для решения поставленной задачи, рассмотрены основы принятия решения, политика, стратегия, обучение с подкреплением. В работе рассмотрены вопросы повышения эффективности (доходности) торгового агента на основе алгоритма Q-learning посредством передачи ему производных технических показателей, определены и обоснованы производные технические показатели, проверены результаты работы торгового агента на технических показателях и на производных технических показателях. В исследовании, представленном в статье, проведена эмпирическая проверка возможности создания синтетических финансовых признаков для повышения эффективности алгоритмов обучения, кроме того, проведена проверка получения необходимых результатов при применении алгоритмов обучения с подкреплением. Проведено эмпирическое подтверждение, что применение производных финансовых показателей для повышения эффективности (доходности) торговых агентов на основе метода Q-learning с применением алгоритмов обучения с подкреплением является целесообразным.
Литература
[2] Dai Y., Chao X., Price delegation and salesforce contract design with asymmetric risk aversion coefficient of sales agents. International Journal of Production Economics. 2016; 172:31-42. (In Eng.) DOI: https://doi.org/10.1016/j.ijpe.2015.11.006
[3] Díaz E., Martín-Consuegra D., Esteban A. Is ICT good for employees? An analysis of its effects on sales agents’ perceptions of service cannibalization. Computers in Human Behavior. 2015; 51(A):263-271. (In Eng.) DOI: https://doi.org/10.1016/j.chb.2015.05.012
[4] Soberman D.A. Marketing agencies, media experts and sales agents: Helping competitive firms improve the effectiveness of marketing. International Journal of Research in Marketing. 2009; 26(1):21-33. (In Eng.) DOI: https://doi.org/10.1016/j.ijresmar.2008.05.003
[5] Puchenkova V.A. Problemy organizacii vzaimootnoshenij menedzhera po rabote s klientami (torgovogo agenta) s potencial'nymi potrebiteljami [Problems of organizing relationships between a customer relationship manager (sales agent) with potential customers]. Economics and Society. 2016; 6(3):268-271. Available at: https://www.elibrary.ru/item.asp?id=26721288 (accessed 19.06.2020). (In Russ.)
[6] Shin G.H. The profitability of asset sales as an explanation of asset divestitures. Pacific-Basin Finance Journal. 2008; 16(5):555-571. (In Eng.) DOI: https://doi.org/10.1016/j.pacfin.2007.10.004
[7] Gupta S., Steckel J.H., Banerji A. Dynamic Decision Making in Marketing Channels. In: Zwick R., Rapoport A. (ed.) Experimental Business Research. Springer, Boston, MA; 2002. p. 21-47. (In Eng.) DOI: https://doi.org/10.1007/978-1-4757-5196-3_2
[8] Syam N., Sharma A. Waiting for a sales renaissance in the fourth industrial revolution: Machine learning and artificial intelligence in sales research and practice. Industrial Marketing Management. 2018; 69:135-146. (In Eng.) DOI: https://doi.org/10.1016/j.indmarman.2017.12.019
[9] Fang K., Jiang Y., Song M. Customer profitability forecasting using Big Data analytics: A case study of the insurance industry. Computers & Industrial Engineering. 2016; 101:554-564. (In Eng.) DOI: https://doi.org/10.1016/j.cie.2016.09.011
[10] Loureiro A.L.D., Miguéis V.L., da Silva L.F.M. Exploring the use of deep neural networks for sales forecasting in fashion retail. Decision Support Systems. 2018; 114:81-93. (In Eng.) DOI: https://doi.org/10.1016/j.dss.2018.08.010
[11] Özdemir K.A. Understanding latent drivers of firm behaviour: A new methodological approach applied to agents’ company visit scores. Economic Modelling. 2021; 94:455-472. (In Eng.) DOI: https://doi.org/10.1016/j.econmod.2020.11.001
[12] Dmitriev Yu.A. Modern Approaches to Boosting Sales Force Effectiveness at Global Level. Izvestia MAAO. 2018; (38):71-74. Available at: https://www.elibrary.ru/item.asp?id=32464321 (accessed 19.06.2020). (In Russ., abstract in Eng.)
[13] Sakhanevich D.Yu. Research of Approaches and Methods of Applying Artificial Intelligence and Machine Learning in Socio-Economic Processes. Herald of Omsk University. Series Economics. 2020; 18(2):65-79. (In Russ., abstract in Eng.) DOI: https://doi.org/10.24147/1812-3988.2020.18(2).65-79
[14] Mironov V.V., Ryabov E.N. Forecasting market prices by using neural networks. IT Arctica. 2016; (2):3-40. Available at: https://www.elibrary.ru/item.asp?id=32616702 (accessed 19.06.2020). (In Russ., abstract in Eng.)
[15] Gerdin J., Johansson T., Wennblom G. The contingent nature of complementarity between results and valuebased controls for managing company-level profitability: A situational strength perspective. Accounting, Organizations and Society. 2019; 79:101058. (In Eng.) DOI: https://doi.org/10.1016/j.aos.2019.101058
[16] Cheng T.Y., Lee C.I., Lin C.H. The effect of risk-taking behavior on profitability: Evidence from futures market. Economic Modelling. 2020; 86:19-38. (In Eng.) DOI: https://doi.org/10.1016/j.econmod.2019.04.017
[17] Sokolova E.S., Razinkin K.A. Algorithmization of Multi-Agent Learning with Reinforcement in the Game-Theoretic Problems of Finding Optimal Strategies. Modeling, optimization and information technology. 2020; 8(1):21-22. (In Russ., abstract in Eng.) DOI: https://doi.org/10.26102/2310-6018/2020.28.1.040
[18] Matignon L., Laurent G.J., Le Fort-Piat N. Hysteretic Q-learning: an algorithm for Decentralized Reinforcement Learning in Cooperative Multi-Agent Teams. In: 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems, San Diego, CA, USA; 2007. p. 64-69. (In Eng.) DOI: https://doi.org/10.1109/IROS.2007.4399095
[19] Medvedev A.V., Smolyaninov A.V., Avrova L.S., Kolesnikova E.G. Analysis of regional economy on the basis of multi-objective mathematical model. Modern problems of science and education . 2013; (6):886. Available at: https://www.elibrary.ru/item.asp?id=21163321 (accessed 19.06.2020). (In Russ., abstract in Eng.)
[20] Elmuratov J.F. Derivative financial instruments in portfolio on the Russian financial market. Colloquium-journal. 2019; (13-10):100-105. Available at: https://www.elibrary.ru/item.asp?id=38594693 (accessed 19.06.2020). (In Russ., abstract in Eng.)
[21] Krylov S.I. Balanced scorecard and applied strategic analysis in strategic financial management. Economic Analysis: Theory and Practice. 2015; (18):2-14. Available at: https://www.elibrary.ru/item.asp?id=23422564 (accessed 19.06.2020). (In Russ., abstract in Eng.)
[22] Strelnikov E.V. Theproblems of Usage Risk of Special Financial Instruments. Fundamental research. 2013; (4-2):490-493. Available at: https://www.elibrary.ru/item.asp?id=18814723 (accessed 19.06.2020). (In Russ., abstract in Eng.)
[23] Babich V.V. Algorithm development promotion of commercial products in the target market. Via scientiarum – The Road of Knowledge. 2017; (1):147-151. Available at: https://www.elibrary.ru/item.asp?id=29915123 (accessed 19.06.2020). (In Russ., abstract in Eng.)
[24] Ipatyev I.R. Risk Management and Basic Problems of OTC Derivatives Dealing. Insurance of Optional Positions. Financial Markets and Banks. 2020; (3):144-150. Available at: https://www.elibrary.ru/item.asp?id=43118789 (accessed 19.06.2020). (In Russ., abstract in Eng.)
[25] Strelnikov E.V. The Usage Risk of Special Financial Instruments. Fundamental research. 2015; (2-16):3584-3588. Available at: https://www.elibrary.ru/item.asp?id=23465986 (accessed 19.06.2020). (In Russ., abstract in Eng.)
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Редакционная политика журнала основывается на традиционных этических принципах российской научной периодики и строится с учетом этических норм работы редакторов и издателей, закрепленных в Кодексе поведения и руководящих принципах наилучшей практики для редактора журнала (Code of Conduct and Best Practice Guidelines for Journal Editors) и Кодексе поведения для издателя журнала (Code of Conduct for Journal Publishers), разработанных Комитетом по публикационной этике - Committee on Publication Ethics (COPE). В процессе издательской деятельности редколлегия журнала руководствуется международными правилами охраны авторского права, нормами действующего законодательства РФ, международными издательскими стандартами и обязательной ссылке на первоисточник.
Журнал позволяет авторам сохранять авторское право без ограничений. Журнал позволяет авторам сохранить права на публикацию без ограничений.
Издательская политика в области авторского права и архивирования определяются «зеленым цветом» в базе данных SHERPA/RoMEO.
Все статьи распространяются на условиях лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная, которая позволяет другим использовать, распространять, дополнять эту работу с обязательной ссылкой на оригинальную работу и публикацию в этом журналe.
