راهکاری برای کاهش پیچیدگی و افزایش بهره‌وری از روبات‌های همکار مبتنی بر هوش مصنوعی

مظلومان, سید رضا; ستایشی, سعید; جهانشاهی, محسن

doi:10.48301/kssa.2025.511129.3166

راهکاری برای کاهش پیچیدگی و افزایش بهره‌وری از روبات‌های همکار مبتنی بر هوش مصنوعی

نوع مقاله : مقاله پژوهشی (کاربردی)

نویسندگان

سید رضا مظلومان ¹

سعید ستایشی ²

محسن جهانشاهی ³

¹ گروه مهندسی کامپیوتر، واحد تهران مرکزی، دانشگاه آزاد اسلامی، تهران، ایران.

² گروه مهندسی انرژی و فیزیک، دانشگاه صنعتی امیرکبیر، تهران، ایران.

³ گروه مهندسی کامپیوتر، واحد تهران مرکزی، دانشگاه آزاد اسلامی، تهران، ایران

10.48301/kssa.2025.511129.3166

چکیده

زمینه: پیشرفت‌های قابل توجهی در توسعه وظایف پردازشی در صنایع مختلف به منظور افزایش بهره‌وری، کاهش هزینه‌ها و بهبود انعطاف‌پذیری صورت گرفته است. با این حال، در صنعت تولید، محدودیت منابع به طور معمول یک چالش پایدار محسوب می‌شود که به شکل روابط تقدم و تأخر میان عوامل نمود پیدا می‌کند. بنابراین، زمان‌بندی وظایف نیازمند دقت و انعطاف‌پذیری بیشتری است. برای رفع این مسئله، این مطالعه یک الگوریتم زمان‌بندی ارائه می‌دهد که از یک سیستم چندعاملی برای حل مسئله زمان‌بندی کارگاهی انعطاف‌پذیر در محیطی با ورودی پویا استفاده می‌کند. روش: محیط تقدم منابع به صورت یک فرآیند تصمیم‌گیری مارکوف غیرمتمرکز و قابل مشاهده جزئی مدل‌سازی شده است، که در آن وظایف به عنوان عوامل جداگانه عمل کرده و بر اساس مشاهدات فعلی خود، یک همکار روباتیک در دسترس را انتخاب می‌کنند. برای غلبه بر چالش مدیریت فضای عملیاتی با ابعاد بالا در زمان‌بندی همزمان چندوظیفه‌ای، یک معماری در یک سیستم یادگیری تقویتی چندعاملی با انگیزه درونی طراحی شده است. این مدل هم‌زمان رفتار هماهنگ بین عوامل و عملکرد فردی هر عامل را در نظر می‌گیرد. نتیجه: نوآوری این پژوهش در استفاده از سیستم چندعاملی مبتنی بر انگیزه درونی برای حل مسئله و بهینه‌سازی زمان کل اجرای کارها است، که نسبت به روش‌های شناخته‌شده‌ای مانند روش‌های مبتنی بر قوانین، متاهیوریستیک و روش‌های تعاونی عملکرد بهتری دارد. نتایج به‌دست‌آمده از مطالعه موردی نشان‌دهنده انعطاف‌پذیری و پایداری آموزشی این مدل بوده و پیشنهاد می‌کند که این روش می‌تواند راه‌حل مناسبی برای مقابله با چالش‌های زمان‌بندی وظایف در صنایع مختلف باشد.

کلیدواژه‌ها

مسئله زمان‌بندی کارگاهی

کوبوت

فرآیند تصمیم‌گیری مارکوف

یادگیری تقویتی چندعاملی

محوریت بر انگیزه درونی

موضوعات

هوش مصنوعی

عنوان مقاله English

Solution for Reducing Complexity and Increasing Efficiency in AI-Based Collaborative Robots

نویسندگان English

Seyed Reza Mazlooman ¹

Saeed Setayeshi ²

Mohsen Jahanshahi ³

¹ Department of Computer Engineering, Central Tehran Branch, Islamic Azad University, Tehran, Iran.

² Department of Medical Radiation Engineering, Amirkabir University of Technology, Tehran, Iran.

³ Department of Computer Engineering, Central Tehran Branch, Islamic Azad University, Tehran, Iran

چکیده English

Background: Significant advancements have been made in the development of processing tasks across various industries to enhance productivity, reduce costs, and improve flexibility. However, in the manufacturing industry, resource constraints remain a persistent challenge, often manifesting as precedence relationships among factors. Therefore, task scheduling requires greater precision and adaptability. To address this issue, this study presents a scheduling algorithm that utilizes a multi-agent system to solve the Flexible Job Shop Scheduling Problem (FJSP) in a dynamic input environment. Method: The resource precedence environment is modeled as a decentralized partially observable Markov decision process (Dec-POMDP), where tasks act as independent agents and select an available collaborative robot (cobot) based on their current observations. To overcome the challenge of managing the high-dimensional operational space in concurrent multi-task scheduling, an architecture is designed within a multi-agent reinforcement learning (MARL) system with intrinsic motivation. This model simultaneously considers both coordinated behavior among agents and individual agent performance. Results: The novelty of this research lies in the application of an intrinsic motivation-based multi-agent system for problem-solving and optimizing overall job execution time. Compared to well-known methods such as rule-based approaches, metaheuristics, and cooperative strategies, the proposed model demonstrates superior performance. The results from the case study highlight the flexibility and training stability of this model, suggesting that it can serve as an effective solution for addressing task scheduling challenges in various industries.

کلیدواژه‌ها English

Job shop scheduling problem

Cobot

Markov decision process

Multi-agent reinforcement learning

Intrinsic motivation-oriented

[1] Aubret, A., Matignon, L., & Hassas, S. (2023). An information-theoretic perspective on intrinsic motivation in reinforcement learning: A survey. Entropy, 25(2), 327. https://www.mdpi.com/1099-4300/25/2/327.

[2] Borboni, A., Reddy, K. V. V., Elamvazuthi, I., AL-Quraishi, M. S., Natarajan, E., & Azhar Ali, S. S. (2023). The expanding role of artificial intelligence in collaborative robots for industrial applications: a systematic review of recent works. Machines, 11(1), 111. https://www.mdpi.com/2075-1702/11/1/111.

[3] Brandimarte, P. (1993). Routing and scheduling in a flexible job shop by tabu search. Annals of Operations research, 41(3), 157-183. https://doi.org/10.1007/BF02023073.

[4] Du, Y., Han, L., Fang, M., Liu, J., Dai, T., & Tao, D. (2019). Liir: Learning individual intrinsic reward in multi-agent reinforcement learning. Advances in neural information processing systems, 32. https://proceedings.neurips.cc/paper_files/paper/2019/file/07a9d3fed4c5ea6b17e80258dee231fa-Paper.pdf.

[5] Hao, J., Yang, T., Tang, H., Bai, C., Liu, J., Meng, Z., Liu, P., & Wang, Z. (2023). Exploration in deep reinforcement learning: From single-agent to multiagent domain. IEEE Transactions on Neural Networks and Learning Systems. https://ieeexplore.ieee.org/document/10021988.

[6] Johnson, D., Chen, G., & Lu, Y. (2022). Multi-agent reinforcement learning for real-time dynamic production scheduling in a robot assembly cell. IEEE Robotics and Automation Letters, 7(3), 7684-7691. https://ieeexplore.ieee.org/document/9801608.

[7] Hoseini, F., Sepehrzadeh, H., & Kheyri, M. (2024).Presenting an" Adaption Ahead" Optimization Algorithm for Training Models Used in Deep Learning. Karafan Journal. https://karafan.nus.ac.ir/article_210487.html.

[8] Keung, K. L., Lee, C. K., Liqiao, X., Chao, L., Bufan, L., & Ji, P. (2023). A cyber-physical robotic mobile fulfillment system in smart manufacturing: The simulation aspect. Robotics and Computer-Integrated Manufacturing, 83, 102578. https://doi.org/10.1016/j.rcim.2023.102578.

[9] Ladosz, P., Weng, L., Kim, M., & Oh, H. (2022). Exploration in deep reinforcement learning: A survey. Information Fusion, 85, 1-22. https://doi.org/10.1016/j.inffus.2022.03.003.

[10] Lim, K. C. W., Wong, L.-P., & Chin, J. F. (2023). Hyper-heuristic for flexible job shop scheduling problem with stochastic job arrivals. Manufacturing letters, 36, 5-8. https://doi.org/10.1016/j.mfglet.2022.12.009.

[11] Liu, C.-L., Chang, C.-C., & Tseng, C.-J. (2020). Actor-critic deep reinforcement learning for solving job shop scheduling problems. Ieee Access, 8, 71752-71762. https://ieeexplore.ieee.org/document/9066984.

[12] Rafiei, S. H., Ojaghi, M., & Sabouri, M. (2023). The Effective Use of SVM to Detect Faults in Electric Machines by Finite Element Analysis. Karafan Journal, 20(3), 367-392. https://karafan.tvu.ac.ir/article_181325.html?lang=en.

[13] Oroojlooy, A., & Hajinezhad, D. (2023). A review of cooperative multi-agent deep reinforcement learning. Applied Intelligence, 53(11), 13677-13722. https://link.springer.com/article/10.1007/s10489-022-04105-y.

[14] Sun, Y., Chung, S.-H., Wen, X., & Ma, H.-L. (2021). Novel robotic job-shop scheduling models with deadlock and robot movement considerations. Transportation Research Part E: Logistics and Transportation Review, 149, 102273. https://doi.org/10.1016/j.tre.2021.102273.

[15] Benhari, M., & Hosseini, R. (2024). An Intelligent Ensemble Model of Uncertainty Management in Belief Network for the Classification of Microscopic Images to Detect Cervical Cancer. Karafan Journal, 21(1), 91-110. https://karafan.nus.ac.ir/article_181335.html?lang=en.

[16] Wang, M., Zhang, J., Zhang, P., Cui, L., & Zhang, G. (2022). Independent double DQN-based multi-agent reinforcement learning approach for online two-stage hybrid flow shop scheduling with batch machines. Journal of Manufacturing Systems, 65, 694-708. https://doi.org/10.1016/j.jmsy.2022.11.001.

[17] Xiong, W., & Fu, D. (2018). A new immune multi-agent system for the flexible job shop scheduling problem. Journal of Intelligent Manufacturing, 29, 857-873. https://link.springer.com/article/10.1007/s10845-015-1137-2.

[18] Xu, M., Zhang, F., Mei, Y., & Zhang, M. (2022). Genetic programming with multi-case fitness for dynamic flexible job shop scheduling. 2022 IEEE Congress on Evolutionary Computation (CEC). https://ieeexplore.ieee.org/document/9870340.

[19] Yang, S., Wang, J., & Xu, Z. (2022). Real-time scheduling for distributed permutation flowshops with dynamic job arrivals using deep reinforcement learning. Advanced Engineering Informatics, 54, 101776. https://doi.org/10.1016/j.aei.2022.101776.

[20] Zhang, J.-D., He, Z., Chan, W.-H., & Chow, C.-Y. (2023). DeepMAG: Deep reinforcement learning with multi-agent graphs for flexible job shop scheduling. Knowledge-Based Systems, 259, 110083. https://doi.org/10.1016/j.knosys.2022.110083.

[21] Zhang, Y., Zhu, H., Tang, D., Zhou, T., & Gui, Y. (2022). Dynamic job shop scheduling based on deep reinforcement learning for multi-agent manufacturing systems. Robotics and Computer-Integrated Manufacturing, 78, 102412. https://doi.org/10.1016/j.rcim.2022.102412.