یک رویکرد گرادیان مزدوج ترکیبی با ترکیب الگوریتم‌های FR و LS برای حل مسأله سنجش فشرده

راه‌پیمایی, فرزاد; رستمی, مجید

doi:10.48301/kssa.2024.406037.2627

یک رویکرد گرادیان مزدوج ترکیبی با ترکیب الگوریتم‌های FR و LS برای حل مسأله سنجش فشرده

نوع مقاله : مقاله پژوهشی (نظری)

نویسندگان

فرزاد راه‌پیمایی

مجید رستمی

گروه ریاضی، دانشگاه فنی و حرفه‌ای، تهران، ایران

10.48301/kssa.2024.406037.2627

چکیده

در این مقاله با ترکیب روش‌های گرادیان مزدوج FR و LS یک روش گرادیان مزدوج ترکیبی برای حل معادلات غیرخطی یکنوا با قیدهای محدب معرفی می‌کنیم. روش‌های تکراری گرادیان مزدوج دارای ساختار ساده‌ای هستند و به حافظه کمی نیاز دارند. در این روش‌ها نیازی به ذخیره ماتریس وجود ندارد و فقط ضرب ماتریس در بردار انجام می‌شود. اگر تکرارهای تولید شده بیرون ناحیه محدب قرار بگیرند با استفاده از روش تصویر آن‌ها را در ناحیه محدب قرار می‌دهیم. الگوریتم جدید ترکیب یک روش گرادیان مزدوج با همگرایی قوی و یک روش گرادیان مزدوج دیگر با کارایی محاسباتی بالا است. همچنین جهت‌های تولید شده با روش گرادیان مزدوج ترکیبی کاهشی کافی هستند. تحت برخی فرض‌های استاندارد همگرایی سراسری الگوریتم جدید را ثابت می‌کنیم. مسأله سنجش فشرده به‌صورت یک معادله غیرخطی با قیدهای محدب مدلسازی می‌شود. لذا از روش گرادیان مزدوج ترکیبی برای حل مسأله مینیمم‌سازی سنجش فشرده و حذف نویز از تصاویر استفاده می‌کنیم.

کلیدواژه‌ها

روش گرادیان مزدوج

قیدهای محدب

روش تصویر

معادلات یکنوا

سنجش فشرده

موضوعات

ریاضی

عنوان مقاله English

A hybrid conjugate gradient approach by combining FR and LS algorithms for solving compressive sensing problem

نویسندگان English

Farzad Rahpeymaii

Majid Rostami

Department of Mathematics , Technical and Vocational University (TVU), Tehran, Ira n,

چکیده English

In this paper, we introduce a hybrid conjugate gradient method for solving monotonic nonlinear equations with convex constraints by combining FR and LS conjugate gradient methods. Conjugate gradient (CG) iterative methods have a simple structure and are low-memory algorithms. In these methods, no matrix is stored and only matrix multiplication by vector is done. If the generated iterations be out of the convex region, we move them to the convex region using the projection method. The new algorithm is a combination of a conjugate gradient method with strong convergence and another conjugate gradient method with high computational efficiency. Also, the generated directions by the hybrid conjugate gradient method are sufficient descent. We prove the global convergence of the new algorithm under some standard assumptions. The compressive sensing problem is formulated as a nonlinear equation with convex constraints. So, we use the hybrid method to solve the compressive sensing minimization problem and remove noise from images.

کلیدواژه‌ها English

Conjugate gradient method

Convex constraints

Projection method

Monotone equations

Compressive sensing

Banham, M. R., & Katsaggelos, A. K. (1997). Digital image restoration. IEEE signal processing magazine, 14(2), 24-41. https://doi.org:10.1109/79.581363

Dai, Y. H., & Yuan, Y. (1999). A nonlinear conjugate gradient method with a strong global convergence property. SIAM Journal on optimization, 10(1), 177-182. https://doi:10.1137/S1052623497318992

Dennis, J. E. & Moré, J. J. (1974). A characterization of superlinear convergence and its application to quasi-Newton methods. Mathematics of computation, 28(126), 549-560. https://doi.org/10.2307/2005926

Dennis Jr, J. E. & Schnabel, R. B. (1996). Numerical methods for unconstrained optimization and nonlinear equations, SIAM.

ISBN	0898713641, 9780898713640

Fletcher, R., & Reeves, C. M. (1964). Function minimization by conjugate gradients. The computer journal 7(2), 149-154. https://doi:10.1093/COMJNL/7.2.149

Gilbert, J. C., & Nocedal, J. (1992). Global convergence properties of conjugate gradient methods for optimization. SIAM Journal on optimization, 2(1), 21-42. https://doi:10.1137/0802003

Hestenes, M. R. & Stiefel, E. (1952). Methods of conjugate gradients for solving linear systems. Journal of research of the National Bureau of Standards, 49(6), 409-436. https://doi: 10.6028/jres.049.044

Hosseini, A. (2022). Multi-Objective Planning of Distributed Generation in the Electricity Network Considering the Interests of the Resource Investor and Network Operator. Karafan Quarterly Scientific Journal 19(3), 279-303. https://doi: 10.1109/ITOEC57671.2023.10291916

Liu, Y., & Storey, C. (1991). Efficient generalized conjugate gradient algorithms, part 1: theory. Journal of optimization theory and applications 69, 129-137. https://doi.org/10.1007/BF00940464

Parsamanesh, M., Erfanian, M., &Ghorbani, M. (2022). A Spectral Parametric Iteration Method for Solving Volterra Population Model. Karafan Quarterly Scientific Journal 19(Special Issue),619-633. https://doi:10.48301/kssa.2021.288686.1556

Qi, L. & Sun, J. (1993). A nonsmooth version of Newton's method. Mathematical programming 58(3-1), 353-367. https://doi.org/10.1007/BF01581275

Wan, Z. (2018). A modified spectral conjugate gradient projection method for signal recovery. Signal, Image and Video Processing 12, 1455-1462. https://doi:10.1007/s11760- 018-1300-2

Xiao, Y. & Zhu, H. (2013). A conjugate gradient method to solve convex constrained monotone equations with applications in compressive sensing. Journal of Mathematical Analysis and Applications, 405(1), 310-319. https://doi:10.1016/j.jmaa.2013.04.017

Yamashita, N. & Fukushima, M. (2001). On the rate of convergence of the Levenberg- Marquardt method. Topics in Numerical Analysis: With Special Emphasis on Nonlinear Problems, Springer. https://doi:10.1007/978-3-7091-6217-0-18