ارائه الگوریتم بهینه‌سازیِ «انطباقِ پیش‌ِ رو» برای آموزش مدل‌های مورد استفاده در یادگیری عمیق

نوع مقاله : مقاله پژوهشی (کاربردی)

نویسندگان

گروه مهندسی کامپیوتر، دانشگاه فنی و حرفه‌ای، تهران، ایران

10.48301/kssa.2024.427012.2773

چکیده

یادگیری عمیق یکی از زیرمجموعه‌های یادگیری ماشینی است که به طور وسیع در زمینه هوش مصنوعی، مانند پردازش زبان طبیعی و بینایی ماشین بکار می‌رود. قطعه‌بندی تصویر به عنوان زیر مجموعه‌ای از بینایی ماشین، یکی از رایج ترین مراحل پردازش تصویر دیجیتال است، که یک تصویر دیجیتال را به قطعات مختلف تقسیم می‌کند. در این پژوهش یک روش نوین مبتنی بر یادگیری عمیق برای قطعه‌بندی تصاویر ارائه شده است. برای بهینه‌سازی مدل پیشنهادی الگوریتم "انطباقِ پیشِ رو"به عنوان یک الگوریتم بهینه‌سازی جدید معرفی و مورد استفاده قرار گرفت. در الگوریتم‌های بهینه‌سازی پیشین مهم‌ترین عامل کاهش دقت، استخراج ویژگی‌های سطح پایین تصاویر و عدم کاهش فاصله معنایی میان ادراک انسان و این ویژگی‌هاست. در این مطالعه با کمک یادگیری عمیق، استخراج سلسله مراتبی و عمیق ویژگی از تصاویر انجام شد. الگوریتم بهینه‌سازی "انطباقِ پیشِ رو"، که در آن از یک مدل عمیق مبتنی بر شبکه عصبی همگشتی استفاده شده، ویژگی‌های سطح بالاتری را استخراج کرده و به دقت مطلوبی دست یافته است. با بکارگیری تکنیک Nestrov در محاسبه گرادیان توسط الگوریتم پیشنهادی بهترین نتیجه یعنی دقت 1/91 برای معیار شباهت دایس بدست آمد. برتری دیگر این الگوریتم نسبت به سایر روش‌ها، استفاده از محاسبات غیر پیچیده است. مقایسه الگوریتم بهینه‌سازی پیشنهادی با سایر روش‌های معمول بکار رفته، نشان دهنده بهبود عملکرد این شبکه بر روی مجموعه داده‌های نسبتا بزرگ است. همچنین عملکرد دقیق‌ترِ این شبکه، در نتیجه‌ی استخراج سلسله مراتبی و عمیق آن، نسبت به روش های دیگر است.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Presenting a "Adaption Ahead" Optimization Algorithm for Training Models Used in Deep Learning

نویسندگان [English]

  • Farnaz hoseini
  • hamed sepehrzadeh
  • Masume Kheyri
Department of Computer Engineering, Technical and Vocational University (TVU), Tehran, Iran
چکیده [English]

Deep learning is a subset of machine learning that is widely used in the field of artificial intelligence, such as natural language processing and machine vision. As a subset of machine vision, image segmentation is one of the most common steps in digital image processing, which divides a digital image into different segments. In this research, a new method based on deep learning for image segmentation is presented. The "Adaption Ahead" algorithm was introduced and used as a new optimization algorithm to optimize the proposed model. In previous optimization algorithms, the most important factor in reducing accuracy is extracting low-level features of images and not reducing the semantic distance between human perception and these features. In this study, hierarchical and deep feature extraction from images was done with the help of deep learning. The "Adaption Ahead" optimization algorithm, in which a deep model based on a convolutional neural network is used, has extracted higher-level features and achieved optimal accuracy. By using the Nestrov technique in calculating the gradient by the proposed algorithm, the best result, i.e. 91.1 accuracy, was obtained for the Dice similarity measure. Another advantage of this algorithm over other methods is using uncomplicated calculations. The comparison of the proposed optimization algorithm with other commonly used methods shows the improvement in the performance of this network on relatively large data sets. Also, the more accurate performance of this network, as a result of its hierarchical and deep extraction, is compared to other methods.

کلیدواژه‌ها [English]

  • Deep Learning
  • Optimization
  • Optimization Algorithms
  • Deep Models
  • Adaption Ahead algorithm

مقالات آماده انتشار، پذیرفته شده
انتشار آنلاین از تاریخ 18 فروردین 1403
  • تاریخ دریافت: 14 آذر 1402
  • تاریخ بازنگری: 27 دی 1402
  • تاریخ پذیرش: 17 فروردین 1403