مدل زبانی مبتنی بر BERT جهت تحلیل محتوای ورزشی در زبان فارسی

ستوده, داود; امیری طهرانی زاده, سید محمد امین

doi:10.48301/kssa.2023.357227.2251

مدل زبانی مبتنی بر BERT جهت تحلیل محتوای ورزشی در زبان فارسی

نوع مقاله : مقاله پژوهشی (کاربردی)

نویسندگان

¹ گروه کامپیوتر، دانشکده فنی شهید منتظری، دانشگاه فنی و حرفه ای،مشهد، ایران

² دانشگاه علوم پزشکی تهران، تهران، ایران

10.48301/kssa.2023.357227.2251

چکیده

مدل‌های زبانی آموزش دیده، به دلیل کاربرد آن‌ها در مسائل مرتبط با حوزه پردازش زبان‌های طبیعی دارای اهمیت فراوانی هستند. مدل‌های زبانی مانند BERT از محبوبیت بیشتری میان محققان برخوردار شده است. به دلیل توجه این مدل‌های زبانی به زبان انگلیسی، دیگر زبان‌ها به برخی از مدل‌های چند زبانه محدود می‌شوند. در این مقاله، مدل زبانی VarzeshiBERT به منظور تحلیل محتوای ورزشی فارسی در مسائل مرتبط با این حوزه زبانی ارائه شده است. این مدل زبانی بر پایه مدل زبانی Bert و با استفاده از مجموعه داده جمع‌آوری شده آموزش دیده است. سه مساله برای ارزیابی مدل زبانی جدید استفاده شده است: تحلیل احساسات، تشخیص نهاد‌های نامگذاری شده و پرکردن جای خالی. برای آموزش این مدل زبانی با توجه به عدم وجود مجموعه داده‌ای مناسب، یک مجموعه داده گسترده از رویداد‌ها و اخبار ورزشی زبان فارسی از چندین مرجع برخط تهیه شده است. با توجه به تخصصی بودن حوزه این مدل و در مقایسه با مدل‌های زبانی ارائه شده برای زبان فارسی، این مدل در هر سه مساله، نتایج بهتری را ارائه داده است. این مدل با 71.7% و 95.2% بهترین عملکرد را به ترتیب در بخش‌های پرکردن جای خالی و برچسب زنی اجزای کلام داشته است. در تحلیل احساسات نیز مدل ورزشی، نتایج بهتری را به همراه داشته است. این نتایج نشان می‌دهد، بکارگیری مدل زبانی مرتبط با هر حوزه تخصصی، نتایج بهتری در مقایسه با مدل‌های زبانی مرتبط اما با حوزه عمومی متون، خواهد داشت.

کلیدواژه‌ها

موضوعات

هوش مصنوعی

عنوان مقاله [English]

A language model based on BERT to analyze sports content in Persian language

نویسندگان [English]

davood sotoude ¹
Amin Amiri Tehrani Zade ²

¹ Department of Computer Engineering, Technical and Vocational University (TVU), Tehran, Iran

² Medical University of Tehran, Tehran, Iran

چکیده [English]

Pretrained language models are very important because of their application in issues related to natural language processing. Language models such as BERT have become more popular among researchers. Due to the focus of these language models on English, other languages are limited to some multilingual models. In this article, the VarzeshiBERT language model is presented for the purpose of Persian sports analysis in topics related to this linguistic field. This language model is based on the Bert language model and was trained using the collected dataset. Three problems are used to evaluate the new language model: sentiment analysis, named entity recognition and text infilling. In order to train this language model, due to the lack of a suitable dataset, a wide range of sports events and news in the Farsi language has been prepared from several online sources. Due to the specialization of this model and compared to the language models presented for the Persian language, this model has provided better results in all three problems. This model has the best performance with 71.7% and 95.2% in text infilling and Named Entity Recognition, respectively. In sentiment analysis, the sports model has brought better results. These results show that using a language model related to any specialized field will have better results compared to language models related to the general field of texts.

کلیدواژه‌ها [English]