| مطالعه‌ای تطبیقی درباره تولید پرسش عصبی و مدل‌های زبانی در مقیاس بزرگ |
| کد مقاله : 1031-CYSP2025 (R1) |
| نویسندگان |
|
علی کریمی * دانشگاه آزاد اسلامی |
| چکیده مقاله |
| تولید خودکار پرسش (QG) و مدل‌های زبانی از پیش‌آموزش‌دیده در مقیاس بزرگ (LMs) دو مسیر غالب در NLP برای ساخت پرسش‌های آموزشی‌اند. پژوهش QG از الگوهای قاعده‌محور به شبکه‌های عصبی گذار کرده و اکنون بر کنترل دشواری، پاسخ‌پذیری و تنوع تمرکز دارد [Kurdi2019, Srikanth2020]. پیشرفت‌های اخیر شامل برچسب‌گذاری دشواریِ صریح [Du2017, D19-5821]، یادگیری تقویتی برای موازنهٔ روانی/ارتباط [P17-1123] و تولید چندپرسشی با هدف اثر آموزشی بیشتر است [2022.bea-1.26]. در موازات، LMs مانند GPT-2، T5 و BART با پیش‌آموزش وسیع بر WebText، C4 و Wikipedia در سناریوهای بی‌نمونه و ریزتنظیم‌شده نتایج برجسته‌ای در SQuAD و GLUE/SuperGLUE کسب کرده‌اند [Radford2019, Raffel2020, Lewis2020, Rajpurkar2016]. این مقاله مقایسه‌ای نظام‌مند بین این دو خط انجام می‌دهد: معماری‌ها (رمزگذار–رمزگشا در برابر صرفاً رمزگشا)، اهداف پیش‌آموزش (علّی، نویززدایی، متن‌به‌متن) و منابع داده؛ سپس ظرفیت آن‌ها برای کنترل‌پذیری، تبیین‌پذیری و مقیاس‌پذیری سنجیده می‌شود. یافته‌ها نشان می‌دهد سامانه‌های تخصصی QG در کنترل ریزدانه (مانند دشواری‌آگاهی) و هم‌سوسازی با اهداف درسی برترند؛ در مقابل، LMs تعمیم‌پذیری، انتقال میان‌وظیفه‌ای و تاب‌آوری بهتری عرضه می‌کنند و نیاز به مهندسی ویژهٔ وظیفه را کاهش می‌دهند. جمع‌بندی، وجود یک مبادلهٔ پایدار میان تبیین‌پذیری و مقیاس‌پذیری را برجسته می‌کند و مسیر آینده را ادغامِ کنترل دشواری و نشانه‌گذاری اهداف آموزشی درون LMs (یا اعمال کنترلرهای بیرونی به‌کمک پرامپت/تنظیم سبک) می‌داند؛ رویکردی که سودمندی آموزشی را با توان مولد ترنسفورمرهای مدرن پیوند می‌زند. |
| کلیدواژه ها |
| تولید خودکار پرسش، مدل‌های زبانی بزرگ، کنترل دشواریِ پرسش، یادگیری تقویتی، یادگیری تقویتی برای تولید خودکار پرسش، تولید چندپرسشی و تنوعِ پاسخ‌پذیری، ترنسفورمرِ رمزگذار–رمزگشا، ترنسفورمر صرفا رمزگشا، پارادایم متن‌به‌متن، تبیین‌پذیری در برابر مقیاس‌پذیری، تعیین دشوار، روان‌سنجی، پرامپت‌دهی و تنظیم دستورالعمل |
| وضعیت: پذیرفته شده برای ارائه شفاهی |