مقدمه روشهای خودنظارتی بسیاری از وظایف مختلف پردازش زبان طبیعی (NLP) را تکمیل کردهاند. خودرمزگذارهای نویززدایی که برای بازیابی متن در شرایطی که مجموعهای تصادفی از کلمات حذف شدهاند آموزش دیدهاند، بهعنوان مؤثرترین روش شناخته شدهاند. تحقیقات اخیر نشان دادهاند که با بهبود توزیع ماسک، ترتیب پیشبینی ماسک و زمینهی جایگزینی توکنهای ماسکشده میتوان عملکرد...