ترکیب کنترل‌های محاسباتی با متن طبیعی، چگونگی پردازش زبان توسط مغز را روشن می‌کند

29 نوامبر 2022 – توسط آرون اوپرلی، دانشگاه کارنگی ملون -اعتبار: علوم محاسباتی طبیعت

انسان ها با ترکیب تکه های اطلاعات، کارهای فوق العاده ای را انجام می دهند. ما اشیاء را با ترکیب لبه ها درک می کنیم، صحنه ها را با ترکیب اشیاء دسته بندی می کنیم، وقایع را با ترکیب اعمال تفسیر می کنیم و جملات را با ترکیب کلمات درک می کنیم.

اما محققان هنوز درک روشنی از چگونگی شکل‌گیری و حفظ معنای کل – مانند یک جمله – از قسمت‌های آن توسط مغز ندارند. محققان دانشگاه کارنگی ملون در دانشکده علوم کامپیوتر (SCS) دپارتمان یادگیری ماشینی (MLD) نور جدیدی بر فرآیندهای مغزی که از معنای پدیدار کلمات ترکیبی پشتیبانی می کنند، انداخته اند.

ماریا تونوا، دکترای MLD. دانشجویی که اکنون در مؤسسه سیستم‌های نرم‌افزاری ماکس پلانک مشغول به تحصیل است، با لیلا وهبی، استادیار MLD و تام میچل، استاد دانشگاه بنیان‌گذاران در SCS کار کرد تا بررسی کند که کدام مناطق مغز معنای کلمات ترکیبی را پردازش می‌کنند و چگونه مغز معنی کلمات را حفظ و به روز کرد.

این کار می‌تواند به درک کامل‌تری از نحوه پردازش، حفظ و به‌روزرسانی معنای کلمات مغز کمک کند، و می‌تواند تمرکز تحقیقات را به مناطقی از مغز که برای فناوری‌های عصبی پوشیدنی آینده مناسب است، هدایت کند، مانند دستگاه‌هایی که می‌توانند آنچه را که فرد در تلاش است رمزگشایی کند. به طور مستقیم از فعالیت مغز می گویند. این دستگاه ها می توانند به افراد مبتلا به بیماری هایی مانند پارکینسون یا مولتیپل اسکلروزیس که کنترل ماهیچه ها را محدود می کند، کمک کنند.

 آنها از شبکه‌های عصبی برای ساخت مدل‌های محاسباتی استفاده کردند که می‌تواند مناطقی از مغز را پیش‌بینی کند که معنی جدید کلمات را هنگام ترکیب آنها پردازش می‌کند. آنها این مدل را با ثبت فعالیت مغزی هشت نفر هنگام خواندن فصلی از «هری پاتر و سنگ جادو» آزمایش کردند.

نتایج نشان می‌دهد که برخی از نواحی مغز هم معنای تک تک کلمات و هم معنای کلمات ترکیبی را پردازش می‌کنند، در حالی که برخی دیگر فقط معانی کلمات جداگانه را پردازش می‌کنند. مهمتر از همه، نویسندگان همچنین دریافتند که یکی از ابزارهای ثبت فعالیت عصبی که آنها استفاده کردند، مگنتوآنسفالوگرافی (MEG)، سیگنالی را که منعکس کننده معنای کلمات ترکیبی باشد، دریافت نمی کند.

از آنجایی که دستگاه‌های فناوری عصبی پوشیدنی آینده ممکن است از ابزارهای ضبط مشابه MEG استفاده کنند، یکی از محدودیت‌های بالقوه ناتوانی آنها در تشخیص معنای کلمات ترکیبی است که می‌تواند بر ظرفیت آنها برای کمک به کاربران برای تولید زبان تأثیر بگذارد.

کار این تیم مبتنی بر تحقیقات قبلی وهبی و میچل است که از تصویربرداری تشدید مغناطیسی عملکردی برای شناسایی قسمت‌های مغز درگیر هنگام خواندن فصلی از همان کتاب پاتر استفاده کردند. نتیجه اولین مدل محاسباتی یکپارچه خواندن بود که مشخص می‌کرد کدام قسمت‌های مغز مسئول فرآیندهای فرعی مانند تجزیه جملات، تعیین معنای کلمات و درک روابط بین شخصیت‌ها هستند.

این یافته ها در مجله Nature Computational Science منتشر شده است