توسط صبی لال ، موسسه فناوری ماساچوست28 ژوئیه 2020
سیستم های یادگیری عمیق در حال تحول در فن آوری در اطراف ما هستند ، از تشخیص صدا که شما را با کمک تلفن خود در خودرویتان جابجا می کند تا وسایل نقلیه خودران که به طور فزاینده قادر به دیدن و تشخیص موانع هستند. اما بخش اعظم این موفقیت در هنگام کنترل و خطا در مورد خود شبکه های یادگیری عمیق همراه است. گروهی از محققان MIT به تازگی مشارکتهای خود را در جهت درک بهتر نظری از شبکه های یادگیری عمیق بررسی کرده و زمینه را برای پیشرفت فراهم می کنند.
Tommy Poggio ، از موسسه تحقیقات مغز ، مدیر مرکز مغز ، ذهن و ماشین آلات (CBMM) و استاد یوجین مک درموت در مغز و علوم شناختی توضیح می دهد: “یادگیری عمیق به نوعی یک کشف تصادفی بود.” . “ما هنوز درک نمی کنیم که چرا و چطور کار می کند. یک چارچوب نظری در حال شکل گرفتن است ، و من معتقدم که اکنون به یک نظریه رضایت بخش نزدیک هستیم. وقت آن است که بایستیم و بینش های اخیر را مرور کنیم.”
کوهنوردی در کوهستان داده
در عصر کنونی ما مقادیر فراوانی از داده ، داده های حسگر ارزان قیمت بصورت انواع ، متن ، در اینترنت و مقادیر زیادی از داده های ژنومی در علوم زیستی تولید می شود. امروزه رایانه ها از این مجموعه داده های چند بعدی استفاده می کنند و مجموعه ای از مشکلات را با لقب “نفرین ابعاد” که توسط ریاضیدان فقید ریچارد بلمن ایجادشده روبرو می کنند.
یکی از این مشکلات این است که نشان دادن یک عملکرد شفاف و با ابعاد بالا نیاز به تعداد زیادی پارامتر از نظر نجومی دارد. ما می دانیم که شبکه های عصبی عمیق به خصوص در یادگیری نحوه نمایش یا تقریب چنین داده های پیچیده ، بسیار خوب هستند ، اما چرا؟ درک این موضوع که چرا به طور بالقوه می تواند به پیشرفت برنامه های یادگیری عمیق کمک کند بسیار سخت است.
Poggio که مشاور موسس The Core ، MIT Quest for Intelligence و یک بازپرس آزمایشگاه علوم رایانه و هوش مصنوعی (CSAIL) است ، توضیح می دهد: “یادگیری عمیق مانند برق است “برنامه های مفید پس از ولتا مطمئناً امکان پذیر بودند ، اما این تئوری الکترومغناطیس ماکسول بود ، که با درک عمیق تر راه را برای رادیو ، تلویزیون ، رادار ، ترانزیستور ، رایانه و اینترنت باز کرد.”
رفتار نظری توسط پگیجیو ، آندره بانبورسکی و کیانلی لیائو نشان می دهد که چرا یادگیری عمیق ممکن است بر مشکلات داده مانند “نفرین ابعاد” غلبه کند. رویکرد آنها با این مشاهده آغاز می شود که بسیاری از ساختارهای طبیعی سلسله مراتبی هستند. برای مدل سازی رشد و نمو یک درخت نیازی نیست که مکان هر شاخه را مشخص کنیم. در عوض ، یک مدل می تواند از قوانین محلی برای هدایت شاخه های سلسله مراتبی استفاده کند. به نظر می رسد سیستم بصری اولیه هنگام پردازش داده های پیچیده کاری مشابه انجام می دهد. هنگامی که ما به تصاویر طبیعی – از جمله درختان ، گربه ها و صورت ها نگاه می کنیم – مغز پیوسته تکه های تصویر محلی ، سپس مجموعه های کوچکی از وصله ها ، و سپس مجموعه هایی از تکه ها را ادغام می کند.
Qianli Liao ، نویسنده نتایج مطالعه ، و دانشجوی مقطع کارشناسی ارشد در گروه مهندسی برق و علوم کامپیوتر و عضو CBMM توضیح می دهد: “دنیای فیزیکی کاملاً ترکیبی است. “این فراتر از تصاویر است. زبان و افکار ما کامپوزیتی هستند ، و حتی سیستم عصبی ما از نظر چگونگی ارتباط نورون ها با یکدیگر کاملاً ترکیبی است. بررسی ما از نظر تئوریکی توضیح می دهد که چرا شبکه های عمیق در نمایش این پیچیدگی بسیار خوب هستند.”
شهود این است که یک شبکه عصبی سلسله مراتبی در تقریب یک عملکرد ترکیبی از یک “لایه” نورونهای واحد ، حتی اگر تعداد کل سلولهای عصبی یکسان باشد ، بهتر باشد. بخش فنی کار آنها مشخص می کند که “چه چیزی در تقریب بهتر” است و ثابت می کند که شهود صحیح است.
پازل تعمیم
معمای دوم در مورد آنچه که گاهی اوقات اثربخشی غیر منطقی شبکه های عمیق خوانده می شود وجود دارد. مدل های شبکه عمیق اغلب علیرغم کوه اطلاعاتی که ما این روزها تولید می کنیم ، پارامترهای بیشتری نسبت به داده دارند. این وضعیت باید منجر به چیزی شود که داده های فعلی شما به خوبی برای مدل مناسب هستند ، و “داده اضافی” نامیده می شود ، اما هر گونه داده جدید به طرز عجیبی در تناسب با مدل است. این مورد بنام تعمیم ضعیف در مدلهای معمولی لقب گرفته است. راه حل معمولی محدود کردن برخی از جنبه های روش اتصال است. با این حال ، به نظر نمی رسد شبکه های عمیق به این محدودیت احتیاج دارند. پگیجیو و همکارانش ثابت می کنند که ، در بسیاری از موارد ، روند آموزش یک شبکه عمیق بطور ضمنی راه حل را “منظم” کرده و محدودیت هایی را ایجاد می کند.
این کار پیامدهای زیادی دارد که دارد به جلو می رود. گرچه یادگیری عمیق در جهان به طور جدی مورد استفاده قرار می گیرد ، اما این اتفاق تاکنون بدون یک نظریه اساسی رخ داده است. نظریه یادگیری عمیق که توضیح می دهد که چرا و چقدر شبکه های عمیق کار می کنند و محدودیت های آنها چیست ، احتمالاً امکان توسعه رویکردهای یادگیری بسیار قدرتمند را فراهم می آورد.
Poggio توضیح می دهد: “در طولانی مدت ، توانایی توسعه و ساخت ماشینهای هوشمند بهتری برای هر اقتصاد مبتنی بر فناوری ضروری است.” “از همه اینها گذشته، حتی در وضعیت فعلی – هنوز هم ناقص” ، یادگیری عمیق تقریباً در مورد هر جنبه ای از جامعه و زندگی ما تأثیر می گذارد و یا تأثیر دارد. “
