27 سپتامبر 2023 -توسط موسسه پلی تکنیک Rensselaer
دو شبکه برای طبقه بندی حلقه های متحدالمرکز دایره های قرمز و الماس آبی. (الف) یک شبکه یک لایه پنهان با 3 نورون برای طبقه بندی حلقه های متحدالمرکز که پلی بال حاوی 1 سیمپلکس است. و (ب) یک شبکه یک لایه پنهان با 6 نورون برای طبقه بندی حلقه های متحدالمرکز که پلی بال شامل 4 ساده است. واضح است که تعداد ساده‌سازی‌ها نسبت به تعداد پلی‌توپ‌ها، معیار پیچیدگی معنی‌داری شبکه‌های ReLU است. اعتبار: مجله تحقیقات یادگیری ماشین (2023).
ChatGPT مردم را مجذوب خود کرده است زیرا ما شروع به کشف این موضوع می کنیم که چگونه هوش مصنوعی مولد (AI) می تواند در زندگی روزمره ما مفید باشد. از طرف دیگر، دانشمندان به طور مداوم هوش مصنوعی را برای کاربردهای بالقوه به قدری گسترده پیش می برند که ممکن است با سرعت بخشیدن به پیشرفت های علمی و فناوری، زندگی را به شکلی که می شناسیم تغییر دهد.
در تحقیقی که اخیراً در مجله تحقیقات یادگیری ماشین منتشر شده است، Fenglei Fan، Ph.D. ’23، دانشجوی سابق دکترای Rensselaer و استادیار پژوهشی فعلی ریاضیات در دانشگاه چینی هنگ کنگ Rongjie Lai، دانشیار سابق Rensselaer و اکنون استاد ریاضیات در دانشگاه پوردو. و Ge Wang، Ph.D.، پروفسور کرسی وقف کلارک و کراسان و مدیر مرکز تصویربرداری زیست پزشکی در Rensselaer، دریافتند که تجزیه و تحلیل توپولوژی شبکه‌های عصبی مصنوعی نحوه استفاده از قدرت هوش مصنوعی را در آینده روشن می‌کند.
مانند نقشه توپولوژیکی، فناوری‌هایی که هوش مصنوعی را تقویت می‌کنند دارای سه بعد هستند. ChatGPT که در دنیای هوش مصنوعی همهمه‌ای بپا کرده است، یک شبکه عصبی عمیق با لایه‌های بسیار است که به آن الگوریتم یادگیری عمیق نیز گفته می‌شود. وانگ و همکارانش دریافتند که عرض شبکه، که به تعداد نورون ها در یک لایه اشاره دارد، نیز نقش مهمی ایفا می کند.
جالب توجه است، آنها دریافتند که یک نوع شبکه ممکن است برای انجام یک وظیفه معین، مانند رگرسیون یا طبقه بندی، که عناصر حیاتی یادگیری ماشین هستند، به دیگری تبدیل شود. (یادگیری ماشین زیرمجموعه ای از هوش مصنوعی است که امکان پیش بینی های کامپیوتری را بدون دستورالعمل های صریح فراهم می کند.) به عبارت دیگر، یک شبکه عصبی عمیق ممکن است به یک شبکه عصبی گسترده تبدیل شود و بالعکس.
وانگ گفت: «در اوایل این فناوری، دانشمندان بر روی شبکه‌های بسیار گسترده و کم عمق (یک تا دو لایه) تمرکز کردند تا تقریب جهانی انجام دهند. بعدها ثابت شد که شبکه‌های عصبی عمیق (بسیاری از لایه‌ها به روش پیش‌رشد کار می‌کنند) بسیار قدرتمند هستند. با این حال، ما کاملاً متقاعد نشده بودیم که تمرکز باید صرفاً بر یادگیری عمیق باشد نه یادگیری گسترده و عمیق. ما این عمق را احساس می‌کنیم. فقط یک بعد است و عرض یک بعد دیگر، و هر دو باید در نظر گرفته شوند و ترکیب شوند.”
این تیم در تحقیقات خود رابطه بین شبکه های عصبی عمیق و گسترده را در نظر گرفت. با استفاده از تجزیه و تحلیل کمی، آنها دریافتند که شبکه های عمیق و گسترده را می توان در یک پیوستار به عقب و جلو تبدیل کرد. استفاده از هر دو تصویر بزرگ تری ارائه می دهد و از تعصب جلوگیری می کند.
تحقیقات آنها به آینده یادگیری ماشینی اشاره می کند که در آن شبکه ها هم عمیق و هم گسترده هستند و با پویایی مطلوب و نسبت های بهینه بین عرض و عمق به هم مرتبط هستند. شبکه‌ها به طور فزاینده‌ای پیچیده خواهند شد و زمانی که پویایی به حالت‌های مطلوب برسد، نتایج شگفت‌انگیزی ایجاد خواهد کرد.
وانگ گفت: «این مثل بازی با قطعات لگو است. “شما می توانید یک آسمان خراش بسیار بلند بسازید یا می توانید یک ساختمان مسطح بزرگ با اتاق های زیادی در یک سطح بسازید. با شبکه ها، تعداد نورون ها و اتصال آنها به یکدیگر مهم ترین است. در فضای سه بعدی، نورون ها را می توان به روش های بی شماری مرتب کرد. این دقیقاً مانند ساختار مغز ما است. نورون‌ها فقط باید به روش‌های مختلف به هم متصل شوند تا وظایف مختلف را تسهیل کنند.»
لای گفت: “درک تبدیل بین عمق و عرض شبکه های عصبی همچنان یک زمینه پویا و در حال تکامل است.” شبکه‌های عریض و عمیق هر دو مزایا و معایب متمایز خود را ارائه می‌دهند. شبکه‌های کم عمق، معمولاً ساده‌تر هستند. کاوش ما در تقارن‌های ذاتی این دو نوع شبکه، دیدگاه جدیدی را برای درک شبکه‌های عمیق از طریق دریچه شبکه‌های گسترده روشن می‌کند. “
دکتر شکار گارد، رئیس دانشکده مهندسی رنسلیر، گفت: «تحقیق دکتر وانگ در مورد رابطه شبکه‌های عصبی گسترده و عمیق، مسیرهای جدیدی را برای استفاده از پتانسیل هوش مصنوعی باز می‌کند. “هوش مصنوعی تقریباً همه جنبه های جامعه ما را تحت تاثیر قرار می دهد، از پزشکی گرفته تا مواد جدید و تامین مالی. این زمان هیجان انگیزی برای این رشته است و دکتر وانگ در خط مقدم افکار در این زمینه است.”
