21 فوریه 2024 -توسط آدام زوی، موسسه فناوری ماساچوست-ردیابی بهینه سازی برای مدل های ARM. نقاط سیاه نقطه پایان هر روش را نشان می دهد. نقاط بالای خط سیاه افقی به این معنی است که DADVI ELBO بهتری پیدا کرده است. نقاط سمت راست خط مشکی عمودی به این معنی است که DADVI از نظر ارزیابی مدل زودتر خاتمه می یابد.
نظرسنجی‌هایی که تلاش می‌کنند نتایج انتخابات ریاست‌جمهوری را پیش‌بینی کنند و فیزیکدانانی که در جستجوی سیارات فراخورشیدی دوردست هستند، حداقل یک چیز مشترک دارند: آنها اغلب از یک تکنیک علمی آزمایش شده و واقعی به نام استنتاج بیزی استفاده می‌کنند.
استنتاج بیزی به این دانشمندان اجازه می دهد تا به طور مؤثر برخی از پارامترهای ناشناخته – مانند برنده یک انتخابات – را از داده هایی مانند نتایج نظرسنجی تخمین بزنند. اما استنتاج بیزی می‌تواند کند باشد، گاهی اوقات هفته‌ها یا حتی ماه‌ها زمان محاسباتی را صرف می‌کند یا به محققی نیاز دارد که ساعت‌ها برای استخراج معادلات خسته‌کننده با دست وقت بگذارد.
محققان MIT و جاهای دیگر تکنیک بهینه‌سازی را معرفی کرده‌اند که بدون نیاز به دانشمند برای انجام کارهای اضافی، سرعت کار را افزایش می‌دهد. روش آنها می تواند نتایج دقیق تری را سریعتر از روش رایج دیگر برای تسریع استنتاج بیزی به دست آورد.
با استفاده از این تکنیک جدید خودکار، یک دانشمند به سادگی می‌تواند مدل خود را وارد کند و سپس روش بهینه‌سازی تمام محاسبات را انجام می‌دهد تا تقریبی از برخی پارامترهای ناشناخته را ارائه دهد. این روش همچنین تخمین‌های عدم قطعیت قابل اعتمادی را ارائه می‌دهد که می‌تواند به محقق در درک زمان اعتماد به پیش‌بینی‌های خود کمک کند.
این تکنیک همه کاره را می توان برای طیف گسترده ای از معماهای علمی که استنتاج بیزی را در بر می گیرد، به کار برد. برای مثال، می‌تواند توسط اقتصاددانانی که تأثیر وام‌های خرد را در کشورهای در حال توسعه مطالعه می‌کنند یا تحلیلگران ورزشی با استفاده از مدلی برای رتبه‌بندی بازیکنان برتر تنیس مورد استفاده قرار گیرد.
تامارا برودریک، نویسنده ارشد، دانشیار دپارتمان مهندسی برق MIT می‌گوید:
“وقتی شما واقعاً به آنچه مردم در علوم اجتماعی، فیزیک، شیمی یا زیست شناسی انجام می دهند، می پردازید، آنها اغلب از ابزارهای مشابه زیادی در زیر سرپوش استفاده می کنند. تحلیل های بیزی زیادی در آنجا وجود دارد. اگر بتوانیم یک ابزار واقعا عالی بسازیم که زندگی این محققان را آسان‌تر کند، در این صورت واقعاً می‌توانیم برای افراد زیادی در زمینه‌های مختلف تحقیقاتی تفاوت ایجاد کنیم. و علوم کامپیوتر (EECS) و عضو آزمایشگاه اطلاعات و سیستم های تصمیم گیری و موسسه داده ها، سیستم ها و جامعه.
رایان جیوردانو، استادیار آمار در دانشگاه کالیفرنیا در برکلی، به برودریک در مقاله پیوسته است. و مارتین اینگرام، دانشمند داده در شرکت هوش مصنوعی KONUX. این مقاله اخیراً در مجله تحقیقات یادگیری ماشین منتشر شده است.
نتایج سریعتر
هنگامی که محققان به دنبال شکل سریع‌تری از استنتاج بیزی هستند، اغلب به تکنیکی به نام استنتاج تغییرات تمایز خودکار (ADVI) روی می‌آورند که اغلب هم سریع اجرا می‌شود و هم استفاده از آن آسان است.
اما برودریک و همکارانش تعدادی از مسائل عملی را با ADVI پیدا کرده اند. باید یک مسئله بهینه سازی را حل کند و فقط تقریباً می تواند این کار را انجام دهد. بنابراین، ADVI همچنان می‌تواند به زمان محاسباتی و تلاش کاربر زیادی برای تعیین اینکه آیا راه‌حل تقریبی به اندازه کافی خوب است نیاز داشته باشد. و هنگامی که به یک راه حل می رسد، تمایل به ارائه تخمین های عدم قطعیت ضعیف دارد.
این تیم به جای اختراع مجدد چرخ، ایده های زیادی را از ADVI گرفت اما آنها را تغییر داد تا تکنیکی به نام ADVI قطعی (DADVI) ایجاد کند که این نکات منفی را ندارد.
با DADVI، زمانی که بهینه‌سازی تمام می‌شود، بسیار واضح است، بنابراین کاربر نیازی به صرف زمان محاسباتی اضافی برای اطمینان از یافتن بهترین راه‌حل نخواهد داشت. DADVI همچنین اجازه می دهد تا از روش های بهینه سازی قوی تری استفاده کند که به آن سرعت و عملکرد بیشتری می بخشد.
پس از رسیدن به نتیجه، DADVI تنظیم می شود تا امکان استفاده از اصلاحات عدم قطعیت را فراهم کند. این اصلاحات تخمین عدم قطعیت آن را بسیار دقیق تر از ADVI می کند.
DADVI همچنین کاربر را قادر می سازد تا به وضوح ببیند که چه مقدار خطا در تقریب به مسئله بهینه سازی متحمل شده است. این امر مانع از اجرای بی‌ضروری بهینه‌سازی توسط کاربر با منابع بیشتر و بیشتر می‌شود تا خطا را کاهش دهد.
ما می‌خواستیم ببینیم که آیا می‌توانیم به وعده استنتاج جعبه سیاه عمل کنیم، به این معنا که وقتی کاربر مدل خود را ساخت، فقط می‌تواند استنتاج بیزی را اجرا کند و مجبور نیست همه چیز را با دست استخراج کند. برودریک می‌گوید: «نیازی نیست بفهمد چه زمانی الگوریتم خود را متوقف کند، و آنها این احساس را دارند که راه‌حل تقریبی‌شان چقدر دقیق است.”
سرپیچی از خرد متعارف
DADVI می تواند موثرتر از ADVI باشد زیرا از یک روش تقریب کارآمد به نام تقریب میانگین نمونه استفاده می کند که یک کمیت مجهول را با انجام یک سری مراحل دقیق تخمین می زند.زیرا مشخص است که چه زمانی به هدف رسیده است. به علاوه، رسیدن به آن هدف معمولاً به مراحل کمتری نیاز دارد.
اغلب، محققان انتظار دارند که تقریب میانگین نمونه از نظر محاسباتی فشرده‌تر از روش رایج‌تر، معروف به گرادیان تصادفی، که توسط ADVI استفاده می‌شود، باشد. اما برودریک و همکارانش نشان دادند که در بسیاری از برنامه ها اینطور نیست.
او می افزاید: “بسیاری از مشکلات واقعاً ساختار خاصی دارند، و شما می توانید با بهره گیری از آن ساختار خاص بسیار کارآمدتر و عملکرد بهتری داشته باشید. این چیزی است که ما واقعاً در این مقاله دیده ایم.”
آنها DADVI را بر روی تعدادی از مدل‌ها و مجموعه داده‌های دنیای واقعی، از جمله مدلی که توسط اقتصاددانان برای ارزیابی اثربخشی وام‌های خرد استفاده می‌شود و مدلی که در اکولوژی برای تعیین اینکه آیا یک گونه در یک مکان خاص وجود دارد یا خیر، مورد آزمایش قرار دادند.
در کل، آنها دریافتند که DADVI می‌تواند پارامترهای ناشناخته را سریعتر و قابل اطمینان‌تر از روش‌های دیگر تخمین بزند و به دقت خوب یا بهتر از ADVI دست می‌یابد. از آنجایی که استفاده از آن نسبت به تکنیک های دیگر آسان تر است، DADVI می تواند به دانشمندان در زمینه های مختلف کمک کند.
در آینده، محققان می‌خواهند روش‌های تصحیح تخمین‌های عدم قطعیت را عمیق‌تر کنند تا بتوانند بهتر درک کنند که چرا این اصلاحات می‌توانند چنین عدم قطعیت‌های دقیقی ایجاد کنند و چه زمانی ممکن است کوتاهی کنند.
“در آمار کاربردی، ما اغلب مجبوریم از الگوریتم‌های تقریبی برای مسائلی استفاده کنیم که خیلی پیچیده یا با ابعاد بالا هستند تا بتوان راه‌حل‌های دقیق را در زمان معقول محاسبه کرد. این مقاله جدید مجموعه‌ای جالب از تئوری و نتایج تجربی را ارائه می‌کند که به بهبود اشاره می‌کند.
اندرو گلمن، استاد آمار و علوم سیاسی در دانشگاه کلمبیا، که در این مطالعه دخالتی نداشت، می‌گوید: در یک الگوریتم تقریبی رایج موجود برای استنتاج بیزی به عنوان یکی از تیمی که در ایجاد آن کار قبلی شرکت داشت، خوشحالم که می بینم الگوریتم ما با چیزی پایدارتر جایگزین شده است.
