چگونه محاسبات پردازشی متون ترجمه ای را از نظر زیست محیطی پایدارتر کنیم

22 مارس 2023 – توسط دیوید کراز، آزمایشگاه ملی شتاب دهنده SLAC

محقق SLAC Sadasivan Shankar در داخل SSRL، جایی که او بر روی بهبود بهره وری انرژی محاسبات کار می کند. اعتبار: Jacqueline Ramseyer Orrell/SLAC National Accelerator Laboratory

از رایانه یا تلفن خود بخواهید جمله ای را از انگلیسی به ایتالیایی ترجمه کند. مشکلی نیست ؟ اما این کار آنطور که به نظر می رسد آسان نیست. نرم افزار پشت صفحه نمایش شما باید یاد می گرفت که چگونه صدها میلیارد پارامتر یا کار را قبل از نمایش کلمه صحیح پردازش کند—و انجام آن وظایف انرژی می گیرد.

اکنون، محققان آزمایشگاه ملی شتابدهنده SLAC وزارت انرژی و سایر موسسات دولتی و خصوصی در جستجوی راه‌هایی برای تامین انرژی کمتر برای سیستم‌های نرم‌افزاری و سخت‌افزاری هستند در حالی که هنوز کارهای روزمره مانند ترجمه زبان را انجام می‌دهند، و همچنین حل مشکلات روزافزون از نظر اجتماعی را انجام می‌دهند. مشکلات مهمی مانند ساخت داروهای جدید سرطان، واکسن‌های کووید-۱۹ و خودروهای خودران.

این تلاش محاسباتی در SLAC بخشی از یک ابتکار ملی بزرگتر DOE است که توسط دفتر مواد پیشرفته و فن‌آوری‌های ساخت، به نام مقیاس‌گذاری بازده انرژی برای 2 دهه (EES2) که در سپتامبر 2022 اعلام شد، رهبری می‌شود. این ابتکار شامل چندین آزمایشگاه ملی نیز می‌شود. این ابتکارات می گوید که به عنوان رهبران صنعت، و بر افزایش بهره وری انرژی نیمه هادی ها به میزان 1000 در طول دو دهه آینده تمرکز خواهد کرد. این ابتکار می گوید که تا سال 2030، نیمه هادی ها می توانند تقریبا 20 درصد از انرژی جهان را استفاده کنند، به این معنی که بهبود کارایی این بخش برای کمک به رشد اقتصاد و مقابله با بحران آب و هوا ضروری است.

ساداسیوان شانکار، مدیر فناوری تحقیقاتی در SLAC و استاد کمکی در دانشگاه استنفورد، گفت: روی کاغذ، طراحی مدل‌های نرم‌افزار برای کاهش مصرف انرژی آن‌ها ساده است: فقط یک متغیر طراحی جدید را بگنجانید که نیازهای انرژی یک مدل را هنگام طراحی الگوریتم آن محاسبه می‌کند. . با این حال، بسیاری از مدل‌های نرم‌افزاری، مانند مدل‌هایی که بر یادگیری ماشین تکیه دارند، فاقد این متغیر طراحی انرژی هستند. او گفت، در عوض، آنها اغلب با عملکرد ساخته می شوند، نه کارایی، به عنوان نیروی محرکه آنها.

در این پرسش و پاسخ، شانکار توضیح می‌دهد که چگونه پروژه‌های تیمش در SLAC تلاش می‌کنند تا بازده انرژی محاسبات را بهبود بخشند.

محاسبات و پردازش اینحوزه مقدار زیادی است. تیم شما در حال انجام چه بخش هایی است؟

ما در حال حاضر به سه بخش اصلی محاسبات نگاه می کنیم: الگوریتم ها، معماری و سخت افزار. برای الگوریتم‌ها، نحوه کاهش انرژی مورد نیاز الگوریتم‌ها و مدل‌های یادگیری ماشین را مطالعه خواهیم کرد. یکی از راه‌های بهبود بهره‌وری انرژی این مدل‌ها استفاده از الگوریتم‌های اختصاصی است که وظایف خاصی را برای هر برنامه منحصربه‌فرد محاسبه می‌کند، در حالی که الگوریتم‌های عمومی‌تری برای تکمیل طیف وسیعی از وظایف طراحی و اعمال می‌شوند.

بخش دومی که ما به آن نگاه می‌کنیم این است که چگونه معماری نرم‌افزار و الگوریتم‌های آن‌ها را با هم طراحی کنیم – که «طراحی مشترک» نامیده می‌شود – به جای طراحی مستقل از یکدیگر. اگر این اجزا به طور مشترک طراحی شوند، باید انرژی کمتری برای اجرا نیاز داشته باشند. و سوم، ما به سطح اساسی مواد، دستگاه ها و اتصالات به هم پیوسته نگاه می کنیم که گرمای کمتری تولید می کنند.

برای مقابله با این سه حوزه، می‌خواهیم کارایی‌های موجود در طبیعت را بررسی کنیم، مانند اینکه مغز و سلول‌های مولکولی چگونه وظایف خود را انجام می‌دهند، و سعی می‌کنیم این آموخته‌ها را در طراحی سیستم‌های محاسباتی خود به کار ببریم.

در مورد اهمیت مدل های یادگیری ماشینی در جامعه امروزی به ما بگویید. ما شاهد اعمال مدل ها برای کدام مشکلات هستیم؟

مدل‌های یادگیری ماشینی در زمینه‌های بیشتر و بیشتری، از ابزارهای پردازش زبان، تا مسائل زیست‌شناسی و شیمی، تا وسایل نقلیه الکتریکی، و حتی به تأسیسات شتاب‌دهنده ذرات، مانند SLAC، اعمال می‌شوند.

نمونه خاصی که قبلاً به آن نگاه کرده ایم، مدل های یادگیری زبان است. چند مدل یادگیری زبان طبیعی بیش از 170 میلیارد پارامتر دارند که باید هنگام آموزش مدل بهینه شوند. مدل‌های یادگیری ماشینی معمولاً سعی می‌کنند الگوهای بین مجموعه‌ای از ورودی‌ها و خروجی‌ها را در یک مجموعه داده بزرگ بیاموزند. این بخش از ساخت یک مدل، آموزش نامیده می شود و فوق العاده انرژی بر است.

در تجزیه و تحلیل اولیه خود، متوجه شدیم که یک مدل تک زبانی مانند ChatGPT در کران پایین تقریباً به اندازه میانگین مصرف برق ماهانه در شهر آتلانتا یا لس آنجلس در سال 2017 به برق نیاز دارد. بنابراین، اگر بتوانیم کارآمدتر طراحی کنیم. مدل‌های آموزشی، مانند استفاده از الگوریتم‌های خاص و متناسب، مصرف انرژی برای آموزش می‌تواند کاهش یابد. هدف ما تجزیه و تحلیل سیستماتیک این نیازهای انرژی آموزشی و استفاده از اصول آموخته شده برای ایجاد راه حل های بهتر در به کارگیری هوش مصنوعی است.

آیا محاسبات امروز به انرژی بیشتری نسبت به یک دهه پیش نیاز دارد؟

رایانش امروزی نسبت به یک دهه پیش از نظر انرژی کارآمدتر است، اما امروزه از ابزارهای محاسباتی بسیار بیشتری نسبت به یک دهه پیش استفاده می کنیم. بنابراین به طور کلی، مقدار انرژی مورد نیاز محاسبات در طول زمان افزایش یافته است. ما می‌خواهیم منحنی مسیر مصرف انرژی را به سمت پایین خم کنیم، بنابراین می‌توانیم به رشد محاسباتی در سراسر جهان بدون تأثیر نامطلوب بر آب و هوا ادامه دهیم.

سخت ترین چالش در ذهن شما برای کاهش انرژی مورد نیاز محاسبات چیست؟

در حال حاضر، می‌توانم بگویم مقیاس‌بندی فناوری جدید تولید، سخت‌ترین چالش ماست. در حال حاضر نسل‌های جدید فناوری کمتر از 10 نانومتر هستند و به مقیاس‌های طولی همتراز با فاصله بین اتم‌ها نزدیک می‌شوند. علاوه بر این، توسعه فناوری جدید پرهزینه است و به چندین میلیارد دلار تحقیق و توسعه نیاز دارد.

دومین چالش، تغییر معماری و سخت افزار است که از تغییر نرم افزار و الگوریتم دشوارتر است. سخت افزار نیاز به تولید در مقیاس دارد و بازیکنان بیشتری درگیر هستند. فرض کنید کارآمدترین الگوریتم را در کارآمدترین دستگاه ایجاد کرده اید، اما ساخت آن بیست میلیارد دلار هزینه می برد. در این مورد، طرح شکست خورد زیرا ساخت آن در مقیاس بسیار گران است. شما باید به ساخت در ارتباط با معماری های جدید، طراحی نرم افزار و عوامل دیگر نگاه کنید. در غیر این صورت، کل تلاش تبدیل به یک بحث آکادمیک بحثی می شود. ما امیدواریم که چندین راه حل را برای شرکای تحقیقاتی و صنعتی خود ترسیم کنیم.

چالش سوم، توسعه الگوریتم‌ها و نرم‌افزارهایی است که می‌توانند با وابستگی فزاینده ما به فناوری همگام باشند، اما از نظر انرژی کارآمد باشند.

در مورد چه زمینه های تحقیقاتی آینده در محاسبه بهره وری انرژی بیشتر هیجان زده هستید؟

هیجان انگیزترین فرصت برای من استفاده از هوش مصنوعی برای حل مشکل بهره وری انرژی در محاسبات است. بیایید از جنبه مثبت هوش مصنوعی برای کاهش مصرف انرژی خود استفاده کنیم.

نکته جالب دیگر این است که در آینده، کامپیوترها بیشتر شبیه مغزهایی با حسگرهای توزیع شده خواهند بود که نسبت به دستگاه های امروزی برای پردازش اطلاعات بهینه به انرژی کمتری نیاز دارند. این رایانه‌های آینده می‌توانند از روش‌های اتصال نورون‌ها الهام بگیرند و ممکن است اصول را از محاسبات کوانتومی وام بگیرند، اما می‌توانند محاسبات کلاسیک را نیز انجام دهند. این کار باعث می‌شود که ماشین‌های ما بیشتر شبیه طبیعت کارآمدتر کار کنند .