محاسبات موازی فراکتال، تقویت‌کننده بهره‌وری با الهام از هندسه

5 دسامبر 2022 -توسط محاسبات هوشمند -اعتبار: Unsplash/CC0 دامنه عمومی

هنگام تلاش برای خرید با یک برنامه خرید، ممکن است به سرعت فهرست توصیه‌ها را مرور کنیم و در عین حال اذعان کنیم که دستگاه درباره ما می‌داند – حداقل، در حال یادگیری این کار است. به عنوان یک فناوری نوظهور مؤثر، یادگیری ماشینی (ML) با طیف برنامه‌ای از برنامه‌های متفرقه گرفته تا ابررایانه‌ها تقریباً فراگیر شده است.بنابراین رایانه‌های اختصاصی ML در مقیاس‌های مختلف توسعه می‌یابند، اما بهره‌وری آن‌ها تا حدودی محدود است: حجم کار و هزینه توسعه تا حد زیادی در پشته‌های نرم‌افزاری آن‌ها متمرکز است، که برای پشتیبانی از هر مدل مقیاس‌شده باید به‌صورت موقتی توسعه یا بازسازی شوند.

برای حل این مشکل، محققان آکادمی علوم چین (CAS) یک مدل محاسبات موازی فراکتال را پیشنهاد کردند و تحقیقات خود را در 5 سپتامبر در محاسبات هوشمند منتشر کردند.

Yongwei Zhao، محقق از آزمایشگاه کلیدی پردازشگرها، مؤسسه فناوری محاسباتی CAS، گفت: «با پرداختن به مسئله بهره‌وری، ما رایانه‌های ML با معماری فراکتال فون نویمان (FvNA) را پیشنهاد کردیم.

“فرکتال بودن” یک مفهوم هندسی عاریتی است که الگوهای مشابه خود را توصیف می کند که در هر مقیاسی اعمال می شود. به گفته محققان، اگر یک سیستم “فرکتال” باشد، به این معنی است که سیستم همیشه بدون در نظر گرفتن مقیاس از یک برنامه استفاده می کند.

FvNA، یک معماری فون نویمان چند لایه و موازی، نه تنها فراکتال است، بلکه ایزوسترال نیز هست – که به معنای واقعی کلمه ” در ساختارهای لایه ای” است.

یعنی درست برعکس معماری معمولی کامپیوتر ML ناهمسان، FvNA همان معماری مجموعه دستورالعمل (ISA) را برای هر لایه اتخاذ می کند. “لایه پایین به طور کامل توسط لایه بالاتر کنترل می شود، بنابراین، تنها لایه بالایی به عنوان یک پردازنده یکپارچه در معرض برنامه نویس قرار می گیرد. بنابراین، کامپیوترهای ML ساخته شده با FvNA تحت یک نمای متغیر مقیاس، همگن و متوالی قابل برنامه ریزی هستند.”

اگرچه FvNA برای دامنه ML قابل استفاده است و می تواند مشکل بهره وری برنامه نویسی را کاهش دهد در حالی که به عنوان همتایان موقت خود به طور موثر عمل می کند، برخی از مشکلات باقی مانده است که باید حل شوند. در این مقاله به سه مورد زیر پرداخته شده است:

     چگونه FvNA می‌تواند با چنین محدودیت‌های دقیق معماری کاملاً کارآمد باقی بماند؟

     آیا FvNA برای بارهای از دامنه های دیگر نیز قابل استفاده است؟

     اگر چنین است، پیش نیازهای دقیق چیست؟

برای پاسخ به این سوالات، محققان با مدل‌سازی ماشین موازی فراکتال (FPM)، یک کامپیوتر موازی انتزاعی که از FvNA مدل‌سازی شده است، شروع کردند. FPM بر روی چند BSP Valiant ساخته شده است، یک مدل موازی چند لایه همگن، با تنها پسوندهای جزئی.

یک نمونه از FPM یک ساختار درختی از اجزای تو در تو است. هر جزء شامل یک حافظه، یک پردازنده و اجزای فرزند است. کامپوننت‌ها می‌توانند fracops را اجرا کنند – طرحی از بارها در سیستم‌های محاسباتی موازی فراکتال، مانند خواندن برخی از داده‌های ورودی از حافظه خارجی، انجام محاسبات روی پردازنده، و سپس نوشتن داده‌های خروجی در حافظه خارجی.

محققان گفتند: در مقایسه با چند BSP Valiant، FPM پارامترها را برای انتزاع ساده‌تر به حداقل رساند. آنچه مهم‌تر است، FPM محدودیت‌های صریح بر برنامه‌نویسی تنها با قرار دادن یک پردازنده واحد در رابط برنامه‌نویسی اعمال می‌کند. پردازنده فقط از مؤلفه اصلی و مؤلفه‌های فرزند خود آگاه است، اما از مشخصات سیستم جهانی آگاه نیست. به عبارت دیگر، برنامه هرگز نمی داند در کجای ساختار درختی قرار دارد. بنابراین، FPM را نمی توان طوری برنامه ریزی کرد که بر اساس تعریف، وابسته به مقیاس باشد.

در همین حال، محققان دو معماری مختلف FvNA با هدف ML را پیشنهاد کردند – Cambricon-F خاص و Cambricon-FR جهانی – و سبک برنامه نویسی فراکتال FPM را با اجرای چندین برنامه نمونه همه منظوره نشان دادند. نمونه‌ها به طرز شرم‌آوری الگوریتم‌های برنامه‌نویسی موازی، تقسیم و کنترل و برنامه‌نویسی پویا را پوشش می‌دادند که همه آنها به‌طور کارآمدی قابل برنامه‌ریزی نشان داده شدند.

محققان با استناد به نتایج اولیه خود نتیجه گرفتند که اگرچه در ابتدا از حوزه ML توسعه یافته بود، اما محاسبات موازی فراکتال بسیاری از مدل های اساسی محاسبات موازی مانند BSP و ماشین تورینگ متناوب به طور کلی قابل استفاده است.. آنها همچنین معتقد بودند که اجرای کامل FPM می تواند در سناریوهای مختلف مفید باشد، از کل وب سراسر جهان گرفته تا دستگاه های in vivo در مقیاس میکرومتر.

با این حال، محققان به یک کشف قابل توجه از این مطالعه اشاره کردند که FPM آنتروپی برنامه نویسی را با اعمال محدودیت هایی بر روی الگوی کنترل سیستم های محاسباتی موازی محدود می کند. آنها مشاهده کردند: «در حال حاضر، ماشین‌های فراکتال، مانند Cambricon-F/FR، تنها از کاهش آنتروپی برای ساده‌سازی توسعه نرم‌افزار استفاده می‌کنند. “آیا می توان با معرفی فراکتال به کاهش انرژی دست یافت؟