پلتفرم منبع باز ایجاد صحنه های سه بعدی از تصاویر را آسان تر می کند

27 جولای 2023 -توسط مارنی الری، دانشگاه کالیفرنیا – برکلی-اعتبار: دامنه عمومی Pixabay/CC0

همین چند سال پیش، مهندسان برکلی به ما نشان دادند که چگونه می‌توانند با استفاده از فناوری به نام Neural Radiance Fields یا NeRF، تصاویر را به یک صحنه سه‌بعدی قابل پیمایش تبدیل کنند. اکنون تیم دیگری از محققان برکلی یک چارچوب توسعه ایجاد کرده اند تا به سرعت بخشیدن به پروژه های NeRF کمک کند و این فناوری را در دسترس دیگران قرار دهد.

محققان به رهبری Angjoo Kanazawa، استادیار مهندسی برق و علوم کامپیوتر، Nerfstudio را توسعه داده‌اند، یک چارچوب پایتون که اجزای plug-and-play را برای اجرای روش‌های مبتنی بر NeRF فراهم و همکاری و گنجاندن NeRF را در پروژه‌ها آسان‌تر می‌کند. کانازاوا و تیمش مقاله خود را در مورد Nerfstudio در SIGGRAPH 2023 ارائه خواهند کرد و آن را به عنوان بخشی از مجموعه مقالات کنفرانس گروه علاقمند ویژه در زمینه گرافیک کامپیوتری و تکنیک های تعاملی منتشر کرده اند.

کانازاوا گفت: «پیشرفت‌های NeRF به محبوبیت و استفاده روزافزون آن در برنامه‌هایی مانند بینایی رایانه، روباتیک، جلوه‌های بصری و بازی کمک کرده است. اما پشتیبانی از توسعه با تأخیر مواجه شده است». چارچوب Nerfstudio برای ساده سازی توسعه روش های سفارشی NeRF، پردازش داده های دنیای واقعی و تعامل با بازسازی ها در نظر گرفته شده است.

این چارچوب جدید در حال حاضر به بخش وسیعی از مهندسین کمک می کند که از گرافیک های کامپیوتری تعاملی در کار خود استفاده می کنند، به ویژه آنهایی که به دنبال ایجاد بازسازی های سه بعدی در تنظیمات دنیای واقعی هستند. این شامل ربات‌هایی می‌شود که از NeRF برای دستکاری، برنامه‌ریزی حرکت، شبیه‌سازی و نقشه‌برداری و همچنین استودیوهای بازی و رسانه‌های خبری استفاده می‌کنند که از گرافیک تعاملی برای گفتن داستان استفاده می‌کنند.

Matt Tancik، نویسنده اصلی مقاله و دکتری. دانشجو در آزمایشگاه کانازاوا سرپرست تیم تحقیق، می‌گوید: «محققان و همچنین گروه‌های صنعتی اکنون از Nerfstudio استفاده می‌کنند، زیرا یک چارچوب متن‌باز به همراه آخرین تحقیقات NeRF ارائه می‌کند. این کار استفاده از NeRF را برای افراد آسان‌تر می‌کند بدون اینکه نیازی به شروع از صفر باشد.» بنابراین حتی اگر در حال انجام تحقیقات پیشرفته هستید، فقط داشتن این به عنوان یک پایه یا یک نقطه شروع، می تواند کارها را بسیار سرعت بخشد.

از زمان معرفی NeRF، محققان در سراسر جهان برای بهبود فناوری اصلی، از سرعت بخشیدن به رندر و آموزش تصویر در زمان واقعی تا توسعه ویژگی‌های ویرایش جدید، تلاش کرده‌اند. آنها همچنین سعی کرده‌اند که NeRF را در موقعیت‌های جدید، مانند زمانی که نور بین عکس‌ها تغییر می‌کند یا زمانی که اشیاء در یک صحنه حرکت می‌کنند، کار کند. اما این کار اغلب توسط گروه‌های تحقیقاتی با استفاده از مخازن اختصاصی انجام می‌شود که اشتراک‌گذاری این مشارکت‌ها را با جامعه بزرگ‌تر NeRF دشوار می‌کند.

Nerfstudio با ارائه یک چارچوب مدولار که “این نوآوری های تحقیقاتی را تثبیت می کند” به این چالش ها می پردازد. علاوه بر این، با در دسترس قرار دادن کدها و داده های مرتبط از طریق مجوز منبع باز، «توسعه مبتنی بر جامعه» را تقویت می کند.

Tancik گفت: “ما تصمیم گرفتیم پلتفرمی ایجاد کنیم که در آن افراد بتوانند ماژول ها و تکنیک های جدیدی ایجاد کنند که دیگران می توانند از آنها استفاده کنند.” “در نهایت، هدف این است که Nerfstudio یک پروژه منبع باز باشد که محققان علاقه مند به کار با آن و همچنین کمک به پیشبرد بیشتر باشند.”

در حال حاضر، 20 مهندس برکلی به طور فعال به Nerfstudio کمک می کنند . و حدود 100 نفر خارج از دانشگاه از زمان راه اندازی آن در اکتبر 2022 تاکنون به کد اصلی کمک کرده اند.

Nerfstudio همچنین کاربران را قادر می سازد تا به راحتی NeRF ها را بر روی داده های دنیای واقعی که جمع آوری می کنند، اجرا کنند، یک چالش رایج برای توسعه دهندگان. در عین حال، این فناوری را برای کاربران بدون تخصص NeRF، مانند استودیوهای جلوه های ویژه و کاربران رسانه های اجتماعی، در دسترس تر می کند.

تانچیک گفت: «این که همه چیز در فضای باز است به نوعی هیجان انگیز است. “این شامل تحقیقات پیشرفته ای است که شما دارید، هم محققانی که می خواهند آن را به جلو ببرند و هم افرادی که فقط می خواهند از این فناوری استفاده کنند.”