6 مه 2024 -توسط پاتریشیا والدرون، دانشگاه کرنل-اعتبار: دامنه عمومی Pixabay/CC0
همکاری روی یک شی فیزیکی زمانی که دو نفر در یک اتاق نیستند می‌تواند بسیار چالش‌برانگیز باشد، اما یک سیستم کنفرانس از راه دور جدید به کاربر از راه دور اجازه می‌دهد تا نمای صحنه را به صورت سه بعدی دستکاری کند تا در کارهای پیچیده‌ای مانند اشکال‌زدایی سخت‌افزار پیچیده کمک کند.
این سیستم که SharedNeRF نام دارد، دو تکنیک رندر گرافیکی را با هم ترکیب می‌کند – یکی کند و واقعی و دیگری آنی اما دقیق‌تر – برای کمک به کاربر از راه دور که فضای فیزیکی همکار را تجربه کند.
موز ساکاشیتا، دانشجوی دکترا در زمینه علم اطلاعات که این سیستم را توسعه داده است، می گوید: «این یک تغییر پارادایم خواهد بود.این به افراد امکان می‌دهد تا روی مواردی کار کنند که هرگز امکان‌پذیر نبوده‌اند و انتقال آنها از طریق سیستم‌های مبتنی بر ویدئو تنها با یک زاویه بسیار دشوار است.»
ساکاشیتا ابزار کنفرانس از راه دور را به عنوان یک کارآموز در مایکروسافت در سال 2023 طراحی کرد و با اندرو ویلسون که سابقاً دررشته علوم کامپیوتر در کورنل بود، کار کرد. ساکاشیتا کار خود را با عنوان “SharedNeRF: Leverage Photorealistic and View Dependent Rendering for Real-time و Remote Collaboration” در 16 مه در کنفرانس CHI انجمن ماشین های محاسباتی (ACM) در مورد عوامل انسانی در سیستم های محاسباتی (CHI’24) ارائه خواهد کرد. این مقاله جایزه افتخاری دریافت کرد.
ویلسون گفت: “هنگام انجام یک کار شامل اشیاء فیزیکی، مانند تعمیر شیر آشپزخانه یا مونتاژ یک مدار، سیستم های کنفرانس ویدئویی امروزی بسیار نامرتب هستند.” اخیراً، نوآوری‌های زیادی در گرافیک رایانه‌ای و تکنیک‌های رندر صورت گرفته است. SharedNeRF یکی از اولین کاوش‌های استفاده از این تکنیک‌ها برای رسیدگی به مشکلاتی است که هنگام نمایش بیش از سر صحبت کردن به وجود می‌آیند.
تحقیقات فارغ التحصیل ساکاشیتا در آزمایشگاه فرانسوا گیبرتییر، استاد علوم اطلاعات در کالج محاسباتی و علوم اطلاعاتی کورنل آن اس. بورز و بخش فناوری طراحی چند کالج، بر توسعه فناوری جدید برای حمایت از همکاری از راه دور متمرکز است.
SharedNeRF با استفاده از یک روش رندر گرافیکی به نام میدان تابش عصبی (NeRF) رویکرد جدیدی را برای همکاری از راه دور اتخاذ می کند. NeRF از هوش مصنوعی برای ساخت یک نمایش سه بعدی از یک صحنه با استفاده از تصاویر دو بعدی استفاده می کند. تصاویری فوق‌العاده واقعی ایجاد می‌کند – کامل با بازتاب‌ها، اشیاء شفاف و بافت‌های دقیق – که از هر جهت قابل مشاهده هستند.
در سیستم SharedNeRF، همکار محلی یک دوربین روی سر را برای ضبط صحنه می‌پوشد. تصاویر به دست آمده به یک مدل یادگیری عمیق NeRF وارد می شوند، که صحنه را به صورت سه بعدی برای همکار از راه دور ارائه می کند، که می تواند دیدگاه را به دلخواه بچرخاند.
هنگامی که صحنه تغییر می کند، مدل NeRF را برای به روز رسانی نما فعال می کند. با این حال، این به‌روزرسانی مدتی طول می‌کشد – حدود 15 ثانیه – بنابراین تیم ساکاشیتا تصاویر دقیق ایجاد شده توسط NeRF را با رندر ابر نقطه‌ای، یک فناوری سریع‌تر، ادغام کردند.
دوربین نصب شده روی سر و دوربین دوم RGB-D که رنگ و عمق را تشخیص می‌دهد و در مقابل کاربر نصب شده است، صحنه را به عنوان مجموعه‌ای از نقاط در فضا ثبت می‌کند. این روش می‌تواند به سرعت بخش‌های پویا صحنه را منتقل کند، مانند حرکت دست‌ها.
با ادغام دو تکنیک رندر، یک کاربر از راه دور می تواند صحنه را از زوایای مختلف با کیفیت بالا از طریق NeRF مشاهده کند و در عین حال حرکات بلادرنگ صحنه را از طریق ابرهای نقطه ای نیز مشاهده کند.
SharedNeRF همچنین یک آواتار از سر همکار محلی را نشان می دهد، بنابراین کاربر راه دور می تواند ببیند به کجا نگاه می کند.
هفت داوطلب SharedNeRF را با اجرای یک پروژه مشترک گل آرایی با یک شریک آزمایش کردند. در مقایسه با یک ابزار کنفرانس ویدئویی استاندارد، یا فقط رندر ابری نقطه‌ای، پنج نفر از داوطلبان SharedNeRF را ترجیح دادند. همه موافق بودند که این سیستم به آنها کمک می کند تا جزئیات طرح را ببینند و به آنها کنترل بهتری بر آنچه می دیدند می داد.
ساکاشیتا گفت: «ما دریافتیم که مردم واقعاً از اینکه می‌توانند به طور مستقل دیدگاه را تغییر دهند، قدردانی می‌کنند. همچنین بسیاری از بزرگنمایی و کوچک‌نمایی گل‌آرایی و عدم نیاز به توضیح دادن به همکار محلی که می‌خواهند ببینند، لذت می‌برند.
در حال حاضر، SharedNeRF فقط برای همکاری یک به یک طراحی شده است، اما محققان تصور می کنند که می تواند برای چندین کاربر گسترش یابد. همچنین می‌توان از این فناوری برای ضبط و بایگانی رویدادها، مانند نمایش‌های آموزشی یا جراحی استفاده کرد تا دانش‌آموزان بتوانند از زوایای مختلف دوباره تماشا کنند.
ساکاشیتا گفت کارهای آینده برای بهبود کیفیت تصویر و ارائه یک تجربه فراگیرتر از طریق تکنیک های واقعیت مجازی یا واقعیت افزوده ضروری است.
