ابزاری برای کمک به توسعه دهندگان برای ایجاد دستیارهای وظیفه واقعیت افزوده

28 سپتامبر 2023 -توسط دانشکده مهندسی NYU Tandon

مروری بر رابط کاربری و اجزای ARGUS Offline. الف) مدیر داده فیلترهای اعمال شده (A1) و لیست جلسات بازیابی شده (A2) را نشان می دهد. (ب) نمای فضایی ابر نقطه جهان را نشان می‌دهد که محیط فیزیکی را نشان می‌دهد، نقاط سه‌بعدی برای وضعیت چشم و دست، و پیش‌بینی‌های نگاه و نقشه‌های حرارتی را نشان می‌دهد (B1) کنترل‌های رندر به کاربر اجازه می‌دهد عناصر نمای فضایی را که می‌خواهد ببیند انتخاب کند (C) نمای زمانی (C1) پخش کننده ویدیو خروجی تصویر دوربین اصلی مهر زمانی فعلی است که توسط کاربر انتخاب شده است (C2) کنترل کننده زمانی پخش کننده ویدیو را کنترل می کند و نمایشگر خروجی مدل را نیز به روز می کند (C3) نمایشگر خروجی مدل خروجی مدل‌های یادگیری ماشین (استدلال و ادراک) مورد استفاده در طول زمان اجرا را نمایش می‌دهد. اعتبار: arXiv (2023). DOI:

فناوری واقعیت افزوده (AR) مدت‌هاست که هم جامعه علمی و هم عموم مردم را مجذوب خود کرده است و برای دهه‌ها جزء اصلی داستان‌های علمی تخیلی مدرن باقی مانده است.

در تعقیب دستیارهای پیشرفته واقعیت افزوده – دستیارهایی که می توانند افراد را از طریق جراحی های پیچیده یا تهیه غذای روزمره راهنمایی کنند – یک تیم تحقیقاتی از دانشکده مهندسی دانشگاه نیویورک تاندون، سیستم هدایت واقعیت افزوده و مدل سازی کاربر یا ARGUS را معرفی کرده است.

یک ابزار تجزیه و تحلیل بصری تعاملی، ARGUS برای پشتیبانی از توسعه دستیارهای AR هوشمند که می توانند بر روی دستگاه هایی مانند Microsoft HoloLens 2 یا MagicLeap اجرا شوند، مهندسی شده است. توسعه دهندگان را قادر می سازد تا داده ها را جمع آوری و تجزیه و تحلیل کنند، مدل سازی کنند که افراد چگونه وظایف را انجام می دهند، و مشکلات را در دستیارهای AR که در حال ساخت هستند، پیدا و برطرف کنند.

کلودیو سیلوا، استاد علوم و مهندسی کامپیوتر مؤسسه تاندون نیویورک و استاد علوم داده در مرکز علوم داده دانشگاه نیویورک، رهبری تیم تحقیقاتی را بر عهده دارد که مقاله خود را در مورد ARGUS در IEEE VIS 2023 در 26 اکتبر 2023 در ملبورن استرالیا ارائه خواهد کرد. این مقاله در جوایز بهترین مقاله آن رویداد جایزه افتخاری دریافت کرد.

سیلوا گفت: «تصور کنید در حال توسعه یک دستیار AR AI برای کمک به آشپزهای خانه در تهیه غذا هستید. با استفاده از ARGUS، یک توسعه دهنده می تواند آشپزی را که با مواد تشکیل دهنده کار می کند نظارت کند، بنابراین آنها می توانند ارزیابی کنند که هوش مصنوعی در درک محیط و اقدامات کاربر برای استفاده توسط توسعه دهندگان چنین سیستم های ARچقدر خوب عمل می کند. همچنین، چگونه سیستم دستورالعمل ها و بازخوردهای مربوطه را به کاربر ارائه می دهد.

ARGUS در دو حالت آنلاین و آفلاین کار می کند.

حالت آنلاین برای نظارت و اشکال زدایی بلادرنگ در زمانی که یک سیستم AR در حال استفاده است است. این به توسعه دهندگان اجازه می دهد تا ببینند سیستم AR چه چیزی را می بیند و چگونه محیط و اقدامات کاربر را تفسیر می کند. آنها همچنین می توانند تنظیمات را تنظیم کرده و داده ها را برای تجزیه و تحلیل بعدی ثبت کنند.

حالت آفلاین برای تجزیه و تحلیل داده های تاریخی تولید شده توسط سیستم AR است. ابزارهایی برای کاوش و تجسم این داده ها فراهم می کند و به توسعه دهندگان کمک می کند تا نحوه رفتار سیستم در گذشته را درک کنند.

حالت آفلاین ARGUS شامل سه جزء کلیدی است: مدیر داده، که به کاربران کمک می کند تا داده های جلسه AR را سازماندهی و فیلتر کنند. نمای فضایی، ارائه تجسم سه بعدی از تعاملات فضایی در محیط AR و نمای زمانی، که بر پیشرفت زمانی اقدامات و اشیاء در طول جلسات AR تمرکز دارد. این مولفه ها به طور جمعی تجزیه و تحلیل داده ها و اشکال زدایی جامع را تسهیل می کنند.

سیلوا گفت: در توانایی خود برای ارائه نظارت جامع و تحلیل گذشته نگر در زمان واقعی داده های پیچیده چندوجهی در توسعه سیستم ها منحصر به فرد است.” “ادغام ابزارهای تجسم مکانی و زمانی آن را به عنوان راه حلی برای بهبود سیستم های AR کمکی هوشمند متمایز می کند و قابلیت هایی را ارائه می دهد که در سایر ابزارها با هم یافت نمی شوند.”

این تحقیق در سرور preprint arXiv منتشر شده است.