28 فوریه 2024 -توسط دانشگاه ساری-اعتبار: دانشگاه ساری
عکس‌های سگ‌ها می‌توانند به زودی برای کمک به تولید مدل‌های سه‌بعدی دقیق‌تر از همیشه مورد استفاده قرار گیرند – به لطف مطالعه برنده جایزه از دانشگاه ساری و بازی ویدیویی معروف Grand Theft Auto.
محققان به یک سیستم هوش مصنوعی (AI) آموزش دادند تا ژست سه بعدی را از روی یک تصویر دو بعدی از یک سگ پیش بینی کند – که آنها بر روی تصاویری که با استفاده از Grand Theft Auto V ایجاد کردند ، آموزش دادند.
مویرا شوتر ، دانشجوی کارشناسی ارشد پژوهشی گفت: “مدل ما بر روی سگ های CGI آموزش دیده بود، اما توانستیم از آن برای ساختن مدل های اسکلت سه بعدی از عکس های حیوانات واقعی استفاده کنیم. این می تواند به محافظان محیط زیست اجازه دهد تا حیات وحش آسیب دیده را شناسایی کنند، یا به هنرمندان کمک کند حیوانات واقعی تری را در متاورس خلق کنند.”.
یکی از راه‌های آموزش هوش مصنوعی برای دریافت اطلاعات سه‌بعدی از تصاویر دو بعدی این است که عکس‌ها را به آن نشان دهیم و در عین حال اطلاعاتی درباره «حقیقت زمینی» سه‌بعدی به آن بدهیم – جایی که اشیا در واقع در فضای سه‌بعدی هستند. برای انسان، این به معنای پوشیدن لباس‌های ضبط حرکت است.
حتی در بهترین رفتارشان، پوشیدن لباس‌های ضبط حرکت ده‌ها سگ می‌تواند چالش برانگیز باشد.در عوض، محققان تعداد بی‌شماری سگ مجازی را برای مطالعه ایجاد کردند.
محققان کد Grand Theft Auto را تغییر دادند و شخصیت اصلی را به یکی از هشت نوع سگ تغییر دادند – فرآیندی که به عنوان “modding” شناخته می شود. آنها 118 ویدیو از سگ ها در حال نشستن، راه رفتن، پارس کردن و دویدن در طیف وسیعی از شرایط مختلف آب و هوایی و نور تولید کردند.
این تیم پایگاه داده جدید خود را DigiDogs نامید که از 27900 فریم تشکیل شده است. آنها اکنون آن را با استفاده از مدل DINOv2 متا تنظیم می کنند تا مطمئن شوند که می تواند یک ژست سه بعدی را درست به خوبی تصاویر سگ واقعی پیش بینی کند.
شوتر گفت: “ژست های سه بعدی حاوی اطلاعات بسیار بیشتری نسبت به عکس های دو بعدی هستند. از محیط زیست گرفته تا انیمیشن – این راه حل منظم کاربردهای بسیار زیادی دارد.”
این تحقیق برنده جایزه بهترین مقاله در کنفرانس زمستانی IEEE/CVF در زمینه کاربردهای بینایی کامپیوتری شد.
