یک سیستم عملیات از راه دور مبتنی بر بینایی کامپیوتری برای ربات های مختلف

1 آگوست 2023 – توسط Ingrid Fadelli، AnyTeleop یک سیستم عملیات از راه دور مبتنی بر بینایی برای سناریوهای مختلف است که برای حل طیف گسترده ای از وظایف کار با انواع بازوهای ربات و دست های مختلف ربات طراحی شده است. همچنین از عملیات دور در واقعیت‌های مختلف، مانند NVIDIA IsaacGym (ردیف بالا)، شبیه‌ساز SAPIEN (ردیف میانی) و دنیای واقعی (ردیف‌های پایین) پشتیبانی می‌کند. اعتبار: NVIDIA و UC San Diego

پیشرفت‌های اخیر در زمینه‌های رباتیک و هوش مصنوعی (AI) راه‌های هیجان‌انگیز جدیدی را برای عملیات از راه دور، کنترل از راه دور ربات‌ها برای انجام وظایف در مکان‌های دور باز کرده است. به عنوان مثال، می تواند به کاربران اجازه دهد تا از موزه ها از راه دور بازدید کنند، کارهای تعمیر و نگهداری یا فنی را در فضاهایی که دسترسی به آنها دشوار است، کامل کنند یا در رویدادها از راه دور به روش های تعاملی تر شرکت کنند.

بیشتر سیستم‌های عملیات از راه دور موجود برای استقرار در تنظیمات خاص و با استفاده از یک ربات خاص طراحی شده‌اند. این امر کاربرد آنها را در محیط های مختلف دنیای واقعی دشوار می کند و پتانسیل آنها را بسیار محدود می کند.

محققان NVIDIA و UC San Diego اخیرا AnyTeleop را ایجاد کرده‌اند، یک سیستم عملکرد از راه دور مبتنی بر بینایی کامپیوتری که می‌تواند در طیف وسیع‌تری از سناریوها اعمال شود. AnyTeleop، که در مقاله ای از پیش منتشر شده در arXiv معرفی شده است، عملکرد از راه دور بازوها و دست های روباتیک مختلف را برای انجام کارهای مختلف دستی امکان پذیر می کند.

دیتر فاکس، مدیر ارشد تحقیقات رباتیک در NVIDIA، رئیس آزمایشگاه تحقیقات رباتیک NVIDIA، استاد دانشکده کامپیوتر پل جی آلن دانشگاه واشنگتن، گفت :  “هدف اصلی انویدیا تحقیق در مورد چگونگی آموزش انسان به روبات ها برای انجام وظایف است.”

“کار قبلی بر این تمرکز داشت که انسان چگونه ربات را از راه دور یا هدایت می کند – اما این رویکرد دو مانع دارد. اول، آموزش یک مدل پیشرفته نیاز به تظاهرات زیادی دارد. دوم، تنظیمات معمولاً پرهزینه هستند. دستگاه یا سخت افزار حسی و فقط برای یک ربات خاص یا محیط استقرار طراحی شده اند.

هدف اصلی کار اخیر فاکس و همکارانش ایجاد یک سیستم عملیات از راه دور بود که کم هزینه، آسان برای استقرار و تعمیم در وظایف مختلف، محیط ها و سیستم های روباتیک باشد. برای آموزش سیستم خود، محققان هم ربات های مجازی را در محیط های شبیه سازی شده و هم ربات های واقعی را در یک محیط فیزیکی از راه دور کار کردند، زیرا این امر نیاز به خرید و مونتاژ بسیاری از ربات ها را کاهش داد.

فاکس توضیح داد AnyTeleop یک سیستم عملیات از راه دور مبتنی بر بینایی است که به انسان اجازه می‌دهد تا از دست‌های خود برای کنترل سیستم‌های رباتیک دست و بازوی ماهرانه استفاده کند. این سیستم ژست‌های دست انسان را از یک یا چند دوربین ردیابی می‌کند و سپس آنها را برای کنترل انگشتان دست یک روبات چند انگشتی هدف قرار می‌دهد. نقطه مچ برای کنترل حرکت بازوی ربات با یک برنامه‌ریز حرکتی مجهز به CUDA استفاده می‌شود.

برخلاف اکثر سیستم‌های عملیات از راه دور دیگر که در مطالعات گذشته معرفی شده‌اند، AnyTeleop می‌تواند با بازوهای ربات مختلف، دست‌های ربات، پیکربندی‌های دوربین و محیط‌های شبیه‌سازی شده یا دنیای واقعی مختلف ارتباط برقرار کند. علاوه بر این، می توان آن را برای هر دو سناریو که در آن کاربران در نزدیکی و در مکان های دور هستند اعمال کرد.

پلتفرم AnyTeleop همچنین می‌تواند به جمع‌آوری داده‌های نمایشی انسان کمک کند (یعنی داده‌هایی که نشان دهنده حرکات و اقداماتی است که انسان هنگام اجرای وظایف دستی خاص انجام می‌دهد). این داده ها به نوبه خود می توانند برای آموزش بهتر ربات ها برای انجام مستقل وظایف مختلف مورد استفاده قرار گیرند.

فاکس گفت: «پیشرفت اصلی AnyTeleop طراحی قابل تعمیم و به راحتی قابل استقرار آن است. یکی از کاربردهای بالقوه استقرار محیط‌های مجازی و ربات‌های مجازی در فضای ابری است که به کاربران پیشرفته با رایانه‌ها و دوربین‌های سطح پایه (مانند آیفون یا رایانه شخصی) اجازه می‌دهد تا از راه دور با مهارت های جدید روبات ها  کار کنند..”

در آزمایش‌های اولیه، AnyTeleop عملکرد بهتری از یک سیستم عملیاتی از راه دور که برای یک ربات خاص طراحی شده بود، حتی زمانی که روی این ربات اعمال می‌شد، داشت. این امر ارزش آن را به عنوان ابزاری برای تقویت برنامه های کاربردی از راه دور برجسته می کند.

NVIDIA به زودی یک نسخه منبع باز از سیستم AnyTeleop را منتشر خواهد کرد که به تیم های تحقیقاتی در سراسر جهان اجازه می دهد آن را آزمایش کرده و آن را روی روبات های خود اعمال کنند. در آینده، این پلتفرم جدید امیدوارکننده می‌تواند به افزایش مقیاس سیستم‌های عملیات از راه دور کمک کند و در عین حال جمع‌آوری داده‌های آموزشی را برای دستکاری‌کنندگان رباتیک تسهیل کند.

فاکس افزود: «ما اکنون قصد داریم از داده‌های جمع‌آوری‌شده برای کشف بیشتر یادگیری روبات‌ها استفاده کنیم. یک تمرکز قابل توجه در آینده این است که چگونه می توان بر شکاف های دامنه هنگام انتقال مدل های ربات از شبیه سازی به دنیای واقعی غلبه کرد.