23 اکتبر 2024 – توسط دانشگاه دوک-اعتبار: دانشگاه دوک
تصور کنید در یک سینمای تاریک نشسته اید و به این فکر می کنید که چقدر نوشابه در فنجان بزرگ شما باقی مانده است. به جای اینکه درب فنجان را بردارید و نگاه کنید، فنجان را برمی دارید و کمی تکان می دهید تا بشنوید که چقدر یخ داخل آن است که در اطراف می لرزد، و به شما نشان می دهد که آیا نیاز به شارژ مجدد رایگان دارید یا خیر.
وقتی نوشیدنی را پایین می‌گذارید، فکر می‌کنید که آیا تکیه‌گاه از چوب واقعی ساخته شده است. با این حال، پس از چند ضربه زدن به آن و شنیدن پژواک توخالی، تصمیم می گیرید که باید از پلاستیک ساخته شده باشد.
این توانایی برای تفسیر جهان از طریق ارتعاشات صوتی ناشی از یک جسم، کاری است که ما بدون فکر انجام می دهیم. و این توانایی است که محققان در آستانه ارائه به روبات‌ها برای تقویت مجموعه‌ای از توانایی‌های حسی به سرعت در حال رشد آنها هستند.
تحقیقات جدید دانشگاه دوک که قرار است در کنفرانس یادگیری ربات (CoRL 2024) در مونیخ آلمان ارائه شود، جزئیات سیستمی به نام SonicSense را ارائه می دهد که به روبات ها اجازه می دهد با محیط اطراف خود به روش هایی که قبلاً محدود به انسان ها بود تعامل داشته باشند. . یافته ها در سرور preprint arXiv منتشر شده است.
جیاکسون لیو، نویسنده اصلی مقاله و دکترای سال اول، توضیح داد: «روبات‌های امروزی بیشتر به بینایی برای تفسیر جهان متکی هستند. دانشجوی آزمایشگاه بویوان چن، استاد مهندسی مکانیک و علم مواد در دوک. ما می خواستیم راه حلی ایجاد کنیم که بتواند با اشیاء پیچیده و متنوعی که به صورت روزانه یافت می شوند کار کند و به روبات ها توانایی بسیار غنی تری برای “احساس” و درک جهان بدهد.
SonicSense دارای یک دست رباتیک با چهار انگشت است که هر کدام به یک میکروفون تماسی تعبیه شده در نوک انگشت مجهز شده است. این حسگرها ارتعاشات ایجاد شده در هنگام ضربه زدن، گرفتن یا تکان دادن ربات به یک شی را شناسایی و ثبت می کنند. و از آنجایی که میکروفون ها با جسم در تماس هستند، به ربات اجازه می دهد تا صداهای محیط را تنظیم کند.
بر اساس فعل و انفعالات و سیگنال‌های شناسایی‌شده، SonicSense ویژگی‌های فرکانس را استخراج می‌کند و از دانش قبلی خود، همراه با پیشرفت‌های اخیر در هوش مصنوعی استفاده می‌کند تا بفهمد شی از چه ماده‌ای ساخته شده و شکل سه‌بعدی آن را مشخص می‌کند. اگر این شیئی است که سیستم قبلاً هرگز آن را ندیده است، ممکن است 20 تعامل مختلف طول بکشد تا سیستم به نتیجه برسد. اما اگر یک شی از قبل در پایگاه داده خود باشد، می تواند آن را به درستی در کمتر از چهار مورد شناسایی کند.
چن، گفت: “SonicSense به روبات ها راه جدیدی برای شنیدن و احساس می دهد، بسیار شبیه به انسان، که می تواند نحوه درک و تعامل ربات های فعلی با اشیاء را تغییر دهد.” “در حالی که بینایی ضروری است، صدا لایه هایی از اطلاعات را اضافه می کند که می تواند چیزهایی را که چشم ممکن است از دست بدهد را آشکار کند.”
در مقاله و نمایش، چن و آزمایشگاهش تعدادی از قابلیت های فعال شده توسط SonicSense را به نمایش گذاشتند. با چرخاندن یا تکان دادن یک جعبه پر از تاس، می‌تواند تعداد نگه‌داشته شده در داخل و همچنین شکل آنها را بشمارد. با انجام همین کار با یک بطری آب، می توان میزان مایع داخل آن را تشخیص داد. و با ضربه زدن به بیرون از یک شی، دقیقاً شبیه نحوه کاوش انسان در اشیا در تاریکی، می‌تواند یک بازسازی سه‌بعدی از شکل جسم بسازد و مشخص کند که از چه ماده‌ای ساخته شده است.
اگرچه SonicSense اولین تلاش برای استفاده از این رویکرد نیست، اما با استفاده از چهار انگشت به جای یک میکروفون لمسی که نویز محیط و تکنیک‌های پیشرفته هوش مصنوعی را تنظیم می‌کند، فراتر رفته و عملکرد بهتری نسبت به کارهای قبلی دارد. این تنظیمات به سیستم اجازه می‌دهد تا اشیاء متشکل از بیش از یک ماده را با هندسه‌های پیچیده، سطوح شفاف یا بازتابنده و موادی که برای سیستم‌های مبتنی بر بینایی چالش برانگیز هستند شناسایی کند.
لیو می‌گوید: «در حالی که بیشتر مجموعه‌های داده در تنظیمات آزمایشگاهی کنترل‌شده یا با مداخله انسان جمع‌آوری می‌شوند، ما به ربات خود نیاز داشتیم که به طور مستقل با اشیاء در یک محیط آزمایشگاه باز تعامل داشته باشد.» تکرار این سطح از پیچیدگی در شبیه‌سازی‌ها دشوار است. این شکاف بین داده‌های کنترل‌شده و دنیای واقعی بسیار مهم است و SonicSense با قادر ساختن روبات‌ها به تعامل مستقیم با واقعیت‌های متنوع و آشفته دنیای فیزیکی، پل‌هایی را ایجاد می‌کند.
این توانایی ها، SonicSense را به پایه ای قوی برای آموزش ربات ها برای درک اشیاء در محیط های پویا و بدون ساختار تبدیل می کند. هزینه آن نیز همینطور است. استفاده از همان میکروفون های تماسی که نوازندگان برای ضبط صدا از گیتار، پرینت سه بعدی و سایر اجزای تجاری موجود استفاده می کنند، هزینه ساخت را کمی بیش از 200 دلار نگه می دارد.
با حرکت رو به جلو، گروه در تلاش است تا توانایی سیستم را برای تعامل با چندین شیء افزایش دهد. با یکپارچه‌سازی الگوریتم‌های ردیابی شی، ربات‌ها قادر خواهند بود محیط‌های پویا و به هم ریخته را مدیریت کنند و آنها را به سازگاری انسان‌مانند در کارهای دنیای واقعی نزدیک‌تر کند.
یکی دیگر از پیشرفت های کلیدی در طراحی خود دست ربات نهفته است. “این تنها آغاز است. در آینده، ما تصور می کنیم که SonicSense در موارد بیشتری استفاده شود
چن گفت: دست‌های روباتیک پیشرفته با مهارت‌های دستکاری ماهرانه، به ربات‌ها اجازه می‌دهد کارهایی را انجام دهند که نیاز به حس لامسه ظریف برای تعاملات حتی پیچیده تر دارند..”
