17 آوریل 2023 -توسط دانشگاه آلتو
سنسورهای معمولی تنها یک لحظه را در یک فریم ثبت می کنند، اما حسگر جدید می تواند اطلاعات مربوط به گذشته را بخواند و از آن برای پیش بینی آینده استفاده کند. اعتبار: Hongwei Tan / دانشگاه آلتو
یک حسگر جدید با الهام از زیست‌شناسی می‌تواند اجسام متحرک را در یک فریم از یک ویدیو تشخیص دهد و با موفقیت پیش‌بینی کند که کجا حرکت می‌کنند. این حسگر هوشمند، که در مقاله Nature Communications توضیح داده شده است، ابزار ارزشمندی در طیف وسیعی از زمینه‌ها از جمله سنجش دید پویا، بازرسی خودکار، کنترل فرآیند صنعتی، هدایت رباتیک و فناوری رانندگی مستقل خواهد بود.
سیستم‌های تشخیص حرکت کنونی به اجزاء و الگوریتم‌های پیچیده زیادی نیاز دارند که تحلیل‌های فریم به فریم را انجام می‌دهند، که آنها را ناکارآمد و انرژی‌بر می‌کند. محققان دانشگاه آلتو با الهام از سیستم بینایی انسان، یک فناوری بینایی نورومورفیک جدید ایجاد کرده اند که حس، حافظه و پردازش را در یک دستگاه ادغام می کند که می تواند حرکت را تشخیص دهد و مسیرها را پیش بینی کند.
در هسته فناوری آنها مجموعه ای از فوتوممریستورها قرار دارد، دستگاه های الکتریکی که در پاسخ به نور جریان الکتریکی تولید می کنند. با خاموش شدن چراغ، جریان بلافاصله قطع نمی شود. در عوض، بتدریج تحلیل می‌رود، به این معنی که فوتوممریستورها می‌توانند به طور موثری «به یاد بیاورند» که آیا اخیراً در معرض نور قرار گرفته‌اند یا خیر. در نتیجه، حسگر ساخته شده از آرایه‌ای از فوتوممریستورها نه تنها اطلاعات لحظه‌ای درباره یک صحنه را مانند دوربین ثبت می‌کند، بلکه شامل یک حافظه پویا از لحظات قبلی نیز می‌شود.
Hongwei Tan، محققی که این مطالعه را رهبری می‌کند، توضیح می‌دهد: «ویژگی منحصر به فرد فناوری ما توانایی آن در ادغام مجموعه‌ای از تصاویر نوری در یک فریم است. “اطلاعات هر تصویر در تصاویر زیر به عنوان اطلاعات مخفی جاسازی شده است. به عبارت دیگر، فریم نهایی در یک ویدیو نیز اطلاعاتی در مورد تمام فریم های قبلی دارد. این به ما امکان می دهد حرکت را زودتر در فیلم با تجزیه و تحلیل فریم نهایی تشخیص دهیم. با یک شبکه عصبی مصنوعی ساده، نتیجه یک واحد سنجش فشرده و کارآمد است.”
برای نشان دادن این فناوری، محققان از ویدئوهایی استفاده کردند که حروف یک کلمه را در یک زمان نشان می داد. از آنجایی که تمام کلمات با حرف “E” خاتمه می یافتند، قاب نهایی همه ویدیوها شبیه به هم به نظر می رسید. سنسورهای بینایی معمولی نمی توانند تشخیص دهند که “E” روی صفحه بعد از حروف دیگر در “APPLE” یا “GRAPE” ظاهر شده است. اما آرایه فوتوممریستور می‌تواند از اطلاعات پنهان در فریم نهایی استفاده کند تا بفهمد کدام حروف قبل از آن قرار گرفته‌اند و با دقت 100 درصد کلمه را پیش‌بینی کند.
در آزمایش دیگری، این تیم فیلم‌های حسگر یک فرد شبیه‌سازی شده را نشان دادند که با سه سرعت مختلف حرکت می‌کرد. این سیستم نه تنها با تجزیه و تحلیل یک فریم قادر به تشخیص حرکت بود، بلکه فریم های بعدی را نیز به درستی پیش بینی کرد.
تشخیص دقیق حرکت و پیش‌بینی محل قرار گرفتن یک جسم برای فناوری خودران و حمل و نقل هوشمند حیاتی است. وسایل نقلیه خودمختار به پیش‌بینی دقیقی از نحوه حرکت خودروها، دوچرخه‌ها، عابران پیاده و سایر اشیاء نیاز دارند تا تصمیمات خود را هدایت کنند. با افزودن یک سیستم یادگیری ماشین به آرایه فوتوممریستور، محققان نشان دادند که سیستم یکپارچه آنها می تواند حرکت آینده را بر اساس پردازش درون حسگر یک قاب تمام اطلاعاتی پیش بینی کند.
پروفسور سباستین ون دایکن می گوید: «تشخیص و پیش بینی حرکت توسط حافظه فشرده و راه حل محاسباتی درون حسگر ما فرصت های جدیدی را در رباتیک مستقل و تعاملات انسان و ماشین فراهم می کند. “اطلاعات درون قاب که ما در سیستم خود با استفاده از فوتوممریستورها به دست می آوریم، از جریان داده های اضافی جلوگیری می کند و امکان تصمیم گیری بهینه انرژی را در زمان واقعی فراهم می کند.”
