تحقیقات  در مورد ادراک و استنتاج بصری درون حسگر

27 سپتامبر 2023 – توسط Intelligent Computing

1- شبکه عصبی باینری پرسرعت برای تشخیص حروف دست نویس. 2) شبکه عصبی دوتایی برای تشخیص اعداد دست نویس. 3- شبکه کاملاً کانولوشن باینریزه برای استخراج نقشه های حرارتی برای مکان یابی و تقسیم بندی اشیا. اعتبار: YANAN LIU ET AL.

یک تیم تحقیقاتی مشترک در چین مروری بر محاسبات بصری درون حسگر نوشت، یک راه حل سخت افزاری سه در یک که کارآمدتر، مقرون به صرفه تر و ایمن تر از سیستم های بینایی ماشین معمولی است ارایه می نماید که سیگنال های بصری را بر روی سخت افزار جداگانه جمع آوری، ذخیره و تفسیر می کند. واحدها این بررسی در Intelligent Computing منتشر شده است.

سیستم‌های محاسباتی بصری درون حسگر از نحوه جمع‌آوری، استخراج و پردازش سیگنال‌های بصری توسط انسان و سایر پستانداران الهام گرفته شده‌اند، یک مکانیسم بیولوژیکی پیچیده که تأخیر کم و هزینه انرژی کم را نشان می‌دهد. با ادغام حس، ذخیره و محاسبات در سطح کانونی حسگرهای تصویر، سیستم‌های محاسباتی بصری درون حسگر، داده‌ها را درون هر حسگر پردازش می‌کنند و تنها اطلاعات حیاتی را از سیگنال‌های خام استخراج می‌کنند، نه پردازش کل داده‌های تصویر مانند سیستم‌های معمولی.

بنابراین، آنها این پتانسیل را دارند که بر سه مانع اصلی غلبه کنند – تاخیر زیاد، مصرف انرژی بالا و خطرات حفظ حریم خصوصی – که مانع از توسعه بیشتر همتایان معمولی آنها می شود.

توسعه دستگاه‌های محاسباتی درون حسگر بر طرح‌های مدارهای جدید و مواد جدید متمرکز شده است. این بررسی بر روی یک تراشه بینایی با طراحی مدار جدید به نام آرایه پردازنده پیکسل SCAMP یا تراشه SCAMP متمرکز است که در میان حسگرهای در حال ظهور و “یک پلت فرم تحقیقاتی بین رشته ای و بارور” برای تحقیقات مرتبط است. برای اولین بار دو دهه پیش توسعه یافتند، پردازنده‌های حسگر سطح کانونی در حال بهبود مانند تراشه SCAMP به طور گسترده در آزمایش‌های محاسباتی استفاده شده‌اند، اما به طور کامل بررسی نشده‌اند.

نویسندگان ابتدا به روزترین سیستم مبتنی بر تراشه SCAMP، SCAMP-5d را معرفی کردند. این یک سیستم همه منظوره، قابل برنامه ریزی و بسیار موازی است که به طور گسترده در روباتیک و بینایی کامپیوتر استفاده می شود. ابزارها و پلتفرم های نرم افزاری توسعه یافته برای تراشه SCAMP نیز معرفی شده اند، از جمله چارچوب های توسعه برای برنامه نویسی تراشه، پلت فرم های نیمه شبیه سازی شده و کاملا شبیه سازی شده برای شبیه سازی عملیات تراشه و کامپایلرهای فیلتر هسته برای بهینه سازی الگوریتم های پردازش بصری.

در مرحله بعد، نویسندگان مروری بر الگوریتم‌ها و برنامه‌های محاسباتی بصری درون حسگر بر اساس تراشه SCAMP همه کاره ارائه می‌دهند. آنها الگوریتم‌های مختلف از تکنیک‌های پردازش تصویر سطح پایین، مانند بهبود تصویر و استخراج ویژگی‌ها، تا وظایف سطح بالاتر مانند طبقه‌بندی، محلی‌سازی و تقسیم‌بندی را با استفاده از شبکه‌های عصبی بررسی می‌کنند. برنامه های فعال شده توسط این الگوریتم ها عمدتاً تخمین وضعیت و ناوبری ربات هستند.

اگرچه سیستم‌های محاسباتی بصری درون حسگر با استفاده از آرایه پردازشگر پیکسل SCAMP پیشرفت‌های تکنولوژیکی گسترده‌ای را به همراه داشته‌اند، اما همچنان محدودیت‌هایی مانند وضوح پایین، منابع محاسباتی کمیاب، نویز و طراحی و استقرار نامطلوب الگوریتم دارند. مهندسان و محققان نسل بعدی سیستم‌های بینایی SCAMP با کاوش در سایر روش‌های محاسباتی غیر متعارف مانند همجوشی حسگر و محاسبات لبه‌ای، با جبران محدودیت‌های فعلی در تلاش هستند تا چنین موانعی را به فرصت تبدیل کنند.

خود نویسندگان به طور فعال در “توسعه و بهینه سازی مشترک طراحی مدار، فناوری های یکپارچه سازی و الگوریتم های مرتبط” برای اهداف آکادمیک و تجاری مشارکت دارند. آنها معتقدند که نسل بعدی سیستم های بینایی SCAMP عملکرد بهتری در مصرف انرژی کمتر نشان می دهند.

نویسندگان عبارتند از Yanan Liu از دانشگاه شانگهای، Rui Fan از دانشگاه Tongji، Jianglong Guo از موسسه فناوری هاربین، Hepeng Ni از دانشگاه شاندونگ Jianzhu، و M. Usman Maqboo Bhutta از دانشگاه چینی هنگ کنگ.