7-10-1404 عکس نمایشی است.
آنا مالتا ۱،۲،*، تورس فارینیا ۱،۲،*، ماتئوس مندس ۱،۲،*
ویراستاران: بین فان، ون چی رن
چکیده
واقعیت افزوده (AR) فناوری ای است که اجازه می دهد عناصر مجازی روی تصاویر زمینه های واقعی، چه عناصر متنی، گرافیکی یا انواع دیگر اشیاء، قرار گیرند. عینک های هوشمند واقعیت افزوده به طور فزاینده ای بهینه شده اند و عینک های مدرن دارای ویژگی هایی مانند سیستم موقعیت یاب جهانی (GPS)، میکروفون و تشخیص ژست و موارد دیگر هستند. این دستگاه ها به کاربران اجازه می دهند هنگام دریافت دستورالعمل ها به صورت لحظه ای از طریق عینک، دست های خود را آزاد برای انجام کارها تحت امرداشته باشند. این امر به متخصصان نگهداری اجازه می دهد تا مداخلات را کارآمدتر و کوتاه تر از زمانی که بدون پشتیبانی این فناوری لازم بود، انجام دهند. در این کار، جدول زمانی دستاوردهای مهم تعیین شده است، از جمله یافته های مهم در شناسایی اشیاء و عملکرد بلادرنگ. و ادغام فناوری ها برای استفاده در کف کارخانه.
کلمات کلیدی: واقعیت افزوده، نگهداری، کمک به وظایف
۱. مقدمه
این یک مقاله مروری است که هدف آن خلاصه ای از کارهای انجام شده در حوزه واقعیت افزوده برای کمک به وظایف نگهداری با استفاده از شبکه های عصبی یادگیری عمیق در شناسایی اشیاء است. هدف ما این بررسی این است که به خوانندگان کمک کند این حوزه و پتانسیل عظیم آن برای پروژه های آینده را بهتر درک کنند.
تکامل فناوری در پشتیبانی، حل و بهینه سازی مشکلات مختلف در زمینه های مختلف زندگی روزمره به کار رفته است. واقعیت افزوده (AR) یکی از این فناوری هاست که اجازه می دهد عناصر مجازی مانند اشیاء، متون، گرافیک و سایر انواع داده ها روی تصاویر محیط های واقعی قرار گیرند.
این فناوری را می توان در زمینه بازی هایی مانند بازی محبوب POKEMON GO و فیلترهای دوربین که افکت ها را روی نمای اصلی قرار می دهند، یافت. در ساده ترین شکل، واقعیت افزوده می تواند با تجهیزات ساده ای که برای اکثر شهروندان جهان در دسترس است، به دست آید و تنها به یک دستگاه موبایل با دوربین و ظرفیت پردازش معقول نیاز دارد.
واقعیت افزوده می تواند در فضاهای باز یا بسته با استفاده از سخت افزار کافی به کار رود و کاربردهای متنوعی در آموزش، بهداشت و درمان و موارد دیگر دارد.
دستیابی به واقعیت افزوده با یک تلفن همراه ساده اغلب ارزان ترین و عملی ترین روش است. با این حال، دستگاه هایی مانند HMD (نمایشگر سر نصب شده) می توانند تجربه ای برتر ارائه دهند. کاربران می توانند دست های خود را آزاد برای انجام وظایف مختلف داشته باشند. بنابراین، مطالعات و پیشرفت های فناورانه در حال ظهور هستند که نشان می دهد HMDها می توانند به متخصصان در حوزه های مختلف از جمله پزشکی، آموزش و نگهداری کمک کنند. چنین دستگاه هایی به عنوان «پوشیدنی» در نظر گرفته می شوند و به کاربران اجازه می دهند همزمان اطلاعات واقعی و مجازی را مشاهده کنند. اکثر آن ها انواع مختلفی از اتصالات، گیرنده GPS، میکروفون، تشخیص صدا و حتی تشخیص ژست دارند.
به طور کلی، واقعیت افزوده از طریق استفاده از اطلاعات زمینه ای و شخصی سازی شده، به استانداردسازی و همچنین به جریان های کاری راحت تر و کارآمدتر کمک می کند. در حوزه هایی مانند نگهداری که تمام فرآیندهای یادگیری، آموزش و ارتباطات مستلزم سرمایه گذاری هستند، کاهش زمان توقف تجهیزات می تواند به بازدهی بیشتر از سرمایه گذاری های مالی مستقیم کمک کند. در این زمینه، AR می تواند اهمیت سرمایه گذاری های قبلی را برجسته کند، از جمله ارزش افزوده ای که به دلیل زمان های کوتاه تر استقرار و آموزش ایجاد شده است.
در حال حاضر، پروتکل های نگهداری نیازمند دفترچه های چاپی یا دیجیتال هستند که روش های نگهداری را به طور مفصل توضیح دهند و این موارد نیازمند آموزش و مطالعه دقیق هستند. با وجود پیشرفت در تعامل انسان و ماشین، تجهیزات جدیدتر و پیچیده تر ممکن است شامل سیستم های دیجیتال بسیار پیچیده و نیازمند نگهداری دقیق و دشوار باشند.
اگر تکنسین های نگهداری بتوانند از عینک واقعیت افزوده برای کمک به انجام وظایف نگهداری استفاده کنند، این امر می تواند هزینه ها را کاهش دهد، ظرفیت تولید را افزایش دهد، خطرات ایمنی را کاهش دهد و فرآیند یادگیری را بهینه سازد. در کنار سایر مزایا یکی از مزایای مهم این است که کمک به انجام وظایف نگهداری که روند کاری آن ها از عینک واقعیت افزوده ای که تکنسین ها استفاده می کنند انجام می شود، می تواند اطمینان حاصل کند که هیچ روشی از قلم نیفتد. علاوه بر این، کمک AR می تواند نیاز به نظارت توسط پرسنل باتجربه تر را در طول فرایندهای آموزشی کاهش دهد.
بنابراین، AR گامی مهم در جهت دیجیتالی شدن خدمات در سراسر جهان است. از سوی دیگر، چالش های جدیدی برای عرضه و تقاضای انرژی ایجاد می کند، زیرا هدست های واقعیت افزوده و دستگاه های مشابه به ظرفیت پردازش و ارتباطات بالایی در زمان واقعی نیاز دارند که مقدار قابل توجهی انرژی از باتری های قابل حمل دریافت می کند. با این حال، AR در نگهداری حوزه ای فعال برای آموزش و راهنمایی تکنسین های نگهداری است و علاقه به آن رو به افزایش است.
واقعیت افزوده در ابتدا از مارکرها استفاده می کرد؛ با این حال، تمرکز این مطالعه بر پتانسیل ادغام واقعیت افزوده با الگوریتم های یادگیری عمیق در داخل اشیاء است که از استفاده از نشانگرها اجتناب می کند.
الگوریتم های مدرن یادگیری عمیق نقش کلیدی در توسعه واقعیت افزوده ایفا کرده اند. برای اولین بار در تاریخ، شبکه های عصبی کانولوشنی قادر به شناسایی خودکار اشیاء در تصاویر با دقت و دقت بسیار بالا هستند. این ظرفیت امکان شناسایی اشیاء در میدان دید کاربر و انجام اقدامات بر اساس آنچه قابل مشاهده است را فراهم می کند، همچنین ارزیابی نتایج بسیاری از اقداماتی که محیط را تغییر می دهند. بنابراین، روش های یادگیری عمیق تجربه AR را به سطحی کاملا جدید می برند، حوزه های کاربردی آن را گسترش داده و خطوط جدیدی از پژوهش کاربردی را باز می کنند.
پژوهش حاضر گام های مهمی در تکامل واقعیت افزوده را شناسایی کرده و تحلیل تطبیقی چندین مطالعه درباره استفاده از واقعیت افزوده در تعمیر و نگهداری، از جمله خودرو، نظامی و سایر موارد استفاده ارائه می دهد. الگوریتم ها، روش ها، ایده ها و روندهای مهم شناسایی می شوند. برای بهینه سازی این فرآیند، این مرور بیشتر هدف دارد نشان دهد چگونه استفاده از شبکه های عصبی عمیق می تواند با واقعیت افزوده ترکیب شود تا اشیاء را به طور خودکار شناسایی و مکان یابی کند و چگونه می توان این موضوع را برای کاربرد بهتر فناوری های واقعیت افزوده بررسی کرد.
بخش ۲ روش شناسی به کار رفته در طول مقاله مروری را شرح می دهد. بخش ۳ شامل مقدمه ای بر مفهوم واقعیت افزوده و تحول تاریخی آن است. بخش ۴ نمونه هایی از کاربرد واقعیت افزوده برای وظایف نگهداری را نشان می دهد. بخش ۵ فناوری بینایی ماشین و شبکه های عصبی با واقعیت افزوده را در زمینه نگهداری معرفی می کند. بخش ۷ بحثی درباره دیدگاه های پژوهشی آینده ارائه می دهد. در نهایت، بخش ۸ آخر نتیجه گیری کوتاهی ارائه می دهد.
۲. روش شناسی پژوهش
در این کار، ما یک مرور نظام مند ادبیات (SLR) درباره واقعیت افزوده انجام داده ایم که عمدتا بر تحولات مهم و کاربردهای صنعتی تمرکز دارد.
در مرحله اول، دو نوع واقعیت افزوده مورد بررسی قرار می گیرند: رویکردهایی با و بدون نشانگرها. جستجویی برای مقالات مرتبط با این موضوع از طریق پلتفرم «Google Scholar» با استفاده از کلمات کلیدی زیر انجام شد: «واقعیت افزوده»؛ «نگهداری»؛ و «شبکه های عصبی مصنوعی». مقالات حاصل در جنبه های مختلفی تحلیل و مقایسه شدند. این یک بررسی مقدماتی بود و از مرور کامل کوچکتر بود، زیرا در مقایسه با تمرکز اصلی بر مطالعاتی که در آن ها تکنیک های واقعیت افزوده برای وظایف نگهداری به کار می رفتند، صرفا مقدماتی بود.
در مرحله دوم، چون تحقیقات روی شبکه های عصبی بسیار گسترده است، تنها رویکردهایی که مرتبط تر تشخیص داده می شدند به طور مفصل بررسی شدند. مقایسه ای بین چندین مطالعه با معماری های مختلف برای شبکه های عصبی یادگیری عمیق انجام شد. برای فیلتر کردن مقالات، تصمیم گرفتیم تمرکز خود را بر مقالاتی بگذاریم که پس از ۲۰۱۹ تا کنون منتشر شده اند. در موارد خاص، مانند استفاده از AR در سیستم های برق، لازم بود تاریخ جستجو به سال ۲۰۱۷ منتقل شود تا مطالعات مرتبط، همان طور که در بخش ۴.۳ توضیح داده شده، یافت شود.
منابع اصلی که استفاده کردیم Web of Science، IEEE Xplore و ScienceDirect بودند.
۳. واقعیت افزوده
۳.۱. تکنیک های پایه برای واقعیت افزوده
واقعیت افزوده می تواند به چندین روش استفاده شود. استرادا و همکاران چندین تکنیک از این تکنیک ها را در پروژه ای برای کاربرد واقعیت افزوده در آموزش آزمایشگاه مهندسی ارزیابی کردند:
AR مبتنی بر نشانگر: این تکنیک نیازمند استفاده از نشانگرهای بصری مانند کدهای QR یا الگوهای دیگر است که نقاط مرجع برای شیء مجازی را نشان می دهند. وقتی سیستم AR این نشانگرها را شناسایی می کند، مثلا از طریق دوربین، اشیاء یا اطلاعات مجازی روی نمای واقعی قرار می گیرند.
AR بدون نشانگر: برخلاف تکنیک قبلی، این سیستم ها به مارکرهای خاصی نیاز ندارند. در عوض، آن ها از تکنیک های بینایی ماشین مانند مکان یابی یا شناسایی اشیاء برای شناسایی محیطی که کاربر در آن قرار دارد و قرار دادن اشیاء مجازی در نمای کاربر استفاده می کنند.
واقعیت افزوده مبتنی بر مکان: این تکنیک اطلاعات لحظه ای را از طریق GPS یا سایر سیستم های موقعیت یابی دستگاه جمع آوری می کند تا محتوای واقعیت افزوده را بر اساس موقعیت جغرافیایی کاربر پوشش دهد.
واقعیت افزوده مبتنی بر پروجکشن: در اینجا، محتوای مجازی از طریق پروژکتورها یا عینک های مجهز به پروژکتور روی اشیاء یا سطوح فیزیکی واقعی اعمال می شود که محتوای مجازی را نمایش می دهند و نیاز به صفحه نمایش یا تجهیزات دیگر را برطرف می کنند.
واقعیت افزوده مبتنی بر شناسایی: تکنیکی که شامل شناسایی اشیاء یا تصاویر دنیای واقعی و سپس قرار دادن اطلاعات مرتبط یا محتوای مجازی روی اشیاء شناسایی شده است.
AR مبتنی بر خطوط کلی: این نوع AR از شناسایی تصویر برای درک بهتر محیط فعلی استفاده می کند؛ کاربران می توانند خطوط یا اشکال ایجاد کنند و اجزای دنیای واقعی را با استفاده از دوربین های ویژه برجسته نمایند.
ردیابی حرکت: تکنیک های ردیابی حرکت به سیستم های AR اجازه می دهند حرکات کاربر را دنبال کنند و بنابراین می توانند موقعیت و/یا جهت اشیاء مجازی را بسته به حرکات کاربر تنظیم کنند. این امکان تعامل بیشتر با محتوای واقعیت افزوده را فراهم می کند و تجربه ای غوطه ورکننده تر و پویاتر فراهم می آورد.
فیزیک شبیه سازی شده و تعاملات: در این رویکرد، اشیاء مجازی می توانند با محیط واقعی یا با یکدیگر تعامل داشته باشند تا واقع گرایی تجربه های واقعیت افزوده را افزایش دهند.
شکل ۱ دو بخش اصلی AR را نشان می دهد، یکی با استفاده از نشانگر و دیگری بدون نشانگر، و نمونه هایی از تکنیک های توصیف شده در بالا را ارائه می دهد.
شکل ۱.
تکنیک های پایه ای که معمولا در واقعیت افزوده استفاده می شوند.
۳.۲. اشیاء مجازی
علاوه بر مفهوم واقعیت افزوده، اصطلاحات دیگری نیز وجود دارند که به استفاده از اشیاء مجازی اشاره دارند. واقعیت مجازی (VR) و واقعیت ترکیبی (MR) اغلب با واقعیت افزوده اشتباه گرفته می شوند. واقعیت مجازی فناوری ای است که به کاربران اجازه می دهد از طریق عینک های واقعیت مجازی یک محیط مجازی را تجربه کنند. MR به گنجاندن اشیاء مجازی در یک محیط واقعی یا حضور عناصر واقعی در یک محیط مجازی اشاره دارد.
انواع مختلفی از واقعیت افزوده وجود دارد و هر کدام ممکن است برای کاربردهای خاص مناسب تر باشند، اگرچه همه آن ها ویژگی های مشترکی دارند. برنامه های AR مبتنی بر نشانگر از تصاویر هدف (نشانگرها) برای قرار دادن اشیاء در یک فضای مشخص استفاده می کنند. این نشانگرها تعیین می کنند که برنامه محتوای دیجیتال سه بعدی را در میدان دید کاربر (FOV) کجا قرار می دهد. AR بدون نشانگر محیط واقعی را تحلیل می کند و عناصر دیجیتال را روی ویژگی قابل تشخیصی مانند سطح صاف قرار می دهد؛ بنابراین، به جای اتصال به نشانگر، عناصر دیجیتال بر اساس هندسه قرار می گیرند.
چندین تکنیک برای ارائه داده های مجازی وجود دارد. یکی از تکنیک ها بر پایه استفاده از صفحه نمایش های قابل حمل، مانند دستگاه های موبایل مانند گوشی های هوشمند یا تبلت ها است که به کاربران نمای ویدیویی از محیط فیزیکی ارائه می دهد که سپس توسط محتوای مجازی مربوطه تقویت می شود. تکنیک دیگر، شیشه محافظ نصب شده روی سر است که روی سر کاربر پوشیده می شود، احتمالا به عنوان بخشی از کلاه خود. این دستگاه ها از روش های تجسم نوری استفاده می کنند که به کاربران اجازه می دهد محیط واقعی را با چشم خود مشاهده کرده و محتوای مجازی را که با عناصر نوری هولوگرافیک پوشانده شده است، مشاهده کنند.
یکی از ساده ترین روش های تولید اثرات واقعیت مجازی یا افزوده، استفاده از دستگاه های پروجکشن است که گاهی نمایشگرهای فضایی نامیده می شوند. این دستگاه ها محتوای مجازی را مستقیما روی سطوح اشیاء واقعی نمایش می دهند و می توانند به طور طبیعی بزرگ تر شوند تا امکان همکاری میان گروهی از افراد فراهم شود.
به طور کلی، همه انواع نمایشگرها مزایا و معایب خود را دارند. برای دستگاه های دستی، اصلی ترین معایب این است که استفاده از دست ها را محدود می کنند و اطلاعات محدود به اندازه صفحه نمایش است. از سوی دیگر، توانایی بردن آسان این دستگاه ها به هر نقطه ای یک مزیت بزرگ است. برعکس، نوعی نمایش فضایی که دوربین و دستگاه پروجکشن را به هم متصل می کند، امکان استفاده بدون دست را فراهم می کند و می تواند غوطه وری کاربر را به حداکثر برساند . با این حال، انتقال این دستگاه ها به این آسانی نیست. HMDها در نهایت هر دو مزیت را ترکیب می کنند و امکان استفاده بدون دست و حمل آسان را فراهم می کنند. عیب اصلی این دستگاه ها این است که در طول استفاده طولانی مدت ممکن است برای کاربر ناراحتی ایجاد شود، اگرچه فناوری هایی توسعه یافته که این دستگاه ها را برای استفاده طولانی مدت راحت تر می کند.
عینک های هوشمند نوعی دستگاه واقعیت افزوده هوشمند هستند که فرصت های متنوعی در محیط های کاری ارائه می دهند. آن ها به صورت زنده با دنیای فیزیکی و کاربر تعامل دارند. انواع دیگر دستگاه ها مانند کلاه هوشمند یا کلاه ایمنی ممکن است گزینه بهتری باشند اگر اپراتور عینک درجه دار داشته باشد .در کاربردهایی که از عینک های AR استفاده می کنند، مشخص شده است که این دستگاه ها می توانند به کارکنان در فرآیندها و عملیات مختلف کمک کنند، سرعت و کیفیت کار را افزایش دهند، محیط کاری ایمن تری فراهم کنند و به ارتباط بین کارگران و ماشین ها کمک کنند.
صنعت ۴.۰ استفاده از فناوری های پیش بینی را برای وظایفی مانند تولید و نگهداری در صنعت آینده پیشنهاد می کند، با ماشین های متصل به عنوان بخشی از یک جامعه مشارکتی. این تحول نیازمند استفاده از ابزارهای پیش بینی پیشرفته است تا اطمینان حاصل شود داده ها می توانند به طور سیستماتیک پردازش شوند تا اطلاعاتی استخراج شود که بتواند عدم قطعیت ها را توضیح داده و به تصمیمات آگاهانه تر منجر شود.
۳.۳. تاریخچه واقعیت افزوده
تاریخچه واقعیت افزوده از حدود سال ۱۹۵۷ آغاز شد، زمانی که مورتون هایلیگ سنسوراما را اختراع کرد که تصاویر، صداها، ارتعاشات و بوها را به بیننده ارائه می داد. با وجود اینکه توسط کامپیوتر کنترل نمی شد، این اولین نمونه تجربه واقعیت افزوده محسوب می شد. در سال ۱۹۶۸، ایوان ساترلند، مهندس الکترونیک در دانشگاه هاروارد، اولین HMD با نام شمشیر داموکلس را ساخت. این دستگاه قادر بود جلوه های بصری، صداها و بوها را به کاربر منتقل کند. از آنجا که کامپیوترها در آن زمان بسیار محدود بودند، فقط امکان مشاهده وایرفریم ها در زمان واقعی وجود داشت.
اصطلاح AR به طور رسمی در سال ۱۹۹۰ پدید آمد، زمانی که توسط توماس پی. کادل از شرکت بوئینگ ابداع شد. کادل سیستمی مبتنی بر واقعیت افزوده ایجاد کرد تا به مکانیک هایی که برای بوئینگ کار می کنند کمک کند. پس از نصب عینک های مخصوص، این ابزار به کاربران کمک کرد تا اتصالات صحیح کابل ها و سیم ها در موتورهای هواپیما را پیدا کنند. این کار زندگی مکانیک ها را بسیار آسان تر کرد، چون می توانستند با نخواندن دفترچه های بزرگ هواپیما در وقت صرفه جویی کنند.
در سال ۱۹۹۲، لوئیس روزنبرگ اولین سیستم AR کاملا موفق را برای نیروی هوایی ایالات متحده توسعه داد. تجهیزات مجازی به نظامیان اجازه می داد ماشین های هدایت شده مجازی را برای انجام وظایف عملیاتی در فضا کنترل کنند.
در سال ۱۹۹۳، پروژه KARMA (واقعیت افزوده مبتنی بر دانش برای کمک به نگهداری) اولین پروژه ای بود که برای کاربردهای نگهداری با استفاده از نمایشگر شفاف روی سر برای نمایش دستورالعمل های انجام کار روی چاپگر انجام شد .
در سال ۱۹۹۶ اشمالستیگ و همکارانش سیستم Studierstube را توسعه دادند که نخستین سیستم AR مشارکتی بود. با این سیستم، چندین کاربر می توانستند اشیاء مجازی را در یک فضای مشترک تجربه کنند. هر کاربر یک HMD ردیابی شده داشت و می توانست تصاویر استریوسکوپیک با پرسپکتیو صحیح را از زاویه دید فردی ببیند.
در سال ۱۹۹۷، فاینر و همکاران اولین سیستم AR فضای باز را در دانشگاه کلمبیا توسعه دادند. این دستگاه از HMD با GPS و ردیابی جهت استفاده می کرد.
تاریخچه مارکرها از سال ۱۹۹۸ آغاز شد. جون رکیموتو روشی جدید برای ساخت سیستم واقعیت افزوده با استفاده از کدهای ماتریس دوبعدی چاپی اعمال شده روی تصویر ویدئویی معرفی می کند.
در سال ۱۹۹۹، این فناوری در زمینه های صنعتی به کار گرفته شد. ناسا یک سیستم بینایی ترکیبی ترکیبی برای فضاپیمای X-38 خود ایجاد کرد. در همان سال، اولین اثر درباره ARToolKit، محبوب ترین کتابخانه متن باز برای AR، منتشر شد.
در سال ۲۰۰۱، راهنمای نگهداری تعاملی AR برای جایگزینی دستورالعمل های مبتنی بر کاغذ توسعه یافت و در سال ۲۰۰۴ استوارت گوزیت همکاران یک سیستم AR با استفاده از کنترل صوتی برای بازرسی سیستم توزیع آب ایجاد کرد.
در سال ۲۰۰۷، چندین نمونه از سیستم هایی که AR را با مدل های CAD (طراحی به کمک رایانه) یکپارچه کرده اند، ظاهر شدند.
در سال ۲۰۰۸، شونفلدر و اشمالستیگ سیستمی مبتنی بر پلانار برای نمایشگر AR روی چرخ ها با ردیابی خارجی پیشنهاد دادند که بررسی اختلاف کاملا تعاملی و بلادرنگ را برای تأسیسات صنعتی فراهم می کرد.
اولین مدل عینک گوگل در سال ۲۰۱۳ عرضه شد و پس از آن مایکروسافت هولولنز در سال ۲۰۱۶ عرضه شد. هر دو برند پس از آن مدل های جدیدی توسعه دادند. شکل ۲ خلاصه ای از پیشرفت های اصلی در حوزه واقعیت افزوده را ارائه می دهد. همان طور که شکل نشان می دهد، شگفت انگیزترین تحولات قبل از سال ۲۰۱۶ رخ داده اند. با این حال، این منطقه همچنان بسیار فعال باقی مانده است، زیرا فناوری ها در حال بلوغ و فراگیرتر شدن واقعیت افزوده شده اند.
شکل ۲
جدول زمانی تحولات واقعیت افزوده که مهم ترین پیشرفت ها برای کاربردهای صنعتی را برجسته می کند.
۴. واقعیت افزوده در نگهداری
۴.۱. کاربردهای صنعت خودرو
چندین شرکت در صنعت خودرو در حال توسعه برنامه های واقعیت افزوده هستند تا کاربران بتوانند با خودروهای خود تعامل داشته باشند. از سال ۲۰۱۰، فولکس واگن نسخه واقعیت افزوده مدل گلف را در وب سایت خود ارائه داد و در سال ۲۰۱۲ ولوو فرصت دیدن داخل مدل ولوو V40 را فراهم کرد که با استفاده از نشانگرهای دوبعدی تصاویر سه بعدی را از طریق تجربه واقعیت افزوده تبدیل می کند. شرکت هیوندای موتور برنامه ای توسعه داد تا کاربران بتوانند اطلاعات مربوط به خودروی خود را از طریق گوشی هوشمند یا تبلت خود دریافت کنند.
بی ام و تکنیک های واقعیت افزوده را برای پشتیبانی از کارهای نگهداری نوآوری های فنی پیچیده و خدمات خودرو توسعه داده است. این راهکار برای راهنمایی تعمیر مبتنی بر AR شامل یک مدل بدون نشانگر مبتنی بر CAD از BMW است که از دوربین مجازی با میدان دید ۹۰ درجه استفاده می کند؛ طول هر سکانس ویدئویی ۱۰۰ فریم است و رزولوشن آن ۶۴۰ × ۴۸۰ پیکسل می باشد. این سیستم قادر است شرایط مختلف روشنایی را در مرحله ردیابی مدیریت کند و به طور خودکار از خرابی های گاه به گاه ردیابی بازیابی کند. دو راه حل سخت افزاری بر اساس یک سیستم بی سیم موبایل آزمایش شد: یک HMD ویدیویی تک چشمی تمام رنگی شفاف و یک HMD نوری تک رنگ شفاف. این سیستم برای سناریوهای مختلف نگهداری و تعمیر مفید بود.
بوبوک و همکارانش مروری نظام مند درباره واقعیت افزوده در صنعت خودروسازی تهیه کرده اند .
۴.۲. کاربردهای نظامی
AR در طول سال ها به طور گسترده ای برای کاربردهای نظامی مورد مطالعه قرار گرفته است، جایی که در کنترل، پشتیبانی و به ویژه نگهداری تجهیزات کاربرد یافته است. پروژه ARMAR (واقعیت افزوده برای نگهداری و تعمیر) که توسط نیروی هوایی ایالات متحده با همکاری دانشگاه کلمبیا ایجاد شد، با هدف ارزیابی تأثیرات واقعیت افزوده بر نگهداری تجهیزات و آموزش پرسنل مرتبط طراحی شده بود.
هندرسون و همکاران پیاده سازی و آزمایش یک سیستم واقعیت افزوده را برای پشتیبانی از مکانیک های نیروی دریایی ایالات متحده (USMC) که وظایف نگهداری روزمره را در داخل برجک خودروی زرهی LAV-25A1 انجام می دهند، تحلیل کردند. از آنجا که به وسیله نقلیه دسترسی نداشتند، از مجموعه ای گسترده از اسکن های لیزری سه بعدی برای ایجاد یک ماکت تقریبا مجازی از برجک استفاده کردند که در طول توسعه در آزمایشگاه استفاده شد. اولین تجربه آزمایشی شامل آزمایش نمونه اولیه با کاربران لجستیک نیروی دریایی تفنگداران دریایی بود. آن ها از این آزمایش برای بهبود پیکربندی ردیابی و جمع آوری بازخورد کاربران درباره رابط کاربری و تکنیک ها استفاده کردند. آزمایش دوم شامل چهار مکانیک از بین افراد بود که برای مطالعه عملی کاربر جذب شدند.
آن ها با دو صفحه نمایش HWD (دستگاه سرپوشیده) آزمایش کردند. این نمایشگرها اخیرا به عنوان نمایشگرهای سرپوشیده شناخته می شوند، اما به طور تاریخی به عنوان نمایشگرهای نصب شده روی سر (HMD) شناخته می شدند. در آزمایش پایلوت، آن ها دریافتند که مجموعه خودروها مستقیما در جلو و پشت صندلی ها مانع حرکت آزادانه سر کاربران هنگام استفاده از سیستم نسبتا بزرگ HWD nVisur می شود. این نشان داد که یک HWD سفارشی با وضوح 800 × 600 و میدان دید مورب 34∘ بهتر است.
هدف این مطالعه مقایسه نمونه اولیه با استفاده از دفترچه های راهنمای کاربری بود. در هر وظیفه،LCD (نمایشگر کریستال مایع) یک صحنه سه بعدی ثابت را به صورت واقعیت مجازی نمایش می داد. هر صحنه ایستا با استفاده از همان موتوری که برای تولید محتوای مجازی شرایط واقعیت افزوده استفاده می شد، ارائه می شد و دستورالعمل های متنی، برچسب های سه بعدی، گرافیک های نزدیک و دنباله های متحرک یکسان را توصیف می کرد. مدل های سه بعدی اضافی به صحنه اضافه شدند تا بخش مرکزی مورد علاقه و زمینه مهم اطراف را نشان دهند. برای کنترل اثرات کلی استفاده از HWD، شرط سومی اضافه شد که شامل نسخه بدون نظارت از نمونه اولیه AR بود. این وضعیت نمایشگر سربالا (HUD) از گرافیک ثابت روی صفحه برای نمایش دستورالعمل های متنی و نماهای نزدیک مشابه با حالت AR استفاده می کرد. هنگام تجربه شرایط HUD، شرکت کنندگان از همان HWD حالت AR برای تعامل با برنامه با همان کنترل کننده پالس مانند شرایط AR و LCD استفاده می کردند.
نویسندگان هجده وظیفه (مثلا تعویض پمپ) را به عنوان بخشی از یک توالی بزرگ تر نگهداری انتخاب کردند.
میانگین زمان انجام وظایف برای هر شرایط ۴۲ ثانیه (AR)، ۵۵.۲ ثانیه (HUD) و ۳۴.۵ ثانیه (LCD) بود. میانگین زمان مکان یابی وظایف ۴.۹ ثانیه (AR)، ۱۱.۱ ثانیه (HUD) و ۹.۲ ثانیه (LCD) بود.
نویسندگان اظهار داشتند که نتایج کیفی آن ها انگیزه های اضافی برای کاربرد AR در وظایف نگهداری فراهم می کند. آن ها همچنین اشاره کردند که سیستم های AR آینده باید شامل صفحه نمایش های سبک تر و راحت تر با فضای دید بزرگ تر و وضوح بالاتر باشند.
لاویولا و همکاران نمونه اولیه ای از سیستم ARWILD ارائه دادند که ترکیب آموزش هوشمند با واقعیت افزوده را برای استفاده در آموزش های عملی و فراگیر برای وظایف روان حرکتی بررسی می کرد. برنامه های آینده اشاره شده این است که سیستم را به سناریوهای آموزشی پیچیده تر مانند ارزیابی تهدید و تمرین مأموریت که توسط مربی مبتنی بر GIFT نظارت می شود، گسترش دهد.
۴.۳. کاربردهای سیستم های انرژی الکتریکی
ژوکوفسکی و همکاران و کوتلوا و همکاران ماژول های واقعیت افزوده را برای نگهداری تجهیزات الکتریکی توسعه دادند. در هر دو مورد، نویسندگان نتیجه گرفتند که استفاده از سیستم واقعیت افزوده می تواند هزینه نگهداری تجهیزات الکتریکی را کاهش دهد. توسعه یک اسکریپت نگهداری که وظایف مختلف را توصیف می کند می تواند به کاهش خطاها و افزایش کیفیت مداخلات نگهداری کمک کند.
در مطالعه ای دیگر ، یک سیستم AR برای نگهداری و تعمیر یک سیستم توزیع برق پیشنهاد شد. برنامه ای به نام Vuforia برای شناسایی اشیاء مدل های سه بعدی اشیاء طراحی شده با CAD در برنامه AR استفاده می شد. سیستم از دو پایگاه داده استفاده می کند؛ یکی زمانی استفاده می شود که اتصال در دسترس نباشد، که در این صورت سیستم داده تولید کرده و آن را در پایگاه داده دستگاه ذخیره می کند. وقتی اتصال در دسترس باشد، سیستم به گونه ای طراحی شده است که داده های ذخیره شده روی دستگاه به پایگاه داده مرکزی منتقل شوند. آزمایش ها در چندین سطح موفق به کاهش هزینه ها شدند و سفر و زمان صرف آن را به حداقل رساندند. علاوه بر این، سطح ایمنی تکنسین ها می تواند افزایش یابد و خطر خطای انسانی در فرآیند تعمیر و نگهداری کاهش یابد.
در سال ۲۰۱۷، مطالعات متعددی انجام شد؛ پنگ و همکاران از فناوری واقعیت افزوده در بخش برق برای بهبود عملیات و کمک به آموزش کارکنان عملیاتی شبکه برق های برق استفاده کردند. این سیستم آموزشی هوشمند توانست اثربخشی آموزش را افزایش داده و استفاده از فناوری های نوظهور را ترویج دهد. شرکت برق فرانسوی «Enedis» برنامه ای را برای تسهیل استفاده از پنل های کنترل ولتاژ پایین و دستگاه های ولتاژ متوسط به منظور کاهش خطاهای احتمالی از طریق مجموعه ای از دستورالعمل های AR پیاده سازی کرده است. این راه حل شامل برنامه ای است که به کارکنان میدانی اجازه می دهد به راحتی با استفاده از عینک های هوشمند نقص های کابل های زیرزمینی را پیدا کنند. مزایای بالقوه این راه حل شامل کاهش زمان آماده سازی مداخله، افزایش سطح ایمنی اپراتور، راحتی بهتر و کاهش زمان حضور در محل است.
۴.۴. سایر حوزه های کاربرد
هندرسون و همکاران مطالعه آزمایشی ای را پیشنهاد دادند که از واقعیت افزوده برای فرآیند مونتاژ و جداسازی محفظه احتراق استفاده می کرد. در این سیستم، فلش سه بعدی پویا از طریق یک جفت عینک AR به کاربر ارائه می شود. در ابتدا، یک فلش قرمز بزرگ که جهت و شدت حرکت را نشان می دهد برای تراز کردن قوطی و مخروط استفاده می شود. با نزدیک تر شدن تراز شدن، اندازه پیکان کوچک تر شده و رنگ آن تغییر می کند و در نهایت پس از تکمیل تراز ناپدید می شود.
نمونه اولیه از یک دیفرانسیل جلو با میدان دید قطری ۶۰∘ در هر چشم، ۴۰٪ انتقال نوری و تصویری با وضوح ۱۲۸۰ × ۱۰۲۴ در هر چشم استفاده می کرد.
این مطالعه با مشاهده اطلاعات از پشت عینک و مقایسه نتایج با مشاهده همان اطلاعات روی یک LCD انجام شد. زمان مکان یابی اشیاء با عینک ها کمی بیشتر بود؛ با این حال، زمان اجرای وظیفه با AR ۲۱.۳۱ ثانیه سریع تر (۴۶.۸٪) بود. نویسندگان اظهار داشتند که زمان مکان یابی با استفاده از LCD سریع تر بود زیرا شرکت کنندگان به راحتی محل شیء را می دانستند. تفاوت متوسط بین جهت گیری ایده آل و آنچه کاربر به دست آورد، ۰.۰۸ رادیان برای AR و ۰.۳۶ رادیان برای LCD بود. میانگین دقت در حالت AR ۹۵.۳ درصد بود، در حالی که این رقم در حالت LCD ۶۱.۷ درصد بود.
موتریز و همکاران چارچوبی برای پشتیبانی از نگهداری از راه دور بلادرنگ مبتنی بر واقعیت افزوده توسعه دادند. اولین قدم آن ها توسعه نرم افزار برای پلتفرم ابری بود. آن ها معماری این چارچوب را برای پشتیبانی از انواع پلتفرم ها از جمله رایانه های شخصی، HMDهایی مانند Microsoft HoloLens و دستگاه های دستی توسعه دادند. کاربرد چارچوب پیشنهادی هم در کارگاه ماشین آلات آزمایشگاهی و هم در محیط صنعتی واقعی آزمایش و اعتبارسنجی شد.
نتایج نشان داد که الزامات عملکردی مطرح شده در مرحله مدل سازی مسئله با موفقیت برطرف شده اند و ابزار تولید محتوای AR با زمان صفر، MTTR (میانگین زمان تعمیر) را بیشتر به حداقل رسانده است.
تانگ و همکاران مطالعه ای برای ارزیابی استفاده از HMDها جهت ارائه دستورالعمل های مبتنی بر AR انجام دادند. مطالعه آن ها با ۷۵ شرکت کننده با استفاده از بلوک های LEGO Duplo انجام شد. شرکت کنندگان باید وظایف مونتاژ را بر اساس دستورالعمل هایی که از طریق (۱) رسانه چاپی، (۲) دستورالعمل روی مانیتور، (۳) دستورالعمل روی HMD و (۴) دستورالعمل های ضبط شده فضایی AR روی HMD ارائه می شد، انجام می دادند. این مطالعه نشان داد که سیستم های مبتنی بر AR می توانند عملکرد وظایف را از نظر میانگین زمان و تعداد خطاها نسبت به سایر رسانه ها بهبود بخشند، در حالی که بار ذهنی مورد نیاز برای وظایف مونتاژ را کاهش می دهند.
۴.۵. استفاده از CMMS
آریاسیا و همکاران درباره ادغام سیستم های واقعیت افزوده از طریق CMMS (سیستم مدیریت نگهداری کامپیوتری) بحث کردند. این سیستم ها با هدف برنامه ریزی اقدامات پیشگیرانه و پیش بینی به منظور به حداقل رساندن خرابی ها و تأخیرهای غیرمنتظره طراحی شده اند. با استفاده از CMMS، امکان جمع آوری اطلاعات مربوط به تجهیزات، داده های نگهداری و زمان بندی، سابقه خرابی و موجودی قطعات وجود دارد.
توسعه سیستم AR-CMMS برای نگهداری از طریق مثال یک چاپگر سه بعدی نشان داده شد. در این مطالعه، دو نوع شکست مورد بررسی قرار گرفت: یک شکست «سطحی» آسان و یک شکست دشوارتر. دستورالعمل های نگهداری می توانند از طریق عینک های HoloLens به صورت متنی یا پیام های شفاهی ارائه شوند و به دنبال آن برچسب هایی که محل هدف را مشخص می کنند و مدل های سه بعدی متحرک یا ویدئویی که به وضوح نحوه انجام وظیفه را نشان می دهند، ارائه شوند. در این مطالعه، از یک نشانگر برای شناسایی شیء مورد نظر استفاده شد.
نویسندگان اظهار داشتند که سیستم AR-CMMS اجازه می دهد خرابی های غیرمنتظره بلافاصله توسط اپراتور مدیریت شوند.
آشاور و همکاران پیاده سازی یک برنامه متن باز پشتیبانی از واقعیت افزوده از راه دور مبتنی بر اجزای نرم افزار آزاد را ارائه می دهند. این چارچوب یک دستگاه قابل حمل را از یک کارمند در محل به یک کارشناس از راه دور با استفاده از یک برنامه دسکتاپ متصل می کند. هدف از ارزیابی، به دست آوردن اطلاعاتی درباره پتانسیل نمونه اولیه در مقایسه مستقیم با دستورالعمل های نگهداری کاغذ بود. هر دو گروه تقریبا به یک اندازه زمان برای انجام وظیفه نگهداری صرف کردند؛ ۴ دقیقه و ۵۵ ثانیه برای دستورالعمل های کاغذی و ۴ دقیقه و ۵۷ ثانیه با ابزار پشتیبانی از راه دور AR. با این حال، وضعیت هنگام بررسی نرخ خطای کلی متفاوت بود؛ ۵۳٪ از وظایف نگهداری کامپیوتر به اشتباه با استفاده از دستورالعمل های کاغذی انجام می شدند، در حالی که تنها ۱۳٪ از وظایف با پشتیبانی از واقعیت افزوده از راه دور به اشتباه انجام می شدند.
۴.۶. بحث
نتایج مطالعات شرح داده شده در بالا و خلاصه شده در جدول ۱، مشکلات مرتبط، برخی از راه حل های سخت افزاری و نرم افزاری مورد استفاده تاکنون و نتایج اصلی نویسندگان را ارائه می دهد. در تمام مطالعات ذکر شده، نتایج رضایت بخش بود و توانایی های عظیمی را که این سیستم ها می توانند در صنایع و حوزه های مختلف از جمله خودروسازی، نظامی، آموزشی، صنعتی و بسیاری دیگر ارائه دهند، نشان داد.
جدول ۱.
خلاصه کاربردهای واقعیت افزوده در وظایف نگهداری.
مشکل سخت افزار نتایج
وظایف نگهداری درون یک خودروی زرهی HWD: ۱۲۸۰ × ۱۰۲۴ پیکسل و زاویه دید قطری ۶۰∘؛ HWD: ۸۰۰ × ۶۰۰ پیکسل و زاویه دید مورب ۳۴∘ میانگین انجام وظیفه: ۴۲ ثانیه؛ میانگین محل وظیفه: ۴.۹ ثانیه.
فرآیند مونتاژ و جداسازی محفظه احتراق NVIS nVisor ST60: 1280 × 1024 پیکسل 60∘ زاویه دید مورب اجرای وظایف با استفاده از AR ۲۱.۳۱ ثانیه یا ۴۶.۸٪ سریع تر بود.
دستورالعمل های واقعیت افزوده برای ساختمان های لگو میدان دید مورب ۳۰∘ Sony Glasstron LDI-100B این سیستم می تواند عملکرد وظایف را بهبود بخشد (میانگین زمان و تعداد خطاها را کاهش دهد).
پشتیبانی نگهداری از راه دور بلادرنگ مبتنی بر واقعیت افزوده مایکروسافت هولولنز MTTR را به حداقل می رساند.
سیستم های AR با CMMS برای برنامه ریزی اقدامات پیشگیرانه و پیش بینی مایکروسافت هولولنز این سیستم می تواند خرابی های غیرمنتظره را به حداقل برساند.
سیستم AR برای نگهداری و تعمیر یک سیستم الکتریکی – این سیستم می تواند هزینه نگهداری را کاهش داده و خطای انسانی را کاهش دهد.
سیستم AR برای بهبود عملیات و آموزش کارکنان عملیات شبکه برق – آموزش و اثربخشی بهبود یافته،
کاربرد AR برای تسهیل استفاده از پنل کنترل ولتاژ – کاهش زمان آماده سازی برای مداخله و افزایش سطح ایمنی.
در یک تب جدید باز کنید
مهم است که بدانیم چندین مطالعه وجود دارد که اگرچه جزئیات کمتری دارند، اما کاربرد بالقوه واقعیت افزوده را برای معلمان، مربیان و مربیان، ترمینال های هوشمند موبایل و حتی در حوزه پزشکی، با تمرکز بر تجسم برای پشتیبانی جراحی نشان می دهند. در مجموع، می توان نتیجه گرفت که اگرچه ممکن است محدودیت هایی در داده ها یا فناوری های موجود وجود داشته باشد، واقعیت افزوده به آرامی در حال پیشرفت است و حوزه های کاربردی بیشتری را نشان می دهد.
۵. کاربردهای یادگیری ماشین برای واقعیت افزوده
الگوریتم های مدرن یادگیری ماشین نقش کلیدی در توسعه برنامه های جدید AR ایفا می کنند. استفاده از تکنیک های یادگیری عمیق می تواند به غلبه بر چندین نقص رایج واقعیت افزوده مبتنی بر نشانگر و بدون نشانگر کمک کند. از طریق یادگیری عمیق، امکان دستیابی به شناسایی سریع تر و دقیق تر وجود دارد . شکل ۳ خط لوله یک برنامه واقعیت افزوده با شبکه عصبی مورد استفاده برای شناسایی اشیاء را نشان می دهد. پس از آنکه سیستم هوش مصنوعی از شبکه عصبی برای شناسایی اشیاء استفاده می کند، سیستم AR اطلاعات مرتبط با شیء شناسایی شده توسط کاربر را از پایگاه داده دریافت می کند. نمونه ای از چنین سیستمی، CMMS است که شامل دستورات کاری و روش های نگهداری می باشد. وقتی کاربر یک فرایند را کامل می کند، فرایند بعدی به صورت اطلاعات مجازی ارائه می شود.
شکل ۳.
پایپ لاین یک برنامه AR با شبکه عصبی مورد استفاده برای تشخیص شیء.
۵.۱. شناسایی و ردیابی اشیاء
برای فعال سازی خودکار برخی اقدامات در یک صحنه واقعیت افزوده، لازم است رویدادهای مرتبط را شناسایی کنید که ترجیحا به صورت خودکار رخ می دهد. انواع مختلفی از رویدادها می توانند استفاده شوند، مانند صداها یا اشیاء در صحنه. حضور اشیاء در میدان دید یکی از روش های ترجیحی است. در گذشته، یکی از رایج ترین راه حل ها برای غلبه بر این مشکل، استفاده از نشانگرهای مصنوعی یا فیدوشیال ها بود که در صحنه قرار می گرفتند. نشانگرها می توانند هر چیز منحصر به فرد یا نادری باشند، اما باید ساده باشند (مثلا یک کد QR) و باید در مکان مناسب قرار بگیرند تا در زمان مناسب در میدان دید دوربین ظاهر شوند.
واقعیت افزوده بدون برچسب که به عنوان واقعیت مبتنی بر مکان شناخته می شود، داده های مبتنی بر مکان را فراهم می کند که می توان آن ها را از طریق حسگرهایی مانند قطب نماهای دیجیتال، شتاب سنج، متر سرعت یا GPS ارائه داد. واقعیت افزوده مبتنی بر نشانگر اغلب کمتر پیچیده است و امکان راه حل های دقیق تر را فراهم می کند.
از آنجا که استفاده از نشانگرهای مصنوعی محدودیت عمده ای در استفاده از AR در محیط های صنعتی ایجاد می کند، باید اشیای هدف بر اساس ویژگی های طبیعی آن ها پیدا شوند . برای این منظور، می توان از قدرت شبکه های عصبی مصنوعی برای شناسایی اشیاء، ماشین ها یا هر جزء دیگری استفاده کرد. اولین نتایج با استفاده از الگوریتم های بینایی محاسباتی (CV) به دست آمد؛ با این حال، شبکه های CNN مدرن بسیار دقیق تر و پیاده سازی آسان تر از تکنیک های قدیمی CV هستند.
CV مدیریت ساخت سنتی را با فعال سازی شناسایی خودکار فعالیت، ردیابی اشیاء و پایش عملکرد تغییر داده است . پیشرفت های این تکنیک ها آن ها را برای کاربردهای AR بسیار مناسب کرده است، زیرا می توانند از تصاویر یا ویدئوهای ضبط شده توسط دوربین داخلی دستگاه AR برای ارائه عملکردهایی مانند ردیابی بصری و ثبت تصویر استفاده کنند.
در صنعت، بینایی ماشین به عنوان ابزاری برای پشتیبانی از کنترل کیفیت، شمارش اشیاء، شناسایی تجهیزات فرسوده و موارد دیگر استفاده می شود. در بازرسی های روتین، شناسایی و بازخورد نقص در زمان واقعی به بازرس ها با دستگاه های ساده شده ضبط تصویر ممکن می شود.
احمدیان و همکاران کاربرد AR را برای اندازه گیری کفش مجازی پیشنهاد دادند. در رویکرد آن ها، شبکه شناسایی پیش بینی هایی با دقت متوسط ۰.۵۹ انجام می دهد و خروجی مدل شامل اطلاعات شکل مانند ماسک بخش بندی است. با استفاده از گوشی سامسونگ S20، آشکارساز اشیاء روی GPU با نرخ ۲۶.۵ فریم بر ثانیه اجرا می شود، در حالی که ردیابی سه بعدی روی CPU با ۳۰ فریم بر ثانیه اجرا می شود.
۵.۲. تطبیق ویژگی تصویر و برآورد حالت
تکنیک های جدید مبتنی بر یادگیری عمیق نیز در تطبیق ویژگی ها به کار می روند. این تکنیک می تواند با واقعیت افزوده ترکیب شود و شامل شناسایی و ردیابی نقاط مورد علاقه در تصویری است که توسط دوربین گرفته شده است. تطابق دقیق ویژگی ها بین تصاویر دنیای واقعی و تصاویر مجازی برای اطمینان از تراز دقیق اشیاء مجازی ضروری است. سارلین و همکاران سیستمی به نام «LaMAR» را برای مقایسه و ارزیابی تکنیک ها و الگوریتم های مختلف مورد استفاده در مکان یابی و نگاشت در AR پیشنهاد دادند.
الگوریتم هایی مبتنی بر شبکه های عصبی کانولوشنی و شبکه های عصبی بازگشتی برای برآورد دقیق حالت در زمان واقعی استفاده شده اند. این روش شناسایی در دنیای واقعیت افزوده ضروری است، زیرا اجازه می دهد اشیاء مجازی به درستی روی محیط واقعی قرار گیرند. Konstantinidis و همکاران پروژه «MARMA» را ارائه دادند که از روش های تخمین حالت برای ردیابی و شناسایی اجزا و اشیای مرتبط جهت فرایندهای تعمیر در زمینه واقعیت افزوده (AR) استفاده می کند.
۵.۳. مدل های استفاده کننده از یادگیری عمیق
شبکه های عصبی عمیق در تشخیص اشیاء بسیار خوب عمل می کنند و کاربرد آن ها در حال تغییر نحوه عملکرد مدل های AR است. چندین اثر کلیدی در این بخش بررسی شده اند. به دلیل اهمیت آن ها برای عملکرد بلادرنگ، برنامه هایی که از YOLO و MobileNet استفاده می کنند به طور جداگانه بررسی می شوند.
۵.۳.۱. مدل هایی که از CNN استفاده می کنند
مورتزیس و همکاران چارچوبی برای تولید دستورالعمل ها با فناوری AR مبتنی بر شبکه های عصبی کانولوشنی (CNN) ارائه دادند. این معماری شامل سه ماژول است: (۱) ماژول شناسایی فضایی که مسئول تحلیل ماشین ابزار است و از طریق CNN، اجزایی که آن را تشکیل می دهند شناسایی می کند؛ (۲) ماژول CNN که مسئول شناسایی فضایی محیط فیزیکی تکنسین است؛ و (۳) ماژول تولید دستورالعمل AR که مسئول تولید دستورالعمل های AR است.
برای توسعه، هولولنز مایکروسافت همراه با رایانه دسکتاپ استفاده شد. برای ماژول AR، موتور بازی سه بعدی یونیتی همراه با کتابخانه MRTK و API وفوریا استفاده شد. این API برای امکان تولید و مشاهده صحنه های واقعیت افزوده استفاده می شد.
برای شروع فرآیند، ابتدا ویدئو توسط CNN پردازش می شود که تجهیزات را شناسایی می کند. پس از تکمیل این مرحله، تکنسین نتیجه شناسایی را اعتبارسنجی می کند، سپس ارتباط با ماژول سوم انجام می شود که دستورالعمل های AR را تولید می کند تا به عینک هایی که برای تکنسین قابل مشاهده می شوند ارسال شود. در آزمایش های مختلف انجام شده، همه تکنسین ها قادر به انجام وظایف بودند؛ اگرچه در برخی موارد به دلیل کمبود دانش و تجربه اعتماد به نفس نداشتند، همه دستورالعمل ها را دنبال کردند و موفق شدند وظایف را به پایان برسانند. در مورد زمان فرآیند، میانگین زمان جداسازی ۶۰ دقیقه بود که شامل آشنایی با ساختار نیز می شد. میانگین زمان برای یک تکنسین باتجربه حدود ۲۵ دقیقه بود. نویسندگان نتیجه گرفتند که برای توسعه موفق معماری پیشنهادی، لازم است یک خوشه محاسباتی، بهینه سازی معماری CNN و انجام آزمایش های جدید با همان چارچوب در یک زمینه واقعی انجام شود.
ژائو و همکاران معماری مشابهی برای کلاینت/سرور برای سیستم نگهداری که از Microsoft Hololens به عنوان پلتفرم سخت افزاری استفاده می کند و همچنین واقعیت افزوده و شناسایی از طریق هوش مصنوعی استفاده می کند، پیشنهاد کردند. معماری پیشنهادی آن ها به سه زیرسیستم تقسیم شده بود: (۱) یک زیرسیستم آموزشی هوش مصنوعی برای آموزش مجموعه داده؛ (۲) زیرسیستم مدیریت منابع برای مدیریت کاربران، مدل ها، مراحل نگهداری، ابزارهای نگهداری، ارائه صوتی و غیره؛ و (۳) زیرسیستم واقعیت افزوده شامل کنترل فرآیند، شناسایی هدف، شناسایی هدف، مونتاژ منابع و نمایشگر واقعیت افزوده تعاملی.
زیرسیستم آموزش هوش مصنوعی به دو بخش آموزش سمت کاربر و سمت سرور تقسیم شده بود. در سمت مشتری، مدل آموزشی برای انجام مستقیم عملیات شناسایی استفاده می شود که فشار محاسبات لحظه ای را به طور قابل توجهی کاهش داده و سیستم را سریع تر و پاسخگوتر می کند.
این مقاله سیستم نگهداری و القای برج کنترل از راه دور را پیشنهاد و مورد بحث قرار داد. یک الگوریتم آموزش داده شد و یک مدل شناسایی تولید گردید. منابعی مانند توصیف، نوع خطا و روش عیب یابی به طور یکنواخت مدیریت و به سیستم مدیریت منابع صادر می شدند و سپس توسط سیستم واقعیت افزوده دریافت می شدند که از عینک های واقعیت افزوده HoloLens مایکروسافت استفاده می کرد.
در سیستم پیشنهادی، عملکردهای مورد نظر به صورت مدل های گرافیکی و سه بعدی، شرح مراحل، اطلاعات هشدار و غیره توضیح داده و نمایش داده می شوند. کارهای نگهداری می توانند مراحل نصب، اشکال زدایی و جداسازی را بازپخش، متوقف و عقب ببرند.
نویسندگان نتیجه گرفتند که این سامانه کارایی نگهداری را بهبود بخشیده و فرآیند آموزش در زمینه تجهیزات پیچیده را به طور قابل توجهی بهبود بخشیده است که این امر در ارتقای سطح اطلاعات و توان رزمی ارتش اهمیت زیادی دارد.
لای و همکاران توسعه یک سیستم دستورالعمل مونتاژ مکانیکی مبتنی بر AR را ارائه دادند که هدف آن بهبود عملکرد کارگران است. یک آشکارساز ابزاری با استفاده از مدل سریع تر R-CNN که بر پایه مجموعه داده ابزار مصنوعی CAD آموزش دیده بود، توسعه یافت و توانست ابزارهای فیزیکی واقعی را با دقت متوسط ۸۴.۷٪ شناسایی کند. آزمایش های این سیستم روی مجموعه موتور دوکی نشان داد که سیستم زمان تکمیل مجموعه و تعداد خطاها را به ترتیب ۳۳.۲٪ و ۳۲.۴٪ کاهش می دهد.
ژنگ و همکاران چارچوبی برای ایجاد و مدیریت فرآیند مونتاژ کابل هواپیما بر اساس دستگاه AR پوشیدنی و شناسایی متن با استفاده از CNN توسعه دادند.
پارک و همکاران یک واقعیت افزوده سیار جدید مبتنی بر یادگیری عمیق پیشنهاد کردند تا امکان نگاشت فضایی سه بعدی بین اشیاء مجازی و واقعی را فراهم کند. رویکرد پیشنهادی آن ها می تواند مدل مجازی را برای تطبیق با موقعیت و حالت سه بعدی یک شیء واقعی تقویت کند. آن ها از ماسک R-CNN بر اساس نتایج هدف گیری نمونه ها استفاده کردند. روش پیشنهادی داده های ابر نقطه ای سه بعدی متناظر با هر شیء واقعی را از داده های ابر نقطه ای سه بعدی مبتنی بر عکس فوری استخراج می کند و سپس تطبیق بین مدل مجازی و شیء واقعی شناسایی شده را انجام می دهد. مدل مجازی به صورت فضایی با استفاده از موقعیت و حالت سه بعدی شیء واقعی نگاشت می شود. برای اثبات کاربرد پیشنهاد، برنامه هایی مانند کمک به وظیفه برای تعمیر و مونتاژ پیاده سازی شدند.
وانگ و همکاران الگوریتم یادگیری عمیق مبتنی بر دانش دو مرحله ای را ارائه دادند که امکان تشخیص خودکار آسیب در زمان واقعی با استفاده از عینک های هوشمند AR را فراهم می کند.
کاستی و همکاران نمونه اولیه نرم افزاری را توصیف کردند که برای شناسایی تصویر برای تجسم صحنه ها در یک سیستم واقعیت افزوده ساخته شده بود تا از نگهداری و کنترل خط تبدیل یک کارخانه تبدیل بافت از طریق ماژول هوش مصنوعی که پیشنهادات و دستورالعمل هایی به اپراتورها ارائه می دهد، پشتیبانی کند.
سان و همکاران یک سیستم واقعیت افزوده ارائه دادند که روش های پیشرفته یادگیری عمیق را برای برآورد دقیق حالت اشیاء ادغام می کند. آن ها نشان دادند که مدل پیشنهادی برآورد حالت دقت بهتری نسبت به سیستم های رایج AR دارد و در عین حال نیازهای عملکرد لحظه ای را برآورده می کند.
باستوس و همکاران مطالعه موردی ارائه دادند که در آن یک برنامه واقعیت افزوده برای بهینه سازی جریان کاری یک شرکت توسعه یافت. این برنامه برای کمک به برق کاران در انجام عملیات نگهداری از طریق شبکه عصبی ساخته شده با Tensorflow برای شناسایی مجدد استفاده می شد. آزمایش کنندگان آن را دارایی مهمی برای آموزش تازه واردان، برق کاران عمومی و سایر کارگرانی که قصد نگهداری بازگردان را دارند، می دانستند.
لی و همکاران رویکردی مبتنی بر یادگیری عمیق با کمک واقعیت افزوده را برای مقابله با سه چالش عمده مربوط به بازرسی کانکتور هواپیمایی با استفاده از معماری پیش آموزش دیده VGG-16 پیشنهاد دادند.
پرز و همکاران هدف داشتند کاربرد CNNها را برای شناسایی و مکان یابی خودکار نقص های کلیدی ساختمان ارزیابی کنند. مدل پیشنهادی بر اساس VGG-16 پیش آموزش دیده بود و با مدل های ResNet-50 و Inception مقایسه شده بود.
۵.۳.۲. یولو—شبکه یادگیری عمیق
YOLO (شما فقط یک بار نگاه می کنید) یک معماری CNN است که به خاطر عملکرد و سرعت فوق العاده اش شناخته می شود و آن را برای سیستم های واقعیت افزوده بلادرنگ مزیت محسوب می کند. مالتا و همکاران از معماری شبکه YOLOv5 استفاده کردند. یک مجموعه داده با مجموع ۹۰۰ تصویر ایجاد شد که از آن ها هشت کلاس شناسایی شد. این مدل بسیار سریع بود و مقادیر 0.012 ثانیه برای هر تصویر را در تصاویر آزمایشی به دست آورد و ثابت کرد که انتخاب بسیار خوبی برای شناسایی اشیاء در زمان واقعی است. مدل توانست دقت بالای ۹۶٪ و مقادیر mAP (۰.۵:۰.۹۵) بالاتر از ۷۹٪ را به دست آورد. پس از آزمایش شبکه عصبی، همان مطالعه معماری ای برای سیستم کمک به وظیفه جهت مدیریت و پردازش دستورات کاری روی CMMS پیشنهاد داد. دستورات کاری شامل توالی هایی از فرایندها بود که توسط تکنسین های نگهداری طبق دستورالعمل های ارائه شده توسط عینک های AR انجام می شد.
به همین ترتیب، ژی-هاو چنی مکانیزمی خودکار مبتنی بر YOLOv4 ارائه داد تا ترک های احتمالی در آزمایش غیرمخرب (NDT) موتورهای هواپیمای شهری را شناسایی کند. در مقاله آن ها ، تصاویر آموزش و آزمایش داده های وظایف از آرشیو بدنه هواپیماهای شهری و سوابق تعمیر موتور گرفته شده اند و نقص های مختلف این مجموعه داده دسته بندی شده اند. یک آزمایش ساده مدل های مختلف چارچوب Faster R-CNN (شبکه عصبی کانولوشنی مبتنی بر منطقه ای) و YOLOv4 را مقایسه کرد. اگرچه میانگین میانگین دقت (mAP) برای شبکه های دیگر کمی بالاتر بود، نرخ دقت YOLO کمی بالاتر از Fast R-CNN و امتیاز زیان Fast R-CNN بالاتر از Faster R-CNN بود. در مجموع، میانگین زمان های روش های یک مرحله ای بسیار کوتاه تر از روش های دو مرحله ای بود. YOLOv4 از نظر سرعت و دقت از سریع ترین آشکارسازها برتر بود. در آزمایش هایی که با YOLOv4 انجام شد، نویسندگان موفق شدند مقادیر mAP برابر با ۰.۷۲۲ و آشکارسازی ۰.۰۳۲۶ ثانیه به دست آورند. آن ها نتیجه گرفتند که این نتایج نشان می دهد سیستم پیشنهادی می تواند دقت و کارایی این نوع نگهداری را به طور قابل توجهی افزایش دهد.
برای ایجاد مدل تشخیص اشیاء دقیق تر برای واقعیت افزوده با استفاده از ارتباط بین پردازش یادگیری عمیق و Microsoft HoloLens، مرجع مطالعه ای با استفاده از چندین مدل شبکه YOLO پیشنهاد کرد. ارتباط بین شبکه و عینک ها به صورت تعامل کلاینت/سرور از طریق شبکه محلی سازماندهی می شد که قادر به انتقال همزمان پخش ویدئو و داده های ناشی از فرآیند شناسایی بود. از نظر سخت افزاری، دو کارت گرافیک نوع NVIDIA Quadro P4000 استفاده شد. در سمت سرور، یک کتابخانه دارک نت برای اجرای الگوریتم های YOLO استفاده می شد. در سمت کلاینت، عینک ها برای جمع آوری داده های ورودی و ارسال داده ها به سرور استفاده می شدند. وقتی سرور فریمی را که برای شناسایی اشیاء استفاده شده دریافت می کند، شبکه YOLO برای پردازش فریم دریافتی راه اندازی می شود. در این حالت، نتایج شامل حاشیه نویسی، جعبه محدودکننده و رنگ جعبه هر شیء شناسایی شده بود که احتمال تعلق یک شیء به یک کلاس خاص را در بر داشت. سرور این نتایج را به کاربر ارسال می کند تا کاربر بتواند تشخیص اشیاء حاصل را از طریق هولولن به طور کامل و به صورت لحظه ای مشاهده کند. این مطالعه از سه نسخه YOLO استفاده کرد: YOLOv1، YOLOv2 و YOLOv3. نتایج کارایی الگوریتم های YOLO را برای دقت متوسط اشیاء مختلف در یک دفتر نشان داد. YOLOv3 دقت بالایی بیش از ۹۰٪ برای کل اشیای شناسایی شده نشان داد. به همین ترتیب، دقت متوسط حدود ۹۶٪ بود. YOLOv1 و YOLOv2 به ۸۰٪ نرسیدند. در پایان، این رویکرد برای شناسایی و شناسایی اشیاء از طریق HoloLens نتایج بسیار خوبی در تشخیص ارائه می دهد. در نویسندگان یک سیستم واقعیت افزوده را توصیف کردند که امکان موجودی، بازیابی اطلاعات و به روزرسانی اطلاعات را مستقیما در محل فراهم می کند. رویکرد آن ها از YOLOv2 کوچک که با داده های COCO آموزش دیده بود استفاده کرد و مقدار mAP برابر با ۶۲.۸۱٪ به دست آوردند.
۵.۳.۳. موبایل نت—شبکه یادگیری عمیق
استرادا و همکاران یک اپلیکیشن گوشی هوشمند طراحی کردند تا بستری آموزشی برای آموزش دانش آموزان درباره استفاده از تجهیزات آزمایشگاه الکتریکی ایجاد کنند. آن ها شبکه عصبی MobileNet-SSD v2 و فناوری AR را ترکیب کردند. با استفاده از این شبکه، میانگین دقت شناسایی ۸۱.۴٪ و میانگین یادآوری مدل ۸۵.۳٪ بود. علاوه بر این، آن ها یک آموزش مولتی متر توسعه دادند که در آن مدل های مجازی روی مولتی مترهای واقعی قرار می گرفتند. موتور بازی سه بعدی یونیتی به عنوان ابزار اصلی توسعه این آموزش استفاده شد که فریم ورک های یادگیری عمیق (DL) و AR را برای خلق سناریوهای فراگیر ترکیب کرد.
یک برنامه AR دیگر در پیاده سازی شد تا برد برد را شناسایی کند و به دانش آموزان نحوه ساخت مدار را آموزش دهد. سیستم یک نمودار مدار را برای نمادهای مدار و اتصالات آن ها اسکن می کرد. این اجزا سپس با استفاده از موبایل نت تنظیم شدند و دقت بیش از ۹۲٪ را فراهم کردند. دانش آموزان می توانند از این برنامه به عنوان یک آموزش راهنما برای ساخت مدارهای واقعی استفاده کنند.
۶. مزایا و معایب واقعیت افزوده با استفاده از الگوریتم های یادگیری عمیق
با وجود پیشرفت های امیدوارکننده ای که پیش تر بحث شد، استفاده از ترکیب واقعیت افزوده و فناوری های یادگیری عمیق معایب مرتبطی دارد. در حالی که پیشرفت های زیادی که انجام شده با هدف ساده سازی و بهبود زندگی روزمره کارگران انجام می شود، همیشه نکات اضافی برای بحث و احتمالا بهبود وجود دارد. از جمله جنبه های منفی بالقوه می توان به تنوع بسیار زیاد اشیاء در محیط های تولید اشاره کرد که ممکن است شناسایی و ردیابی آن ها در زمان واقعی دشوار باشد . نویز ممکن است با سیستم های کنترل شده با صدا تداخل ایجاد کند، در حالی که مشکلات روشنایی یا انسداد ممکن است شناسایی اشیاء را دشوار کند. در زمینه یادگیری عمیق، جمع آوری داده ها زمان بر و منابع بر است. این مسائل و سایر مشکلات در حال حاضر موضوع تحقیقات فشرده و مداوم هستند.
با این حال، آثار منتشرشده نیز فواید زیادی را نشان داده اند. کیونگ-بوم و همکاران روشی هوشمندانه برای کمک به وظیفه پیشنهاد دادند که تشخیص اشیاء و بخش بندی نمونه ها را با فناوری AR پوشیدنی ترکیب می کند تا راهنمایی بصری مؤثرتری با بار شناختی کمتر ارائه دهد. آن ها دو مطالعه کاربری انجام دادند تا وظایف عملی مورد استفاده در تولید واقعی مانند تطبیق اشیاء، بازرسی و نگهداری را ارزیابی کنند. نویسندگان اظهار داشتند که روش پیشنهادی قادر است بار شناختی را به طور مؤثری کاهش داده و عملکرد بهتری برای وظایف فراهم کند. آن ها چندین برنامه را بر اساس رویکرد پیشنهادی AR پیاده سازی کردند که اثربخشی آن را بیشتر تأیید کرد.
Etonam و همکاران مروری بر مزایای بالقوه پذیرش سیستم های واقعیت افزوده در صنعت تولید، از جمله صرفه جویی در زمان، کاهش هزینه ها و کاهش محصولات معیوب ارائه دادند.
جدول ۲ مطالعات مطرح شده در بالا و نتایج پژوهش های قبلی مربوط به استفاده از شبکه های عصبی و AR برای وظایف نگهداری را خلاصه می کند.
جدول ۲.
خلاصه ای از کاربردهای شبکه های عصبی و واقعیت افزوده در زمینه های نگهداری.
شبکه برخی نتایج سخت افزار مشکل
سی ان ان وظیفه جداسازی
۶۰ دقیقه بود مایکروسافت هولولنز
کامپیوتر شخصی—Intel i7، ۱۶ گیگابایت
رم و ۸ گیگابایت کارت گرافیک مونتاژ و جداسازی
اتاق های احتراق
سی ان ان نگهداری بهبود یافته
کارایی و اثربخشی. مایکروسافت هولولنز برج کنترل از راه دور
نگهداری و
سیستم القایی
YOLOv1 mAP سیستم: 71.44
و FPS: 4.2 مایکروسافت هولولنز
۲ انویدیا کوادرو
کارت گرافیک نوع P4000 شناسایی اشیاء
YOLOv2 سیستم mAP: 79.74
و FPS: 4.6
YOLOv3 سیستم mAP: 96.28
و FPS: ۵
YOLOv4 سیستم mAP: 72.2
و FPS: 30.6 GPU معمولی
انویدیا جتسون TX2 شناسایی پتانسیل
ترک ها در آئروژین
YOLOv5 سیستم mAP: 79.7
و FPS: 83.3 تسلا v100 شناسایی موتور خودرو
بخش ها [۷۶]
موبایل نت V2 تصاویر آزمایشی:
mAP: ۰.۸۱
FPS سامسونگ: ۸.۵
نرخ فریم وان پلاس: ۵.۵ اندروید پلاتافورم ها پلتفرم برای
آموزش نحوه
از برق استفاده کنید
تجهیزات
موبایل نت مجموعه داده با
۱۵ کلاس
تمرین mAP: ۹۲.۰ اندروید پلاتافورم ها تصویرسازی واقعیت افزوده
مدار مورد انتظار روی یک
برد برد
ماسک R-CNN
ResNet101 – مایکروسافت هولولنز
انویدیا جی فورس
GTX 1080 Ti (۱۱ گیگابایت) وظیفه
کمک ها
R-CNN سریع تر کشف در پنج
ابزارهای واقعی: mAP: 84.7 نمایشگر واقعیت افزوده
انویدیا GTX
کارت گرافیک ۱۰۸۰ Ti مکانیک
مونتاژ
دستورالعمل
VGG-8 مجموعه داده: ۷۲۹۰ نمونه
رویکرد پیشنهادی:
mAP: ۸۵.۶۹ پوشیدنی
دستگاه AR مدیریت
کابل هواپیما
فرآیند مونتاژ
SSD
موبایل نت وظیفه: تشخیص آسیب
mAP در ۱۲۰
تصاویر آزمایشی: ۹۱.۶۷ اپسون BT-300 فعال سازی خودکار
تشخیص آسیب
در زمان واقعی
رمزگذار–رمزگشا
CNN-ResNet18 حالت پیشنهادی
برآورد
مدل به دست آمد
دقت بهتر از
روش های رقابتی مایکروسافت هولولنز
کارت گرافیک Nvidia Titan X
(۱۲ گیگابایت) بهبود اینترنت اشیا و واقعیت افزوده
با انتگرال گیری
DL با AR
عصبی
شبکه – ریل ویر HMT-1 بهینه سازی
جریان کار
ترکیب FPN
و BiLSTM آزمایش ها در تشخیص پین
mAP: ۹۹.۰۰ عینک AR و دو تا
GPUها (RTX 2080) سه وظیفه در
اتصال دهنده هوانوردی
بازرسی
بر اساس پیش آموزش دیده
VGG-16 دقت کلی آزمایش:
87.50 – شناسایی و
موضعی سازی کلید
نقص های ساختمانی
در یک تب جدید باز کنید
۷. بحث و دیدگاه ها
واقعیت افزوده فناوری ای است که محدودیت هایی داشته و همچنان دارد. محدودیت های فعلی شامل تکنیک های ردیابی است که اغلب نیازمند کامپیوتر هستند و صددرصد دقیق نیستند، همچنین استفاده از HMDها یا نمایشگرهای قابل حمل دیگر. در حالی که HMDها تجربه واقعی تری ارائه می دهند، اما وزنه سنگینی هستند که باید روی سر حمل شوند. سطح تعامل و رابط های کاربری مشکلات اضافی هستند که باید به آن ها پرداخته شود. تعامل با دستگاه های AR به حرکات و صداهای خاصی بستگی دارد که در محیط های صنعتی به راحتی قابل اشتباه گرفتن هستند. مشکل دیگر این است که مشکلات بینایی ماشین مانند مکان یابی و شناسایی اشیاء نیازمند رویکردهای کارآمدتری هستند. همان طور که مطالعات اخیر درباره وضعیت فناوری یادگیری عمیق نشان داده اند، نتایج بسیار بهبود یافته از نظر کلیت و دقت به قیمت عملکرد بالای مورد نیاز برای محاسبات همراه است. بهبود عملکرد برای یافتن اشیاء کوچک یا امکان بهره برداری در محیط های بسیار پیچیده لازم است. واقعیت افزوده فناوری ای است که قابلیت استفاده همراه با سایر فناوری ها را دارد و ترکیب آن با یادگیری عمیق یکی از قدرتمندترین و موفق ترین رویکردها برای شناسایی و طبقه بندی اشیاء را نشان می دهد که کاربردها و تجربیات AR را به طور چشمگیری بهبود می بخشد.
جدول ۲ تعدادی از برنامه هایی را فهرست می کند که AR و یادگیری عمیق را ترکیب می کنند تا نتایج بهتری در نگهداری به دست آورند. تأثیر مثبت استفاده از فناوری واقعیت افزوده برای بهبود نتایج برنامه های کمک نگهداری قابل مشاهده است. DL و AR برنامه های هوشمند بلادرنگ، تعاملی، کاربرمحور و کاربرپسند ارائه می دهند که تمرکز آن ها بر ارتقای کیفیت تجربه و خدمات برای کاربران نهایی است.
چندین مطالعه، مانند پیشرفت های اخیر در اینترنت اشیا (IoT) را بررسی کرده اند. حجم بالای داده های تولید شده توسط دستگاه های اینترنت اشیا نیازمند روش های تحلیل و پردازش هوشمند بیشتری از جمله یادگیری عمیق است. در ، نصرت آبادی و همکاران مروری بر وضعیت فناوری در یادگیری عمیق و یادگیری ماشین برای شهرهای هوشمند انجام دادند. سلامت الکترونیک یکی دیگر از حوزه های رو به رشد است و بسیاری حوزه های دیگر.
از طریق تشخیص اشیاء، پردازش تصویر و بینایی ماشین، امکان افزایش و بهبود کارایی و اثربخشی AR و توسعه برنامه های تعاملی تر و هوشمندانه تر وجود دارد. در انگلرت و همکاران به چندین مطالعه اخیر اشاره کردند که در آن ها CNNها برای انجام وظایف بینایی ماشین که می توانستند در سناریوهای AR به کار روند، استفاده شده اند.
مسئله نهایی این است که نسبت به روش های سنتی مشکلاتی در صرفه جویی هزینه وجود دارد. توسعه یک سیستم واقعیت افزوده شامل انتخاب سخت افزار و همچنین توسعه نرم افزار است که معمولا شامل الگوریتم ها و جریان های داده سفارشی می شود. این انتخاب ها به دلیل تنوع گسترده خدمات و گزینه های موجود چالش برانگیز هستند که منجر به پراکندگی و فرآیندهای توسعه متفاوت و تجربه کاربری متفاوت می شود. با این حال، چشم انداز آینده استفاده از AR در یادگیری، آموزش و بهینه سازی مشاغل صنعتی و همچنین در سایر حوزه ها بسیار بالا است. فناوری ها و روش های جدید پتانسیل عظیمی دارند و علاقه به واقعیت افزوده و کاربردهای بالقوه آن رو به افزایش است، همان طور که جدول ۲ شامل چهار مقاله از سال ۲۰۱۹، شش مقاله از ۲۰۲۰، سه مقاله از ۲۰۲۱ و دو مقاله از ۲۰۲۲ را نشان می دهد.
۸. نتیجه گیری ها و کارهای آینده
واقعیت افزوده به دلیل سهولت اتصال محیط فیزیکی به محتوای مجازی، به یکی از امیدبخش ترین فناوری ها در زمینه نگهداری تبدیل شده است.
ما چندین مقاله را تحلیل کردیم که سناریوهای متنوعی را برای استفاده از AR برای کمک به کارهای نگهداری پیشنهاد می کردند. از بررسی ما مشخص است که این فناوری می تواند به تکنسین ها، مهندسان، اپراتورها و غیره در انجام وظایف مختلف نگهداری از جمله یادگیری، کمک، پشتیبانی از راه دور، بازرسی و موارد دیگر کمک کند. پتانسیل این فناوری زمانی بیشتر می شود که با تکنیک های یادگیری عمیق برای تشخیص اشیاء ترکیب شود، که تمرکز اصلی این مقاله است. باید به خاطر داشت که برای استفاده عملی از این سیستم ها، انجام مطالعات و تحلیل های زیست محیطی و شخصی ضروری است تا استفاده از آن ها تا حد امکان بهینه شود.
علاوه بر پیشنهادات شرح داده شده در اینجا، بسیاری دیگر در همین حوزه مطالعه نیز به همان اندازه در درک آینده واقعیت افزوده و آموزش شبکه های عصبی برای شناسایی و مکان یابی اشیاء اهمیت دارند.
این مقاله در چندین حوزه مشارکت داشته است. ما تکنیک های پیشرفته یادگیری ماشین را همراه با کاربردهای جدید و موجود واقعیت افزوده بررسی کرده ایم تا به تکنسین های نگهداری کمک کنیم و در عین حال ایمنی و کارایی را افزایش دهیم.
کارهای آینده ما شامل پژوهش های بیشتر در زمینه انسداد اشیاء و سخت افزار واقعیت افزوده خواهد بود.
PMCID: PMC10381749 PMID: 37504819
اختصارات
اختصارات زیر در این نسخه خطی به کار رفته اند:
API رابط برنامه نویسی کاربردی
AR واقعیت افزوده
آرمار واقعیت افزوده برای نگهداری و تعمیر
بی ام و جنبش موتورن بایریش
CAD طراحی به کمک کامپیوتر
CMMS مدیریت نگهداری رایانه ای
سی ان ان شبکه عصبی کانولوشنی
کوکو اشیاء رایج در زمینه
CPU واحد پردازش مرکزی
CV بینایی کامپیوتری
دی ال یادگیری عمیق
میدان دید میدان دید
GPS سامانه موقعیت یابی جهانی
GPU واحدهای پردازش گرافیک
HMD دستگاه نصب شده روی سر
HUD نمایشگر سربالا
HWD نمایش سر پوشانده شده
اینترنت اشیاء اینترنت اشیا
کارما واقعیت افزوده مبتنی بر دانش برای کمک به نگهداری
LCD نمایش کریستال مایع
نقشه میانگین دقت متوسط
MR واقعیت ترکیبی
MRTK کیت ابزار واقعیت ترکیبی
MTTR زمان متوسط برای تعمیر
ناسا سازمان ملی هوانوردی و فضایی
پی سی رایانه شخصی
QR پاسخ های سریع
جمهوری خواه-سی ان ان شبکه های عصبی کانولوشنی مبتنی بر منطقه
SLR مرور نظام مند ادبیات
تفنگداران دریایی ایالات متحده سپاه تفنگداران دریایی ایالات متحده
VR واقعیت مجازی
YOLO فقط یک بار نگاه می کنی
مشارکت نویسندگان
مفهوم سازی، تی.اف. و م.م.؛ روش شناسی، A.M.، T.F. و M.M.؛ نرم افزار، A.M.؛ اعتبارسنجی، T.F. و M.M.؛ تحلیل صوری، T.F. و M.M.؛ تحقیقات، A.M.؛ نوشتن—آماده سازی پیش نویس اصلی، A.M.؛ نویسندگی—نقد و ویرایش، تی.اف. و م.م.؛ تصویرسازی، A.M. و M.M.؛ نظارت، T.F. و M.M. همه نویسندگان نسخه منتشرشده دست نوشته را خوانده و با آن موافقت کرده اند
