طراحی ابزارهایی برای شناسایی خودکار بلایای طبیعی با استفاده از تصاویر در رسانه های اجتماعی

28 ژوئن 2023 -توسط Universitat Oberta de Catalunya-اعتبار: Unsplash/CC0 دامنه عمومی

یک تیم تحقیقاتی بین المللی یک سیستم یادگیری عمیق طراحی کرده اند که قادر است بلایای طبیعی را با استفاده از تصاویر منتشر شده در رسانه های اجتماعی شناسایی کند. محققان از ابزارهای بینایی کامپیوتری استفاده کردند که پس از آموزش با استفاده از 1.7 میلیون عکس، توانایی تجزیه و تحلیل، فیلتر کردن و شناسایی بلایای واقعی را دارند. این مقاله در مجله IEEE Transactions on Pattern Analysis and Machine Intelligence منتشر شده است.

یکی از محققان این پروژه، به رهبری موسسه فناوری ماساچوست (MIT)، آگاتا لاپدریزا، رهبر گروه تحقیقاتی AIWELL متخصص در هوش مصنوعی برای رفاه انسان، وابسته به مرکز سلامت الکترونیک و عضوی از دانشکده علوم کامپیوتر، چند رسانه ای و مخابرات در دانشگاه اوبرتا د کاتالونیا (UOC)است.

با افزایش گرمایش جهانی، بلایای طبیعی مانند سیل، گردباد و آتش‌سوزی جنگل‌ها بیشتر و ویران‌کننده‌تر می‌شوند. از آنجایی که هنوز هیچ ابزاری برای پیش‌بینی مکان یا زمان وقوع چنین حوادثی وجود ندارد، بسیار مهم است که خدمات اضطراری و آژانس‌های همکاری بین‌المللی بتوانند به سرعت و به طور موثر برای نجات جان افراد واکنش نشان دهند. لاپدریزا توضیح داد: “خوشبختانه، فناوری می تواند نقش کلیدی در این شرایط ایفا کند. پست های رسانه های اجتماعی می توانند به عنوان یک منبع داده با تاخیر کم برای درک پیشرفت و عواقب یک فاجعه مورد استفاده قرار گیرند.”

تحقیقات قبلی بر تجزیه و تحلیل پست های متنی متمرکز بود، اما این تحقیق فراتر رفت. لاپدریزا در طول اقامت خود در آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT، به توسعه طبقه بندی حوادث و پایگاه داده ای که برای آموزش مدل های یادگیری عمیق استفاده می شود، کمک کرد و آزمایش هایی را برای تأیید این فناوری انجام داد.

محققان فهرستی با 43 دسته از حوادث، از جمله بلایای طبیعی (بهمن، طوفان شن، زلزله، فوران های آتشفشانی، خشکسالی و غیره) و همچنین حوادثی که شامل برخی عناصر مداخله انسانی (سقوط هواپیما، حوادث ساختمانی و غیره) می شود، ایجاد کردند. این فهرست، همراه با 49 دسته مکان، محققان را قادر می سازد تا تصاویر مورد استفاده برای آموزش سیستم را برچسب گذاری کنند.

نویسندگان یک پایگاه داده به نام Incidents1M با 1787154 تصویر ایجاد کردند که سپس برای آموزش مدل تشخیص حادثه استفاده شد. از بین این تصاویر، 977088 حداقل دارای یک برچسب مثبت بودند که آنها را به یکی از طبقه بندی های حادثه مرتبط می کرد، در حالی که 810066 دارای برچسب های کلاس منفی بودند. در همین حال، برای دسته‌های مکان، 764124 تصویر دارای برچسب کلاس مثبت و 1،023،030 عکس دارای کلاس منفی بودند.

این برچسب‌های منفی به این معنی بود که سیستم می‌تواند برای حذف موارد مثبت کاذب آموزش داده شود. به عنوان مثال، عکس یک شومینه به معنای آتش گرفتن خانه نیست، حتی اگر شباهت های بصری داشته باشد. هنگامی که پایگاه داده ساخته شد، تیم مدلی را برای تشخیص حوادث بر اساس یک الگوی یادگیری چند وظیفه ای و با استفاده از یک شبکه عصبی کانولوشنال (CNN) آموزش دادند.

هنگامی که مدل یادگیری عمیق برای تشخیص حوادث در تصاویر آموزش داده شد، تیم آزمایش های مختلفی را برای آزمایش آن انجام داد، این بار با استفاده از حجم عظیمی از تصاویر دانلود شده از رسانه های اجتماعی، از جمله فلیکر و توییتر. لاپدریزا گفت: «مدل ما توانست از این تصاویر برای شناسایی حوادث استفاده کند و ما بررسی کردیم که آنها با حوادث ثبت شده خاص، مانند زلزله 2015 در نپال و شیلی مطابقت دارند.

با استفاده از داده های واقعی، نویسندگان پتانسیل ابزاری مبتنی بر یادگیری عمیق را برای به دست آوردن اطلاعات از رسانه های اجتماعی در مورد بلایای طبیعی و حوادثی که نیاز به کمک های بشردوستانه دارند، نشان دادند. او گفت: «این به سازمان‌های کمک‌های بشردوستانه کمک می‌کند تا به طور مؤثرتر بفهمند که در طول بلایا چه اتفاقی می‌افتد و نحوه مدیریت کمک‌های بشردوستانه در صورت نیاز را بهبود بخشند.

پس از این دستاورد، چالش بعدی می تواند به عنوان مثال استفاده از همان تصاویر سیل، آتش سوزی یا سایر حوادث برای تعیین خودکار جدی بودن حوادث یا حتی نظارت موثرتر آنها در طول زمان باشد. نویسندگان همچنین پیشنهاد کردند که جامعه علمی می تواند این تحقیق را با ترکیب تجزیه و تحلیل تصاویر با متن همراه دنبال کند تا امکان طبقه بندی دقیق تری فراهم شود.