توسط دیوید بردلی ، 12 آوریل 2021
استفاده از ماژول های پردازش کوچک می تواند هزینه های اضافی سیستم های محاسباتی را که منابع محدودی در دسترس دارند ، کاهش دهد ، در حالی که داده های زیادی باید پردازش شوند. تحقیقات یک تیم در یونان که در مجله بین المللی مهندسی و فناوری وب توضیح داده شده نشان می دهد که چگونه می توان از این روش برای تجمیع محتوا ، استخراج اطلاعات ، برچسب گذاری نظرات و کارهای تجسمی استفاده کرد.
Iraklis Varlamis و Dimitrios Michail از گروه انفورماتیک و ارتباطات از راه دور در دانشگاه هاروکوپیو آتن و پاولوس Polydoras و Panagiotis Tsantilas از Palo Ltd در Kokkoni ، یونان ، نشان داده اند که چگونه این رویکرد مدولار می تواند به خوبی در شبکه های اجتماعی و پایگاه تحلیلی خبری PaloAnalytics عمل کند. این تیم نشان می دهد که چگونه معماری پیشنهادی آنها می تواند به راحتی در برابر فشارهای افزایش یافته محتوا ، هنگامی که یک موضوع در رسانه های اجتماعی شایع می شود ، مانند زمانی که یک رویداد مهم اتفاق می افتد ، مقاومت کند. ماژول های میکرو که جایگزین معماری یکپارچه سیستم های متداول پردازش داده می شوند ، هنگامی که بار محتوا به جریان طبیعی خود می رسد ، می توانند به سرعت منابع استفاده نشده را آزاد کنند.
محققان اشاره کردند که حتی از همان روزهای اولیه وب ابتدایی که پایه و اساس موتورهای جستجو و سایر ابزارهای مرتبط شد ، تشخیص داده شد که پردازش توزیع شده تنها راه مناسب برای تعدیل مقادیر زیادی از داده های متنی است . امروزه مقیاس تقریباً غیر قابل تصور است که داده های پتابایتی زیادی قابل جمع آوری ، تجمیع ، پردازش ، نمایه سازی و حاشیه نویسی هستند. قلمروهای وسیع وب و سیستم های رسانه های اجتماعی خوبی را در اختیار ما قرار می دهد تا در صورت ساخت ابزارهایی برای کنار آمدن با بیت ها و بایت ها ، از اطلاعات و دانش استفاده شود.
آزمایشات این تیم تاکنون بر اساس تجزیه و تحلیل 1500 وب سایت ، 10000 وبلاگ ، انجمن ، صدها هزار صفحه عمومی در فیس بوک ، اینستاگرام ، توییتر و به روزرسانی های YouTube ، در شش کشور اروپایی و به شش زبان مختلف انجام شده است. کار آنها نشان می دهد که در کجا می توان برای ساختن یک ابزار تحلیلی قدرتمند که قابل توسعه باشد و به ما اجازه دهد به زودی از گسترش دانش عظیم را به طور موثر و به روشی موثر استخراج کنیم.
