29 نوامبر 2021توسط Ingrid Fadelli، Tech Xplore اعتبار: پاپالامپیدی، کلر و لاپاتا.
مروری بر معماری ایجاد شده توسط محققان. دو شبکه نماهای متفاوتی از فیلم را با درجات مختلفی از جزئیات پردازش می کنند. شبکه مبتنی بر ویدیو به عنوان ورودی، نمایش‌های ریز دانه چندوجهی را بر اساس جریان ویدیوی فیلم دریافت می‌کند. شبکه مبتنی بر فیلمنامه، بازنمایی صحنه های متنی را پردازش می کند که درشت دانه هستند و بر اساس فیلمنامه فیلم هستند. شبکه‌ها به طور مشترک در مورد شناسایی TP آموزش داده می‌شوند که پیش‌بینی و نمایش سازگاری بین آنها را اعمال می‌کنند.
تریلرها، کلیپ‌های ویدیویی کوتاهی که فیلم‌های جدید را معرفی می‌کنند، اغلب عناصر مهمی در استراتژی‌های تبلیغاتی هستند که توسط شرکت‌های تولید فیلم استفاده می‌شود. تریلرها برای تاثیرگذاری بیشتر باید خلاصه داستان فیلم را به طور خلاصه بیان کنند و سبک هنری و حال و هوای کلی آن را به شیوه‌هایی جذاب نشان دهند.تاکنون تریلرهای فیلم عمدتاً توسط انسان ساخته شده است. با این حال، اخیراً برخی از دانشمندان رایانه شروع به بررسی این امکان کردند که این کلیپ های تبلیغاتی نیز به طور خودکار توسط ماشین ها تولید شوند.
محققان دانشگاه ادینبورگ یک مدل مبتنی بر شبکه عصبی مصنوعی ایجاد کردند که می تواند به طور خودکار تریلر فیلم تولید کند. این مدل که در مقاله ای از پیش منتشر شده در arXiv ارائه شده است، بر اساس یک الگوریتم یادگیری ماشینی مبتنی بر نمودار بدون نظارت است.
برای مقابله با تولید خودکار تریلر فیلم، محققان آن را به دو وظیفه فرعی، یعنی شناسایی ساختار روایی فیلم و پیش‌بینی احساس (یعنی خلق و خو و احساس) که توسط آن منتقل می‌شود، تجزیه کردند. بنابراین، تکنیکی که آنها ایجاد کردند، هر دو بخش فیلم (یعنی ویدیوها) و عصاره متن از فیلمنامه یک فیلم را پردازش می کند.
پینلوپی پاپالامیدی، فرانک کلر و میرلا لاپاتا، سه محققی که این مطالعه را انجام دادند، در مقاله خود نوشتند: ما فیلم‌ها را به‌عنوان نمودار مدل‌سازی می‌کنیم، جایی که گره‌ها شات هستند و لبه‌ها روابط معنایی بین آنها را نشان می‌دهند. ما این روابط را با استفاده از آموزش متضاد مشترک، که از اطلاعات متنی ممتاز (مانند شخصیت‌ها، کنش‌ها، موقعیت‌ها) از فیلمنامه‌ها استفاده می‌کند، یاد می‌گیریم. سپس یک الگوریتم بدون نظارت نمودار را طی می‌کند و تریلر تولید می‌کند.
اساساً روش تولید تریلر فیلم که آنها ایجاد کردند از دو شبکه عصبی تشکیل شده است. در حالی که یکی از این شبکه‌ها بازنمایی‌های چندوجهی گرفته‌شده از جریان ویدئویی فیلم را پردازش می‌کند، دیگری بازنمایی صحنه‌های متنی را که بر اساس فیلمنامه فیلم است، تحلیل می‌کند.
این دو شبکه عصبی با هم می توانند نقاط عطف فیلم را شناسایی کنند، قسمت هایی از فیلم که به ویژه برجسته هستند و باید در تریلرها نمایش داده شوند. نقاط عطف در فیلم ها معمولاً شامل یک فرصت، تغییر نقشه، نقطه بی بازگشت، یک شکست بزرگ و یک نقطه اوج است.
پاپالامپیدی، کلر و لاپاتا تکنیک خود را برای تولید تریلر فیلم در یک سری آزمایش ارزیابی کردند. به طور قابل‌توجهی، آنها دریافتند که می‌تواند نقاط عطف فیلم‌ها را با دقت بسیار بیشتری نسبت به سایر روش‌های پایه برای تولید تریلر فیلم شناسایی کند.
علاوه بر این، محققان از مدل خود برای ساخت تریلر برای 41 فیلم مختلف استفاده کردند. آنها سپس کیفیت تریلرهای تولید شده را با تریلرهای تولید شده توسط تکنیک‌های آموزش‌دیده با یادگیری نظارت شده با پرسیدن از بینندگان انسانی استخدام‌شده در Amazon Mechanical Turk (AMT) مقایسه کردند. جالب توجه است که اکثر پاسخ دهندگان تریلرهای ایجاد شده توسط تکنیک خود را به تریلرهای تولید شده توسط مدل های نظارت شده ترجیح دادند.
در حالی که مدل ایجاد شده توسط Papalampidi، Keller و Lapata ممکن است هنوز تریلرهای کاملی ایجاد نکند، در نهایت می تواند توسط شرکت های تولید فیلم برای تسهیل و سرعت بخشیدن به تولید تریلرها استفاده شود. در همین حال، تیم قصد دارد به کار بر روی تکنیک خود ادامه دهد تا کیفیت تریلرهای تولیدی خود را بیشتر بهبود بخشد.
