7 سپتامبر 2023 -توسط دانشگاه فلوریدا جنوبی -اعتبار: CC0 دامنه عمومی
بر اساس مطالعه جدیدی که توسط استادیار دانشگاه فلوریدای جنوبی انجام شده است، حتی متخصصان زبان شناسی نیز تا حد زیادی قادر به تشخیص تفاوت بین نوشتار ایجاد شده توسط هوش مصنوعی یا انسان نیستند.
تحقیقاتی که به تازگی در مجله Research Methods in Applied Linguistics منتشر شده است نشان می‌دهد که کارشناسان مجلات زبان‌شناسی برتر جهان در کمتر از 39 درصد مواقع می‌توانند بین چکیده‌های هوش مصنوعی و انسانی تفاوت قائل شوند.
متیو کسلر، محقق گروه زبان های جهان در USF گفت: “ما فکر کردیم اگر کسی می‌تواند نوشته‌های تولید شده توسط انسان را شناسایی کند، باید افرادی در زبان‌شناسی باشند که کار خود را صرف مطالعه الگوهای زبان و سایر جنبه‌های ارتباط انسانی کرده‌اند.”
کسلر با همکاری J. Elliott Casal، استادیار زبان‌شناسی کاربردی در دانشگاه ممفیس، 72 متخصص زبان‌شناسی را به بررسی انواع چکیده‌های تحقیقاتی برای تعیین اینکه آیا آنها توسط هوش مصنوعی نوشته شده‌اند یا انسان‌ها، موظف شد.
از هر متخصص خواسته شد تا چهار نمونه نوشتاری را بررسی کند. هیچ‌کدام به درستی هر چهار مورد را شناسایی نکردند، در حالی که 13 درصد همه آنها را اشتباه گرفتند. کسلر به این نتیجه رسید که بر اساس یافته‌ها، اساتید نمی‌توانند بین نوشته یا نوشته‌های خود دانش‌جویان که توسط یک مدل زبان مبتنی بر هوش مصنوعی مانند ChatGPT تولید می‌شود، بدون کمک نرم‌افزاری که هنوز توسعه نیافته است، تمایز قائل شوند.
علیرغم تلاش کارشناسان برای استفاده از دلایل منطقی برای قضاوت در مورد نمونه های نوشتاری در این مطالعه، مانند شناسایی برخی ویژگی های زبانی و سبکی، آنها تا حد زیادی با نرخ شناسایی مثبت کلی 38.9 درصد ناموفق بودند.
کسلر می‌گوید: جالب‌تر این بود که از آنها پرسیدیم چرا تصمیم گرفتند چیزی توسط هوش مصنوعی یا یک انسان نوشته شده است. آنها دلایل بسیار منطقی داشتند، اما بارها و بارها، دقیق و سازگار نبودند.»
بر این اساس، کسلر و کاسال به این نتیجه رسیدند که ChatGPT می تواند ژانرهای کوتاه را به خوبی بیشتر انسان ها بنویسد، اگر در برخی موارد بهتر نباشد، با توجه به اینکه هوش مصنوعی معمولاً اشتباهات گرامری را انجام نمی دهد.
کسلر می‌گوید: «برای متون طولانی‌تر، هوش مصنوعی به عنوان توهم و ایجاد محتوا شناخته شده است، که تشخیص این که توسط هوش مصنوعی تولید شده است را آسان‌تر می‌کند.
کسلر امیدوار است که این مطالعه منجر به گفتگوی بزرگتر برای ایجاد اصول اخلاقی و دستورالعمل های لازم در مورد استفاده از هوش مصنوعی در تحقیق و آموزش شود.
