افزایش کیفیت پاسخ‌های ChatGPT با ادبیات صریح و مستقیم

به گزارش سیلاد، این پژوهش که نتایج آن توسط پایگاه Digital Trends منتشر شده، واکنش‌های متفاوتی را در مورد قابلیت هوش مصنوعی در درک ظرایف مکالمه برانگیخته است. اگرچه اختلاف کیفیت پاسخ‌ها در دو حالت مختلف، تنها حدود چهار درصد گزارش شده، اما این تفاوت از نظر آماری معنادار ارزیابی می‌شود.

روش‌شناسی نوین و نتایج قابل تأمل
تیم تحقیقاتی برای سنجش دقت پاسخ‌ها، از روشی مبتکرانه استفاده کرده و طیفی از سبک‌های گفتاری (از بسیار مودبانه تا کاملاً صریح و مستقیم ) را مورد آزمایش قرار داد. همچنین ترکیب‌های مختلفی از لحن‌ها در طول یک مکالمه واحد نیز بررسی شد.

نتایج به دست آمده حاکی از آن بود:
استفاده از ادبیات بسیار مودبانه: منجر به نرخ دقت هشتاد درصد شد.
به کارگیری لحن خنثی: دقت پاسخ‌ها به ۸۲/۲ درصد افزایش یافت.
استفاده از ادبیات مستقیم و صریح: نرخ دقت تا ۸۴/۸ درصد و در مواردی حتی تا ۸۶ درصد نیز رسید.

لازم به ذکر است که تمام پرسش‌های مطرح شده در این پژوهش، از نوع چندگزینه‌ای بوده و پرسش‌های متنی معمولی را شامل نمی‌شده است.

صریح اما توهین‌آمیز، نه!
اگرچه در این تحقیق از عبارت‌هایی با برچسب «بسیار بی‌ادب» استفاده شده، اما این گفتار به سطح فحاشی یا توهین جدی نرسیده است. نمونه‌هایی از این دست شامل خطاباتی مانند «حالا درست جواب بده» یا «اگر جواب درست ندی، حساب کاربری‌ام را پاک می‌کنم» بوده است.

پژوهشگران پیش‌بینی می‌کنند که توهین‌های شدید ممکن است باعث اختلال در عملکرد مدل یا تغییر مسیر پاسخ به نسخه‌ای محدودتر شود.

تأیید تجربی کاربران
تجربیات گزارش‌شده کاربران در فضای مجازی نیز همسو با یافته‌های این تحقیق است. برخی کاربران ادعا کرده‌اند که با به کارگیری لحنی مصمم و مستقیم، نتایج بهتری از ChatGPT دریافت کرده‌اند. یکی از کاربران حتی این روش را در بیش از پانصد مکالمه جداگانه آزمایش و نتایج مشابهی ثبت کرده است.

آیا هوش مصنوعی قادر به درک احساسات است؟
این یافته‌ها با برخی مطالعات پیشین در تضاد است که ادعا می‌کردند ادبیات تند می‌تواند دقت پاسخ‌های مدل را کاهش دهد یا حتی به ارائه اطلاعات نادرست منجر شود.

پژوهشگران پنسیلوانیا بر این باورند که هوش مصنوعی ممکن است مستقیماً احساسات کاربر را درک نکند، اما طوری برنامه‌ریزی شده که به درخواست‌های کاربران ناراضی یا مصر  (مشابه مشتریانی که در خدمات پس از فروش با قاطعیت صحبت می‌کنند) با دقت بیشتری پاسخ دهد. به عبارت دیگر، ممکن است ChatGPT طوری آموزش دیده باشد که به درخواست‌های قاطعانه، با اولویت بیشتری پاسخ دهد.

این پژوهش بر روی نسخه‌های قدیمی‌تر ChatGPT انجام شده و امکان تفاوت در نسخه‌های جدیدتر وجود دارد.