حتی جی‌پی‌تی‑۵ در آزمون توجه انسانی مردود شد؛ نقطه کور هوش مصنوعی

برای بررسی عملکرد سامانه‌های هوش مصنوعی مدرن، پژوهشگران چندین مدل زبانی پیشرو را با فهرست‌هایی از کلمات رنگی آزمایش کردند.
 
زمانی که فهرست‌های کوتاه ارائه شد، مدل‌ها عملکرد شگفت‌آوری خوبی داشتند؛ جی‌پی‌تی‑۴او به دقت ۹۱ درصد و کلود ۳٫۵ سونت نیز عملکرد قوی نشان داد.
 
با افزایش طول فهرست‌ها، وضعیت به شدت تغییر کرد. دقت جی‌پی‌تی‑۴او از ۹۱ درصد برای پنج کلمه به ۵۷ درصد برای ده کلمه کاهش یافت و با رسیدن فهرست به ۴۰ کلمه، دقت به تنها ۱۵ درصد سقوط کرد.
 
کلود ۳٫۵ سونت مقاومت بیشتری نشان داد، اما آن نیز با کاهش شدید مواجه شد و دقت آن به ۲۴ درصد رسید.
 
پژوهشگران الگوهای مشابهی را در جی‌پی‌تی‑۵، کلود اپوس ۴٫۱ و جمینی ۲٫۵ مشاهده کردند. عملکرد زمانی بدتر شد که کلمات هماهنگ و ناهماهنگ با هم در یک فهرست ظاهر شدند و دقت در موارد ناهماهنگ به نزدیک صفر رسید.