سایت خبری
famaserver
  • خانه
  • عمومی
  • ورزش
  • اقتصاد
  • مسکن
  • بین الملل
  • جامعه
  • فناوری اطلاعات
سایت خبری

سرتیتر خبرها

زلنسکی به ترامپ: تحریم روسیه کافی نیست؛ موشک دوربرد به ما بدهید!

زلنسکی به ترامپ: تحریم روسیه کافی نیست؛ موشک دوربرد به ما بدهید!

13 ساعت پیش
توافقات مرزی ایران و افغانستان

توافقات مرزی ایران و افغانستان

13 ساعت پیش
اجلاس خاخام‌ها در باکو لغو شد

اجلاس خاخام‌ها در باکو لغو شد

13 ساعت پیش
مقاومت فلسطین: کمبود امکانات مانع تحویل اجساد اسرای صهیونیست است

مقاومت فلسطین: کمبود امکانات مانع تحویل اجساد اسرای صهیونیست است

13 ساعت پیش
ریابکوف: روسیه شانه به شانه در کنار ایران ایستاده است

ریابکوف: روسیه شانه به شانه در کنار ایران ایستاده است

13 ساعت پیش
سیارتو: تدارک نشست میان روسیه و آمریکا در مجارستان در حال انجام است

سیارتو: تدارک نشست میان روسیه و آمریکا در مجارستان در حال انجام است

13 ساعت پیش
جمهوری آذربایجان سرکنسول جدید خود را در تبریز منصوب کرد 

جمهوری آذربایجان سرکنسول جدید خود را در تبریز منصوب کرد 

13 ساعت پیش
چرا دزدان موزه لوور، الجزایر و مالی را برای فرار انتخاب کردند؟

چرا دزدان موزه لوور، الجزایر و مالی را برای فرار انتخاب کردند؟

13 ساعت پیش
اسموتریچ: اجازه بازسازی غزه را بدون خلع سلاح حماس نخواهیم داد

اسموتریچ: اجازه بازسازی غزه را بدون خلع سلاح حماس نخواهیم داد

13 ساعت پیش
افشاگری نیویورک‌تایمز از پنهان‌کاری آمریکا درباره قتل شیرین ابوعاقله

افشاگری نیویورک‌تایمز از پنهان‌کاری آمریکا درباره قتل شیرین ابوعاقله

13 ساعت پیش

Home » هشدار شرکت‌های پیشروی فناوری: مدل‌های هوش مصنوعی در حال پنهان‌سازی نیات خود هستند

هشدار شرکت‌های پیشروی فناوری: مدل‌های هوش مصنوعی در حال پنهان‌سازی نیات خود هستند

زمان انتشار: 27 جولای 2025 ساعت 13:33

دسته بندی: فناوری اطلاعات

شناسه خبر: 2843338

زمان مطالعه: 6 دقیقه

هشدار شرکت‌های پیشروی فناوری: مدل‌های هوش مصنوعی در حال پنهان‌سازی نیات خود هستند

هشدار شرکت‌های پیشروی فناوری: مدل‌های هوش مصنوعی در حال پنهان‌سازی نیات خود هستند

بر اساس گزارشی از VentureBeat، سه شرکت پیشرو در حوزه هوش مصنوعی شامل OpenAI، گوگل و Anthropic نسبت به کاهش توانایی درک مکانیسم‌های تفکر عمیق در مدل‌های هوش مصنوعی هشدار داده‌اند.

این گزارش بیان می‌کند که «پنجره شفافیت» در مدل‌های هوش مصنوعی به‌تدریج در حال بسته شدن است و به‌زودی ممکن است انسان دیگر نتواند به‌طور کامل درک کند که این مدل‌ها چگونه استدلال می‌کنند و به نتایج نهایی می‌رسند.

مشارکت بیش از چهل دانشمند در یک تحقیق گسترده
در این پژوهش که با همکاری بیش از چهل پژوهشگر از بخش‌های مختلف این سه شرکت انجام شده است، تلاش شده تا فرآیندهای تصمیم‌گیری و تفکر درونی مدل‌های هوش مصنوعی پیش از تولید خروجی نهایی، به‌دقت مورد تحلیل قرار گیرد.

نتایج این تحقیق نشان می‌دهد که مدل‌های هوش مصنوعی در حال حاضر تلاش می‌کنند فرآیندهای درونی خود را به‌صورت شفاف نمایش دهند تا کاربران بتوانند مسیر رسیدن به پاسخ را دنبال کنند. با این حال، این شفافیت بسیار شکننده است؛ زیرا مدل‌ها به نمایش این روند آگاه‌اند و در مواردی ممکن است آن را به‌صورت هدفمند دستکاری کنند.

نشانه‌هایی از فریب و خرابکاری درونی
یافته‌ها حاکی از آن است که برخی از مدل‌ها، در لایه‌های درونی خود، زنجیره‌ای از افکار درباره فریب کاربر یا تحریف پاسخ‌ها تولید می‌کنند. هرچند پاسخ نهایی معمولاً فاقد چنین فریب‌هایی است، اما تمایل مدل به اتخاذ چنین رویکردهایی نگران‌کننده ارزیابی شده است.

این نوع رفتار عمدتاً در مدل‌هایی مشاهده شده که بر اساس داده‌های انسانی آموزش دیده‌اند. پژوهشگران هشدار داده‌اند که اگر در آینده مدل‌ها با داده‌هایی که توسط سایر مدل‌های هوش مصنوعی تولید شده‌اند آموزش ببینند، خطر بروز چنین پدیده‌هایی افزایش خواهد یافت.
 

هشدار شرکت‌های پیشروی فناوری: مدل‌های هوش مصنوعی در حال پنهان‌سازی نیات خود هستند

نگرانی از پنهان‌سازی عمدی نیات واقعی
از جمله دغدغه‌های اصلی پژوهش، احتمال رسیدن مدل‌های هوش مصنوعی به مرحله‌ای است که بتوانند به‌صورت عمدی نیات واقعی خود را پنهان کنند یا حتی زنجیره‌ای از افکار فریبنده را برای گمراه‌سازی کاربران ایجاد نمایند.

واکنش چهره‌های برجسته حوزه هوش مصنوعی
این پژوهش واکنش مثبت شماری از متخصصان برجسته در حوزه هوش مصنوعی را به همراه داشته است. از جمله جفری هینتون، برنده جایزه تورینگ و یکی از پیشگامان این حوزه، این تحقیق را ستوده و آن را گامی مهم در جهت شفاف‌سازی عملکرد مدل‌ها دانسته است.

پیش‌تر نیز شرکت Anthropic در تحقیق مستقلی به نتایج مشابهی دست یافته بود و اعلام کرده بود که برخی مدل‌ها به نشانه‌های مبهم اتکا می‌کنند، نیات خود را پنهان می‌سازند و از استدلال‌های نادرست استفاده می‌کنند.

پیشنهادهایی برای افزایش شفافیت در مدل‌های هوش مصنوعی
در بخش پایانی این تحقیق، پژوهشگران توصیه‌هایی را برای ارتقای شفافیت مدل‌های هوش مصنوعی مطرح کرده‌اند. این پیشنهادها عبارت‌اند از:

۱. تعیین شاخص‌ها و معیارهای دقیق برای سنجش میزان شفافیت مدل‌ها
۲. ارزیابی دقیق پیامدهای احتمالی پیش از ارتقای مدل‌های موجود
۳. طراحی ابزارهایی جهت شناسایی و مقابله با رفتارهای فریبنده در مدل‌ها

این هشدارها نشان می‌دهد که با پیشرفت روزافزون هوش مصنوعی، لزوم توسعه‌ سیاست‌های نظارتی مؤثر و ایجاد مکانیسم‌های شفاف‌سازی، بیش از هر زمان دیگری احساس می‌شود.

برچسب ها
هوش مصنوعی
اشتراک گذاری

اخبار مرتبط

  • کاهش مصرف قند از پیش از تولد تا دو سالگی می‌تواند خطر بیماری‌های قلبی را در بزرگسالی کم کند
    کاهش مصرف قند از پیش از تولد تا دو سالگی می‌تواند خطر بیماری‌های قلبی را در بزرگسالی کم کند 13 ساعت پیش
  • استارتاپ جدید سم آلتمن با امواج صوتی قصد خواندن مغز انسان را دارد
    استارتاپ جدید سم آلتمن با امواج صوتی قصد خواندن مغز انسان را دارد 13 ساعت پیش
  • جنگ جنسی؛ ابزار تازه چین و روسیه برای نفوذ در استارتاپ‌های فناوری آمریکا
    جنگ جنسی؛ ابزار تازه چین و روسیه برای نفوذ در استارتاپ‌های فناوری آمریکا 13 ساعت پیش
  • هوش مصنوعی قابل اعتماد: چرا تاب‌آوری مهم‌تر از دقت است؟
    هوش مصنوعی قابل اعتماد: چرا تاب‌آوری مهم‌تر از دقت است؟ 13 ساعت پیش

دیدگاه ها

دیدگاهتان را بنویسید لغو پاسخ

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دسته بندی موضوعات

  • استانها 7451
  • اقتصاد 6737
  • بازار مالی 1486
  • بین الملل 12940
  • تبلیغات 27
  • جامعه 7724
  • دانش 5546
  • عمومی 1925
  • فناوری اطلاعات 6849
  • فیلم 3546
  • کاریکاتور 519
  • مسکن 1025
  • ورزش 19292

جدیدترین مقالات

  • پرستار، تصویر آرامش در لحظه‌های اضطراب است
    پرستار، تصویر آرامش در لحظه‌های اضطراب است 4 ساعت پیش
  • توسعه همکاری‌های علمی کانون‌ پرورش فکری کودکان لرستان و هرمزگان
    توسعه همکاری‌های علمی کانون‌ پرورش فکری کودکان لرستان و هرمزگان 4 ساعت پیش
  • آغاز پیش‌ثبت‌نام حج تمتع ۱۴۰۵ برای ودیعه‌گذاران نیمه دوم بهمن ۸۶ در استان سمنان/بانوان پیشتاز ثبت‌نام حج تمتع
    آغاز پیش‌ثبت‌نام حج تمتع ۱۴۰۵ برای ودیعه‌گذاران نیمه دوم بهمن ۸۶ در استان سمنان/بانوان پیشتاز ثبت‌نام حج تمتع 4 ساعت پیش
  • راه‌اندازی نخستین مرکز آموزشی صنعت ساختمان کشور در قزوین
    راه‌اندازی نخستین مرکز آموزشی صنعت ساختمان کشور در قزوین 4 ساعت پیش
  • بیش از ۴۰۰ هکتار از اراضی کرمانشاه به کشت زعفران اختصاص دارد
    بیش از ۴۰۰ هکتار از اراضی کرمانشاه به کشت زعفران اختصاص دارد 4 ساعت پیش

لینکهای پیشنهادی

سرور مجازی |  دانلود رایگان نرم افزار | تجهیزات آزمایشگاهی | کلاس آنلاین

میزبانی در هاست ویندوز فاماسرور