ناوی‌سنس: اپلیکیشن هوش مصنوعی برای راهنمایی نابینایان در یافتن اشیاء

به گزارش سیلاد، این سامانه که بر پایه تلفن‌های هوشمند طراحی شده، با بهره‌گیری از قابلیت‌های پیشرفته هوش مصنوعی، قادر است اشیاء موجود در محیط را به‌صورت بلادرنگ شناسایی کرده و کاربر را از طریق راهنمایی‌های صوتی و لرزشی به سمت آن‌ها هدایت کند.

برخلاف بسیاری از راهکارهای موجود که وابسته به اپراتورهای انسانی یا پایگاه‌های داده ثابت و ازپیش تعریف‌شده هستند (این موضوع محدودیت‌های عملیاتی ایجاد می‌کند) این فناوری جدید از انعطاف‌پذیری بالاتری برخوردار است.

پروفسور ویجای نارایانان، استاد دانشگاه پنسیلوانیا و رئیس گروه مهندسی برق، در این رابطه خاطرنشان کرد: «در سیستم‌های پیشین، لازم بود مدل‌های سه‌بعدی اشیاء از قبل در حافظه بارگذاری شوند تا امکان شناسایی فراهم گردد. این روند نه‌تنها ناکارآمد بود، بلکه آزادی عمل کاربر را نیز به شدت محدود می‌کرد. به همین دلیل، تیم تحقیقاتی ما برای غلبه بر این چالش، به سراغ معماری‌های نوین هوش مصنوعی رفت.»

اپلیکیشن مذکور که «ناوی‌سنس» (NaviSense) نام دارد، به یک سرور خارجی متصل می‌شود که در آن، مدل‌های زبانی بزرگ (Large Language Models) و مدل‌های بینایی-زبانی (Vision-Language Models) اجرا می‌شوند. این معماری، امکان تفسیر دستورات صوتی کاربر، اسکن محیط اطراف و شناسایی اهداف را بدون نیاز به پایگاه داده ثابت فراهم می‌سازد.

طراحی کاربر-محور و مشارکت مستقیم جامعه نابینایان
تیم توسعه‌دهنده، طراحی این اپلیکیشن را پس از انجام مصاحبه‌های گسترده با افراد نابینا و کم‌بینا آغاز کرد تا از تطابق کامل آن با نیازهای واقعی اطمینان حاصل کند.

آجای نارایانان سریدار، دانشجوی دکتری مهندسی کامپیوتر و محقق ارشد این پروژه، در این باره اظهار داشت: «این جلسات گفت‌وگو، درک عمیق و روشنی از چالش‌های روزمره این عزیزان در اختیار ما قرار داد.»

سامانه ناوی‌سنس به درخواست صوتی کاربر گوش می‌سپارد، محیط را اسکن می‌کند و اشیاء غیرمرتبط را حذف می‌نماید. در صورت نیاز و عدم قطعیت، سیستم پرسش‌های تکمیلی را نیز مطرح می‌کند. این رویکرد گفت‌وگومحور، انعطاف‌پذیری بسیار بیشتری را در مقایسه با ابزارهای مشابه فراهم می‌آورد.

یکی از ویژگی‌های منحصربه‌فرد ناوی‌سنس، قابلیت «راهنمایی دست» است. در این حالت، سیستم با ردیابی حرکت تلفن همراه، مسیر حرکت دست کاربر را دنبال کرده و جهت‌یابی لازم برای رسیدن به شیء موردنظر را ارائه می‌دهد.

سریدار در توضیح این ویژگی افزود: «این قابلیت، شکاف مهمی را در حوزه فناوری‌های کمکی پر می‌کند. پیش از این، هیچ راهکار آماده‌ای وجود نداشت که بتواند به‌صورت فعالانه دست کاربر را به سمت شیء هدف هدایت کند؛ درحالی‌که این نیاز، بارها در نظرسنجی‌ها از سوی جامعه نابینایان مطرح شده بود.»

ارزیابی عملکرد و چشم‌انداز آینده
این تیم پژوهشی، اپلیکیشن ناوی‌سنس را با مشارکت ۱۲ داوطلب در یک محیط کنترل‌شده مورد آزمایش قرار داده و عملکرد آن را با دو گزینه تجاری موجود مقایسه کردند. در این ارزیابی‌ها، معیارهایی همچون زمان لازم برای شناسایی اشیاء و دقت در هدایت کاربران سنجیده شد.

نتایج این مطالعه نشان داد که ناوی‌سنس نه‌تنها زمان جستجو را به‌طور محسوسی کاهش می‌دهد، بلکه از دقت بالاتری در شناسایی و راهنمایی نیز برخوردار است.

در حال حاضر، این گروه تحقیقاتی بر روی بهینه‌سازی مصرف انرژی و افزایش کارایی مدل هوش مصنوعی متمرکز شده‌اند. به گفته پروفسور نارایانان، این فناوری هم‌اکنون در آستانه تجاری‌سازی قرار دارد و تلاش‌ها برای دسترس‌پذیرتر کردن آن ادامه دارد.