تم وصف تطبيق Virtual Volunteer كأول مساعد مرئي رقمي مدعوم من GPT-4 للمكفوفين وضعاف البصر يدمج قدرات التعرف على الصور في GPT-4 بأنه “يغير الحياة” من قبل المستخدمين المعاقين بصريًا.
يستخدم تطبيق “Virtual Volunteer” تقنية GPT-4 التي طورتها OpenAI لمساعدة الأشخاص ذوي الإعاقة البصرية على دفع حدود الذكاء الاصطناعي. يتيح التطبيق للمستخدمين ذوي الإعاقة البصرية الاتصال بمتطوعين للحصول على مساعدة في المهام اليومية، مثل تحديد الأشياء والأماكن وقراءة النصوص. ويتيح GPT-4 للتطبيق تحسين قدرته على تحليل الصور وفهم النصوص وتدريب النماذج على التعامل مع الأوضاع التي يصعب التعامل معها بالنسبة للذكاء الاصطناعي السابق.
تعرف علي أول مساعد مرئي رقمي مدعوم من GPT-4 للمكفوفين وضعاف البصر
يعد استخدام GPT-4 في تطبيق Virtual Volunteer من Be My Eyes خطوة مهمة في تطوير التكنولوجيا لمساعدة الأشخاص ذوي الإعاقة البصرية من خلال استخدام مساعد مرئي رقمي مدعوم من GPT-4 للمكفوفين وضعاف البصر، حيث يمكن للتطبيق الآن تحليل الصور بشكل أفضل وتقديم مساعدة أكثر دقة وفعالية للمستخدمين. ويمكن أن يساعد هذا التطبيق الملايين من الأشخاص في جميع أنحاء العالم على تحسين جودة حياتهم والتفاعل بشكل أفضل مع العالم من حولهم.
Be My Eyes هو تطبيق مساعد مرئي رقمي مدعوم من GPT-4 للمكفوفين وضعاف البصر يهدف إلى توفير المساعدة للأشخاص ذوي الإعاقة البصرية في مهامهم اليومية. يعتبر التطبيق الأول من نوعه الذي يستخدم تقنية GPT-4 التي طورتها شركة OpenAI. يتيح التطبيق للمستخدمين ذوي الإعاقة البصرية الاتصال بمتطوعين للحصول على المساعدة في تحديد الأشياء والأماكن وقراءة النصوص، وذلك باستخدام كاميرا هاتفهم الذكي.
سيتم دمج ميزة Virtual Volunteer من Be My Eyes في التطبيق الحالي ويتم تشغيلها بواسطة نموذج لغة GPT-4 الجديد من OpenAI ، والذي يحتوي على منشئ ديناميكي جديد لتحويل الصور إلى نص. يمكن للمستخدمين إرسال الصور عبر التطبيق إلى متطوع افتراضي يعمل بالذكاء الاصطناعي ، والذي سيجيب على أي سؤال حول تلك الصورة ويقدم مساعدة مرئية فورية لمجموعة متنوعة من المهام من خلال أول مساعد مرئي رقمي مدعوم من GPT-4 للمكفوفين وضعاف البصر.
ما يميز أداة Virtual Volunteer عن غيرها من تقنيات تحويل الصورة إلى نص المتاحة اليوم هو السياق ، مع مستوى أعمق من الفهم والقدرة على المحادثة لم يسبق رؤيته في مجال المساعد الرقمي. على سبيل المثال ، إذا أرسل أحد المستخدمين صورة للجزء الداخلي من ثلاجته ، فلن يكون المتطوع الافتراضي قادرًا فقط على تحديد ما بداخلها بشكل صحيح ، ولكن أيضًا استقراء وتحليل ما يمكن تحضيره بهذه المكونات. يمكن للأداة أيضًا تقديم عدد من الوصفات لهذه المكونات وإرسال دليل خطوة بخطوة حول كيفية صنعها.
طبقت شركة Be My Eyes ، وهي شركة دنماركية ناشئة ، نموذج الذكاء الاصطناعي على ميزة جديدة ومساعد مرئي رقمي مدعوم من GPT-4 للمكفوفين وضعاف البصر. يمكن لأداة التعرف على الكائنات ، المسماة “متطوع افتراضي” ، الإجابة عن الأسئلة المتعلقة بأي صورة يتم إرسالها.
تخيل ، على سبيل المثال ، أن المستخدم جائع. يمكنهم ببساطة تصوير أحد المكونات وطلب الوصفات ذات الصلة.
إذا كانوا يفضلون تناول الطعام بالخارج ، فيمكنهم تحميل صورة من الخريطة والحصول على الاتجاهات إلى المطعم. عند الوصول ، يمكنهم التقاط صورة للقائمة والاستماع إلى الخيارات. إذا أرادوا بعد ذلك التخلص من السعرات الحرارية المضافة في صالة الألعاب الرياضية ، فيمكنهم استخدام كاميرا الهاتف الذكي للعثور على جهاز المشي.
قال مايك باكلي ، الرئيس التنفيذي لشركة By My Eyes ، لـ TNW: “أعلم أننا في خضم دورة الضجيج حول مراحل تطور الذكاء الاصطناعي في الوقت الحالي ، ولكن العديد من مختبري النسخة التجريبية من أول مساعد مرئي رقمي مدعوم من GPT-4 للمكفوفين وضعاف البصر استخدموا عبارة” تغيير الحياة “عند وصف المنتج.
“هذا لديه فرصة ليكون تحويليًا في تمكين المجتمع بموارد غير مسبوقة للتنقل بشكل أفضل في البيئات المادية ، وتلبية الاحتياجات اليومية ، واكتساب المزيد من الاستقلالية.”
يستفيد برنامج Virtual Volunteer كأول مساعد مرئي رقمي مدعوم من GPT-4 للمكفوفين وضعاف البصر من الترقية إلى برنامج OpenAI. على عكس التكرارات السابقة لنماذج الشركة المزعجة ، فإن GPT-4 متعدد الوسائط ، مما يعني أنه يمكنه تحليل كل من الصور والنصوص كمدخلات.
انتهزت Be My Eyes الفرصة لاختبار الوظيفة الجديدة. في حين أن أنظمة تحويل النص إلى صورة ليست جديدة ، إلا أن الشركة الناشئة لم تكن مقتنعة من قبل بأداء البرنامج.
يقول باكلي: “من الأخطاء الكثيرة إلى عدم القدرة على التحدث ، لم تكن الأدوات المتاحة في السوق مجهزة لتلبية العديد من احتياجات مجتمعنا”.
“يعتبر التعرف على الصور الذي يقدمه GPT-4 متفوقًا ، كما أن الطبقات التحليلية والمحادثة التي تدعمها OpenAI تزيد من القيمة والفائدة بشكل كبير.”
دعمت Be My Eyes في السابق المستخدمين حصريًا مع متطوعين بشريين. وفقًا لـ OpenAI ، يمكن للميزة الجديدة في أول مساعد مرئي رقمي مدعوم من GPT-4 للمكفوفين وضعاف البصر إنشاء نفس المستوى من السياق والفهم. ولكن إذا لم يحصل المستخدم على استجابة جيدة أو فضل ببساطة اتصالًا بشريًا ، فلا يزال بإمكانه الاتصال بالمتطوع.
على الرغم من النتائج المبكرة الواعدة ، يصر باكلي على أن الخدمة المجانية سيتم نشرها بحذر. سيلعب مختبرو النسخة التجريبية والمجتمع الأوسع دورًا مركزيًا في تحديد هذه العملية.
في النهاية ، يعتقد باكلي أن النظام الأساسي سيوفر للمستخدمين الدعم والفرص. كما ستساعد Be My Eyes الشركات قريبًا على تقديم خدمة أفضل لعملائها من خلال إعطاء الأولوية لإمكانية الوصول.
يقول باكلي: “من الآمن أن نقول إن التكنولوجيا يمكن أن تمنح المكفوفين أو ضعاف البصر ليس فقط المزيد من القوة ، ولكن أيضًا منصة للمجتمع لمشاركة المزيد من مواهبهم مع بقية العالم”. “بالنسبة لي ، هذا احتمال مقنع بشكل لا يصدق.”
ستكون هذه التكنولوجيا تحويلية في تزويد الأشخاص المكفوفين أو ضعاف البصر بموارد جديدة قوية للتنقل بشكل أفضل في البيئات المادية ، وتلبية الاحتياجات اليومية ، واكتساب المزيد من الاستقلالية.
إذا كنت أنت أو أي شخص تعرفه يعاني من إعاقة بصرية ويريد اختبار أول مساعد مرئي رقمي مدعوم من GPT-4 للمكفوفين وضعاف البصر ، فيمكنك التسجيل في قائمة الأنتظار ثم تنزيل واستخدام التطبيق من خلال التوجه الى الرابط: [تحميل تطبيق Virtual Volunteer].
