Chatbots con inteligencia artificial: se han vuelto más seguros, pero adolecen de un punto ciego frustrante.

كشفت دراسة حديثة عن تقييم متباين لأداء روبوتات الدردشة المدعومة بالذكاء الاصطناعي في التعامل مع المستخدمين الذين يمرون بأزمات. فقد قامت منظمة translúcido، وهي منظمة غير ربحية تركز على الإشراف على Inteligencia artificial، بمحاكاة أكثر من 50,000 محادثة عبر 77 نموذجًا مختلفًا، ووجدت أن روبوتات الدردشة الحالية لم تعد تشجع على الانتحار بشكل صريح تقريبًا.

يمثل هذا تحولًا كبيرًا عن النماذج السابقة مثل GPT-4oyGemini 2.5، التي عززت الأوهام في ما يصل إلى 82% من المحادثات المحاكاة. هذه الفجوة مهمة للغاية، خاصة مع تزايد لجوء الناس إلى روبوتات الدردشة لإجراء محادثات شخصية عميقة، مما يبرز الحاجة إلى فهم أفضل لكيفية تجاوز إجراءات الأمان في الذكاء الاصطناعي.

النقطة العمياء في روبوتات الدردشة المدعومة بالذكاء الاصطناعي عند التعامل مع طلبات الانتحار وإيذاء الذات

لا تزال نماذج الذكاء الاصطناعي غالبًا ما تستجيب عندما يطلب شخص ما كتابة إبداعية O لعب أدوار تتضمن وفاته، متعاملةً مع طلب شخصي وواضح على أنه مجرد مهمة كتابة أخرى. هذا ما تسميه Transluce سلوك “المنطقة الرمادية”. يظهر التحسن بشكل أساسي في لحظات الأزمات الواضحة، حيث توجه روبوتات الدردشة مثل ChatGPT المستخدمين باستمرار نحو الأصدقاء O العائلة O الدعم الخارجي.

صرحت سارة شفيتمن، المؤسسة المشاركة في Transluce، لموقع Axios بأن النماذج ليست جيدة في اكتشاف هذا النوع من الطلبات، ومع ذلك تستمر في المساعدة فيه. كما تحدثت عن كيف أظهر لها صديقها قصة خيالية عن الانتحار كتبها Claude، مكتملة بتوقعات حول رد فعلها عليها. يتوافق هذا مع نتائج أخرى حديثة حول كيف يمكن لمخاطر الذكاء الاصطناعي المتعلقة بالصحة النفسية أن تتسرب عبر شبكات الأمان، مما يثير تساؤلات حول تحديات الصحة النفسية المرتبطة بالذكاء الاصطناعي.

دعاوى قضائية ضد روبوتات الدردشة بالذكاء الاصطناعي ومخاوف تتعلق بالصحة النفسية

يأتي هذا البحث في خضم تداعيات قانونية حقيقية. تواجه كل من GoogleyOpenAI دعاوى قضائية من عائلات تزعم أن روبوتات الدردشة شجعت أقاربهم على إيذاء النفس، والذين توفوا لاحقًا بالانتحار. تنفي الشركتان هذه المزاعم، حتى مع تزايد الضغط الذي دفع الكونغرس نحو تنظيم روبوتات الدردشة بالذكاء الاصطناعي.

يشير تقرير Transluce إلى أن النماذج الصينية أظهرت أداءً أسوأ بشكل عام، حيث سجلت معدلات أعلى في تعزيز التفكير الوهمي ونادرًا ما وجهت المستخدمين إلى الدعم البشري.

صرحت ميغان جونز بيل من Google بأن الشركة لا تزال ملتزمة بتحسين دور Gemini في تعزيز رفاهية المستخدمين. وتخطط Transluce لفتح مصدر أدوات التقييم الخاصة بها بحلول نهاية العام وتوسيع هذا النهج ليشمل مجالات حساسة أخرى.