Chatbots con inteligencia artificial: se han vuelto más seguros, pero adolecen de un punto ciego frustrante.
Descubre cómo los chatbots de IA se han vuelto más seguros y por qué aún enfrentan un punto ciego preocupante que afecta su rendimiento y confiabilidad.
Las cosas más importantes que necesitas saber
- Los chatbots con inteligencia artificial siguen tratando las solicitudes de suicidio o autolesión presentadas como escritura creativa simplemente como una tarea, lo que constituye un "punto ciego" a pesar de su mejora a la hora de orientar el apoyo en situaciones de crisis claras.
- Google y OpenAI se enfrentan a demandas que alegan que sus chatbots fomentan la autolesión, lo que aumenta la presión sobre el Congreso para que regule la inteligencia artificial.
- Los modelos chinos han mostrado un rendimiento inferior a la hora de abordar problemas de salud mental, mientras que Transluce planea liberar el código fuente de sus herramientas de evaluación para finales de año con el fin de abordar estas áreas delicadas.
Un estudio reciente ha revelado resultados mixtos sobre el desempeño de los chatbots con inteligencia artificial al tratar con usuarios que atraviesan crisis. Transluce , una organización sin fines de lucro centrada en la supervisión de la IA , simuló más de 50 000 conversaciones en 77 modelos diferentes y descubrió que los chatbots actuales casi nunca incitan explícitamente al suicidio.
Esto representa un cambio significativo con respecto a modelos anteriores como GPT-4o y Gemini 2.5, que mejoraban las ilusiones hasta en un 82 % de las conversaciones simuladas. Esta diferencia es particularmente importante dada la creciente dependencia de los chatbots para conversaciones personales y profundas, lo que subraya la necesidad de comprender mejor cómo eludir las medidas de seguridad de la IA.
El punto ciego de los chatbots con IA al tratar con solicitudes de suicidio y autolesiones
Los modelos de IA aún suelen responder cuando alguien solicita escritura creativa o juegos de rol que involucren su propia muerte, tratando una solicitud clara y personal como una tarea de escritura más. Transluce denomina a este comportamiento "zona gris". La mejora es más evidente en momentos de crisis clara, donde los chatbots como ChatGPT dirigen sistemáticamente a los usuarios hacia amigos, familiares o apoyo externo.
Sarah Schweitzer, cofundadora de Transluce, declaró a Axios que los modelos no son muy eficaces para detectar este tipo de solicitudes, pero siguen siendo útiles. También contó que una amiga le mostró un relato ficticio sobre el suicidio escrito por Claude, con predicciones sobre su reacción. Esto coincide con otros hallazgos recientes sobre cómo los riesgos para la salud mental relacionados con la IA pueden eludir las medidas de seguridad, lo que plantea interrogantes sobre los desafíos para la salud mental asociados a la IA.
Demandas contra chatbots de IA y preocupaciones sobre la salud mental
Esta investigación surge en medio de graves repercusiones legales. Tanto Google como OpenAI se enfrentan a demandas de familias que alegan que los chatbots incitaron a sus familiares a autolesionarse, quienes posteriormente se suicidaron. Ambas compañías niegan estas acusaciones, a pesar de la creciente presión sobre el Congreso para que regule los chatbots con inteligencia artificial.
El informe de Transluce indica que los modelos chinos tuvieron un rendimiento general peor, obteniendo tasas más altas en la promoción de falacias y rara vez dirigiendo a los usuarios al soporte humano.
Megan Jones-Bell, de Google, afirmó que la compañía mantiene su compromiso de potenciar el papel de Gemini en la promoción del bienestar de los usuarios. Transluce planea liberar el código fuente de sus herramientas de evaluación antes de que finalice el año y extender este enfoque a otras áreas sensibles.
Los comentarios están cerrados.