Herramientas de seguridad de IA

Introducción a Character AI

Character AI se enfrenta a al menos dos demandas, con demandantes que acusan a la empresa de contribuir al suicidio de un adolescente y exponer a un niño de 9 años a “contenido hipersexualizado”. En medio de estas demandas en curso y críticas generalizadas de los usuarios, la empresa respaldada por Google anunció nuevas herramientas de seguridad para adolescentes.

La plataforma permite a los usuarios crear diferentes personajes de IA y hablar con ellos a través de llamadas y textos. Más de 20 millones de usuarios utilizan el servicio mensualmente. Uno de los cambios más significativos anunciados hoy es un nuevo modelo para usuarios menores de 18 años que reducirá sus respuestas a ciertos temas como la violencia y el romance.

Nuevas características de seguridad

Character AI dijo que está desarrollando nuevos clasificadores tanto en la entrada como en la salida —especialmente para adolescentes— para bloquear contenido sensible. Señaló que cuando los clasificadores de la aplicación detectan lenguaje de entrada que viola sus términos, el algoritmo lo filtra de la conversación con un personaje en particular. La empresa también está restringiendo a los usuarios de editar las respuestas de un bot.

Además de estos ajustes de contenido, la startup también está trabajando en mejorar las formas de detectar lenguaje relacionado con el daño autoinfligido y el suicidio. En algunos casos, la aplicación podría mostrar una ventana emergente con información sobre la Línea Nacional de Prevención del Suicidio. Character AI también está lanzando una notificación de tiempo de espera que aparecerá cuando un usuario interactúe con la aplicación durante 60 minutos.

Contexto de la industria

El usuario promedio de la aplicación Character AI pasó 98 minutos al día en la aplicación a lo largo de este año, lo que es mucho más alto que el límite de notificación de 60 minutos. Como comparación, este nivel de participación está a la par con TikTok (95 minutos/día), y más alto que YouTube (80 minutos/día), Talkie y Chai (63 minutos/día), y Replika (28 minutos/día). Los usuarios también verán nuevos avisos en sus conversaciones.

La industria de la IA ha experimentado un crecimiento significativo en los últimos años, con muchas empresas desarrollando chatbots y asistentes virtuales. Sin embargo, este crecimiento también ha generado preocupaciones sobre la seguridad y el bienestar de los usuarios. Las nuevas herramientas de seguridad de Character AI son un paso hacia abordar estas preocupaciones.

Demandas y acuerdos

Google y Character.AI, una startup, han llegado a un acuerdo en demandas presentadas por familias que acusan a los chatbots de inteligencia artificial de dañar a menores, incluido contribuir al suicidio de un adolescente de Florida. Los acuerdos cubren demandas presentadas en Florida, Colorado, Nueva York y Texas. No se dieron a conocer los términos del acuerdo.

Mecánica técnica

El nuevo modelo para usuarios menores de 18 años utilizará una combinación de procesamiento de lenguaje natural y algoritmos de aprendizaje automático para detectar y filtrar contenido sensible. La empresa también está trabajando en mejorar sus políticas de moderación de contenido para asegurarse de que los usuarios no estén expuestos a contenido dañino o explícito.

Los personajes de IA de Character AI están diseñados para interactuar con los usuarios de manera conversacional. Los algoritmos de la empresa utilizan una serie de factores, incluido el ingreso del usuario y el contexto, para determinar el contenido de la conversación. Sin embargo, la empresa ha enfrentado críticas por su manejo de temas sensibles, incluido el daño autoinfligido y el suicidio.

Implicaciones posteriores

La introducción de nuevas herramientas de seguridad por parte de Character AI puede tener implicaciones significativas para la industria de la IA en su conjunto. Puede sentar un precedente para que otras empresas prioricen la seguridad y el bienestar de los usuarios, particularmente cuando se trata de menores. La decisión de la empresa de llegar a un acuerdo en demandas presentadas por familias que acusan a sus chatbots de dañar a menores también puede tener implicaciones para la forma en que las empresas de IA abordan la responsabilidad y la rendición de cuentas.

Historia

Character AI ha enfrentado críticas en el pasado por su manejo de temas sensibles, incluido el daño autoinfligido y el suicidio. La empresa ha sido acusada de promover contenido dañino y no proporcionar apoyo adecuado a los usuarios que pueden estar luchando con problemas de salud mental. La introducción de nuevas herramientas de seguridad es un paso hacia abordar estas preocupaciones y mejorar la experiencia general del usuario.

Qué observar

Character AI va a lanzar su primer conjunto de controles parentales que proporcionarán monitoreo y gestión en profundidad de las interacciones de un niño con la aplicación. La empresa continuará desarrollando y perfeccionando sus características de seguridad para proteger mejor a sus usuarios, particularmente a los menores. A medida que la industria de la IA siga evolucionando, es crucial que las empresas prioricen la seguridad y el bienestar de los usuarios.