Outils de sécurité de l'IA

Introduction à Character AI

Character AI est confronté à au moins deux poursuites judiciaires, avec des plaignants accusant l’entreprise de contribuer au suicide d’un adolescent et d’exposer un enfant de 9 ans à du «contenu hypersexualisé». Dans le cadre de ces poursuites en cours et de critiques généralisées des utilisateurs, l’entreprise soutenue par Google a annoncé de nouveaux outils de sécurité pour les adolescents.

La plateforme permet aux utilisateurs de créer différents personnages IA et de leur parler par appels et textos. Plus de 20 millions d’utilisateurs utilisent le service chaque mois. L’un des changements les plus importants annoncés aujourd’hui est un nouveau modèle pour les utilisateurs de moins de 18 ans qui réduira ses réponses à certains sujets tels que la violence et le romantisme.

Nouvelles fonctionnalités de sécurité

Character AI a déclaré qu’il développait de nouveaux classificateurs à la fois à l’entrée et à la sortie - en particulier pour les adolescents - pour bloquer le contenu sensible. Il a noté que lorsque les classificateurs de l’application détectent un langage d’entrée qui viole ses conditions, l’algorithme le filtre hors de la conversation avec un personnage particulier. L’entreprise restreint également les utilisateurs d’éditer les réponses d’un bot.

En plus de ces ajustements de contenu, la startup travaille également à améliorer les moyens de détecter le langage lié aux préjudices et au suicide. Dans certains cas, l’application peut afficher une fenêtre contextuelle avec des informations sur la ligne d’assistance téléphonique nationale pour la prévention du suicide. Character AI publie également une notification de temps mort qui apparaîtra lorsqu’un utilisateur utilise l’application pendant 60 minutes.

Contexte industriel

L’utilisateur moyen de l’application Character AI a passé 98 minutes par jour sur l’application cette année, ce qui est beaucoup plus élevé que la limite de notification de 60 minutes. À titre de comparaison, ce niveau d’engagement est comparable à TikTok (95 minutes/jour) et plus élevé que YouTube (80 minutes/jour), Talkie et Chai (63 minutes/jour) et Replika (28 minutes/jour). Les utilisateurs verront également de nouvelles clauses de non-responsabilité dans leurs conversations.

L’industrie de l’IA a connu une croissance significative ces dernières années, avec de nombreuses entreprises développant des chatbots et des assistants virtuels. Cependant, cette croissance a également suscité des inquiétudes quant à la sécurité et au bien-être des utilisateurs. Les nouveaux outils de sécurité de Character AI sont un pas vers la résolution de ces préoccupations.

Poursuites judiciaires et règlements

Google et Character.AI, une startup, ont réglé des poursuites judiciaires déposées par des familles accusant les chatbots d’intelligence artificielle de nuire à des mineurs, y compris de contribuer au suicide d’un adolescent de Floride. Les règlements couvrent les poursuites judiciaires déposées en Floride, au Colorado, à New York et au Texas. Les conditions du règlement n’ont pas été divulguées.

Mécaniques techniques

Le nouveau modèle pour les utilisateurs de moins de 18 ans utilisera une combinaison de traitement du langage naturel et d’algorithmes d’apprentissage automatique pour détecter et filtrer le contenu sensible. L’entreprise travaille également à améliorer ses politiques de modération de contenu pour garantir que les utilisateurs ne soient pas exposés à du contenu préjudiciable ou explicite.

Les personnages IA de Character AI sont conçus pour interagir avec les utilisateurs de manière conversationnelle. Les algorithmes de l’entreprise utilisent une gamme de facteurs, y compris l’entrée et le contexte de l’utilisateur, pour déterminer le contenu de la conversation. Cependant, l’entreprise a fait face à des critiques pour sa gestion de sujets sensibles, y compris les préjudices et le suicide.

Implications en aval

L’introduction de nouveaux outils de sécurité par Character AI peut avoir des implications importantes pour l’industrie de l’IA dans son ensemble. Cela peut fixer un précédent pour que d’autres entreprises donnent la priorité à la sécurité et au bien-être des utilisateurs, en particulier lorsqu’il s’agit de mineurs. La décision de l’entreprise de régler des poursuites judiciaires déposées par des familles accusant ses chatbots de nuire à des mineurs peut également avoir des implications pour la façon dont les entreprises d’IA abordent la responsabilité et la responsabilité.

Histoire

Character AI a fait face à des critiques dans le passé pour sa gestion de sujets sensibles, y compris les préjudices et le suicide. L’entreprise a été accusée de promouvoir du contenu préjudiciable et de ne pas fournir un soutien adéquat aux utilisateurs qui peuvent avoir des problèmes de santé mentale. L’introduction de nouveaux outils de sécurité est un pas vers la résolution de ces préoccupations et l’amélioration de l’expérience utilisateur globale.

À surveiller

Character AI va lancer son premier ensemble de contrôles parentaux qui fourniront une surveillance et une gestion approfondies des interactions d’un enfant avec l’application. L’entreprise continuera à développer et à affiner ses fonctionnalités de sécurité pour mieux protéger ses utilisateurs, en particulier les mineurs. À mesure que l’industrie de l’IA continue d’évoluer, il est crucial que les entreprises donnent la priorité à la sécurité et au bien-être des utilisateurs.