Strumenti di sicurezza per l'IA

Introduzione a Character AI

Character AI sta affrontando almeno due cause legali, con querelanti che accusano l’azienda di aver contribuito al suicidio di un adolescente e di aver esposto un bambino di 9 anni a “contenuti iper sessualizzati”. Tra queste cause legali in corso e le critiche diffuse degli utenti, l’azienda sostenuta da Google ha annunciato nuovi strumenti di sicurezza per gli adolescenti.

La piattaforma consente agli utenti di creare personaggi AI diversi e di parlare con loro tramite chiamate e testi. Oltre 20 milioni di utenti utilizzano il servizio ogni mese. Uno dei cambiamenti più significativi annunciati oggi è un nuovo modello per gli utenti under 18 che ridurrà le risposte a determinati argomenti come la violenza e il romanticismo.

Nuove funzionalità di sicurezza

Character AI ha dichiarato di stare sviluppando nuovi classificatori sia sull’input che sull’output - specialmente per gli adolescenti - per bloccare contenuti sensibili. Ha notato che quando i classificatori dell’app rilevano un linguaggio di input che viola i suoi termini, l’algoritmo lo filtra dalla conversazione con un personaggio specifico. L’azienda sta anche limitando gli utenti dall’editare le risposte di un bot.

Oltre a questi cambiamenti di contenuti, la startup sta lavorando anche per migliorare i metodi per rilevare il linguaggio relativo al danno a se stessi e al suicidio. In alcuni casi, l’app potrebbe visualizzare un pop-up con informazioni sulla National Suicide Prevention Lifeline. Character AI sta anche rilasciando una notifica di timeout che apparirà quando un utente utilizza l’app per 60 minuti.

Contesto industriale

L’utente medio dell’app Character AI ha trascorso 98 minuti al giorno sull’app durante quest’anno, che è molto più alto del limite di notifica di 60 minuti. Come confronto, questo livello di coinvolgimento è allo stesso livello di TikTok (95 minuti/giorno), e più alto di YouTube (80 minuti/giorno), Talkie e Chai (63 minuti/giorno), e Replika (28 minuti/giorno). Gli utenti vedranno anche nuovi disclaimer nelle loro conversazioni.

L’industria dell’IA ha visto una crescita significativa negli ultimi anni, con molte aziende che sviluppano chatbot e assistenti virtuali. Tuttavia, questa crescita ha anche sollevato preoccupazioni riguardo alla sicurezza e al benessere degli utenti. I nuovi strumenti di sicurezza di Character AI sono un passo verso l’affrontare queste preoccupazioni.

Cause legali e risarcimenti

Google e Character.AI, una startup, hanno risolto cause legali intentate da famiglie che accusano chatbot di intelligenza artificiale di aver danneggiato minori, tra cui il contributo al suicidio di un adolescente della Florida. I risarcimenti coprono cause legali intentate in Florida, Colorado, New York e Texas. I termini del risarcimento non sono stati resi pubblici.

Meccanica tecnica

Il nuovo modello per gli utenti under 18 utilizzerà una combinazione di elaborazione del linguaggio naturale e algoritmi di apprendimento automatico per rilevare e filtrare contenuti sensibili. L’azienda sta anche lavorando per migliorare le sue politiche di moderazione dei contenuti per garantire che gli utenti non siano esposti a contenuti dannosi o espliciti.

I personaggi AI di Character AI sono progettati per interagire con gli utenti in modo conversazionale. Gli algoritmi dell’azienda utilizzano una serie di fattori, tra cui l’input dell’utente e il contesto, per determinare il contenuto della conversazione. Tuttavia, l’azienda ha affrontato critiche per la sua gestione di argomenti sensibili, tra cui il danno a se stessi e il suicidio.

Implicazioni a lungo termine

L’introduzione di nuovi strumenti di sicurezza da parte di Character AI potrebbe avere implicazioni significative per l’intera industria dell’IA. Potrebbe stabilire un precedente per altre aziende a dare priorità alla sicurezza e al benessere degli utenti, in particolare quando si tratta di minori. La decisione dell’azienda di risolvere cause legali intentate da famiglie che accusano i suoi chatbot di aver danneggiato minori potrebbe anche avere implicazioni per il modo in cui le aziende di IA affrontano la responsabilità e la responsabilità.

Storia

Character AI ha affrontato critiche in passato per la sua gestione di argomenti sensibili, tra cui il danno a se stessi e il suicidio. L’azienda è stata accusata di promuovere contenuti dannosi e di non fornire un supporto adeguato agli utenti che potrebbero essere alle prese con problemi di salute mentale. L’introduzione di nuovi strumenti di sicurezza è un passo verso l’affrontare queste preoccupazioni e migliorare l’esperienza utente complessiva.

Cosa guardare

Character AI lancerà il suo primo set di controlli parentali che fornirà monitoraggio e gestione approfonditi delle interazioni di un bambino con l’app. L’azienda continuerà a sviluppare e perfezionare le sue funzionalità di sicurezza per proteggere meglio i suoi utenti, in particolare i minori. Mentre l’industria dell’IA continua a evolversi, è cruciale che le aziende diano priorità alla sicurezza e al benessere degli utenti.