Ferramentas de Segurança de IA

Introdução ao Character AI

A Character AI está enfrentando pelo menos dois processos, com os autores acusando a empresa de contribuir para o suicídio de um adolescente e expor uma criança de 9 anos a “conteúdo hypersexualizado”. Em meio a esses processos em andamento e críticas generalizadas dos usuários, a empresa apoiada pelo Google anunciou novas ferramentas de segurança para adolescentes.

A plataforma permite que os usuários criem diferentes personagens de IA e conversem com eles por meio de chamadas e textos. Mais de 20 milhões de usuários estão usando o serviço mensalmente. Uma das mudanças mais significativas anunciadas hoje é um novo modelo para usuários menores de 18 anos que irá reduzir suas respostas a certos tópicos, como violência e romance.

Novas Funcionalidades de Segurança

A Character AI afirmou que está desenvolvendo novos classificadores tanto na entrada quanto na saída — especialmente para adolescentes — para bloquear conteúdo sensível. Ela observou que quando os classificadores do aplicativo detectam linguagem de entrada que viola seus termos, o algoritmo a filtra da conversa com um determinado personagem. A empresa também está restringindo os usuários de editar as respostas de um bot.

Além dessas alterações de conteúdo, a startup também está trabalhando em melhorar as formas de detectar linguagem relacionada a auto-dano e suicídio. Em alguns casos, o aplicativo pode exibir um pop-up com informações sobre a Linha de Prevenção ao Suicídio Nacional. A Character AI também está lançando uma notificação de tempo limite que aparecerá quando um usuário interagir com o aplicativo por 60 minutos.

Contexto da Indústria

O usuário médio do aplicativo Character AI passou 98 minutos por dia no aplicativo ao longo deste ano, o que é muito mais alto do que o limite de notificação de 60 minutos. Como comparação, esse nível de engajamento está no mesmo nível do TikTok (95 minutos/dia) e é mais alto do que o YouTube (80 minutos/dia), Talkie e Chai (63 minutos/dia) e Replika (28 minutos/dia). Os usuários também verão novos avisos em suas conversas.

A indústria de IA teve um crescimento significativo nos últimos anos, com muitas empresas desenvolvendo chatbots e assistentes virtuais. No entanto, esse crescimento também levantou preocupações sobre a segurança e o bem-estar dos usuários. As novas ferramentas de segurança da Character AI são um passo em direção a abordar essas preocupações.

Processos e Acordos

O Google e a Character.AI, uma startup, resolveram processos movidos por famílias que acusam chatbots de IA de prejudicar menores, incluindo contribuir para o suicídio de um adolescente da Flórida. Os acordos cobrem processos movidos na Flórida, Colorado, Nova York e Texas. Os termos do acordo não foram divulgados.

Mecânica Técnica

O novo modelo para usuários menores de 18 anos usará uma combinação de processamento de linguagem natural e algoritmos de aprendizado de máquina para detectar e filtrar conteúdo sensível. A empresa também está trabalhando em melhorar suas políticas de moderação de conteúdo para garantir que os usuários não sejam expostos a conteúdo prejudicial ou explícito.

Os personagens de IA da Character AI são projetados para interagir com os usuários de maneira conversacional. Os algoritmos da empresa usam uma variedade de fatores, incluindo entrada de usuário e contexto, para determinar o conteúdo da conversa. No entanto, a empresa enfrentou críticas por seu tratamento de tópicos sensíveis, incluindo auto-dano e suicídio.

Implicações Futuras

A introdução de novas ferramentas de segurança pela Character AI pode ter implicações significativas para a indústria de IA como um todo. Pode estabelecer um precedente para que outras empresas priorizem a segurança e o bem-estar dos usuários, especialmente quando se trata de menores. A decisão da empresa de resolver processos movidos por famílias que acusam seus chatbots de prejudicar menores também pode ter implicações para a forma como as empresas de IA abordam responsabilidade e prestação de contas.

História

A Character AI enfrentou críticas no passado por seu tratamento de tópicos sensíveis, incluindo auto-dano e suicídio. A empresa foi acusada de promover conteúdo prejudicial e não fornecer suporte adequado aos usuários que possam estar lutando com questões de saúde mental. A introdução de novas ferramentas de segurança é um passo em direção a abordar essas preocupações e melhorar a experiência geral do usuário.

O que Observar

A Character AI irá lançar seu primeiro conjunto de controles parentais que fornecerá monitoramento e gerenciamento aprofundados das interações de uma criança com o aplicativo. A empresa continuará a desenvolver e refinar suas funcionalidades de segurança para melhor proteger seus usuários, especialmente menores. À medida que a indústria de IA continua a evoluir, é crucial que as empresas priorizem a segurança e o bem-estar dos usuários.