AI 안전 도구

Character AI 소개

Character AI는 최소 2건의 소송에 직면해 있으며, 원고는 회사가 십대의 자살에 기여하고 9세 아동을 ‘과도한 성적 콘텐츠’에 노출시켰다고 비난하고 있습니다. 이러한 소송과 사용자들의 광범위한 비판 속에서 구글의 지원을 받는 이 회사는 새로운 청소년 안전 도구를 발표했습니다.

이 플랫폼을 통해 사용자는 다양한 AI 캐릭터를 만들고 전화 및 문자를 통해 대화할 수 있습니다. 매월 2 천만 명 이상의 사용자가 서비스를 사용하고 있습니다. 오늘 발표된 가장 중요한 변화 중 하나는 폭력 및 로맨스와 같은 특정 주제에 대한 반응을 줄이는 18세 미만 사용자를 위한 새로운 모델입니다.

새로운 안전 기능

Character AI는 특히 청소년을 위해 입력 및 출력 단에서 새로운 분류기를 개발하고 있으며 민감한 콘텐츠를 차단할 계획입니다. 앱의 분류기가 약관 위반 언어를 감지하면 알고리즘은 특정 캐릭터와의 대화에서 필터링합니다. 회사는 또한 봇의 응답을 편집하는 것을 사용자에게 제한하고 있습니다.

이러한 콘텐츠 조정 외에도 이 스타트업은 자해 및 자살과 관련된 언어를 탐지하는 방법을 개선하기 위해 노력하고 있습니다. 경우에 따라 앱은 국립 자살 예방 핫라인에 대한 정보를 표시할 수 있습니다. Character AI는 또한 사용자가 앱에 60 분 동안 참여할 때 나타나는 타임아웃 알림을 출시하고 있습니다.

산업 맥락

평균 Character AI 앱 사용자는 올해 하루 98 분을 앱에 소비했으며, 이는 60 분 알림 제한보다 훨씬 높습니다. 비교를 위해 이러한 수준의 참여는 TikTok (95 분/일)과 비슷하고 YouTube (80 분/일), Talkie 및 Chai (63 분/일), Replika (28 분/일)보다 높습니다. 사용자는 대화에서 새로운 면책 조항을 볼 수 있습니다.

최근 몇 년 동안 AI 산업은 빠르게 성장해 왔으며 많은 기업이 챗봇 및 가상 비서를 개발하고 있습니다. 그러나 이러한 성장은 사용자 안전 및 웰빙에 대한 우려도 제기하고 있습니다. Character AI의 새로운 안전 도구는 이러한 우려를 해결하기 위한 한 걸음입니다.

소송 및 합의

구글과 Character.AI는 인공지능 챗봇이 미성년자에게 해를 끼쳤다는 혐의로 제기된 소송을 합의했습니다. 여기에는 플로리다 십대의 자살에 기여했다는 혐의가 포함됩니다. 합의는 플로리다, 콜로라도, 뉴욕, 텍사스에서 제기된 소송을 다루며 합의 조건은 공개되지 않았습니다.

기술적 메커니즘

18세 미만 사용자를 위한 새로운 모델은 자연어 처리 및 머신러닝 알고리즘을 결합하여 민감한 콘텐츠를 탐지하고 필터링합니다. 회사는 또한 콘텐츠 조정 정책을 개선하여 사용자가 유해하거나 노골적인 콘텐츠에 노출되지 않도록 할 계획입니다.

Character AI의 AI 캐릭터는 대화 방식으로 사용자와 상호작용하도록 설계되었습니다. 회사의 알고리즘은 사용자 입력 및 컨텍스트를 포함한 다양한 요소를 사용하여 대화 내용을 결정합니다. 그러나 회사는 자해 및 자살과 같은 민감한 주제를 다루는 것에 대한 비판을 받아왔습니다.

향후 영향

Character AI가 새로운 안전 도구를 도입하면 AI 산업 전반에 중요한 영향을 미칠 수 있습니다. 특히 미성년자의 안전 및 웰빙을 우선시하는 다른 회사에 대한 선례가 될 수 있습니다. 회사가 미성년자에게 해를 끼쳤다는 혐의로 제기된 소송을 합의한 결정은 AI 회사가 책임 및 의무에 접근하는 방식에 영향을 미칠 수 있습니다.

역사

Character AI는 과거에 자해 및 자살과 같은 민감한 주제를 다루는 것에 대한 비판을 받아왔습니다. 회사는 유해한 콘텐츠를 홍보하고 정신 건강 문제가 있는 사용자에게 적절한 지원을 제공하지 못했다는 비난을 받았습니다. 새로운 안전 도구의 도입은 이러한 우려를 해결하고 전반적인 사용자 경험을 개선하기 위한 한 걸음입니다.

주목할 점

Character AI는 자녀의 앱 상호작용에 대한 심층적인 모니터링 및 관리를 제공하는 첫 번째 부모 통제 세트를 출시할 예정입니다. 회사는 사용자를 더 잘 보호하기 위해 안전 기능을 계속 개발하고 개선할 예정입니다. AI 산업이 계속 발전함에 따라 기업이 사용자 안전 및 웰빙을 우선시하는 것이 중요합니다.