AIセーフティツール

Character AIの紹介

Character AIは、少なくとも2件の訴訟に直面しており、原告は同社が10代の自殺に貢献し、9歳の子供を「過度に性的なコンテンツ」にさらしたとして非難している。これらの訴訟やユーザーの批判が続く中、Googleの支援を受ける同社は、ティーン向けの新しいセーフティツールを発表した。

プラットフォームでは、ユーザーが異なるAIキャラクターを作成し、通話やテキストで会話することができる。月間2000万人のユーザーがサービスを利用している。今日発表された最も重要な変更の1つは、18歳未満のユーザーが暴力やロマンスなどの特定のトピックへの応答を抑える新しいモデルである。

新しいセーフティ機能

Character AIは、特にティーン向けに、入力と出力の両端で新しい分類器を開発していると述べた。これにより、ユーザーがアプリの利用規約に違反する入力言語を使用した場合、アルゴリズムが特定のキャラクターとの会話からフィルタリングする。また、ユーザーがボットの応答を編集することも制限している。

自傷行為や自殺に関連する言語を検出する方法の改善も進めている。場合によっては、アプリは自殺予防ホットラインの情報を表示するポップアップを表示する。また、ユーザーがアプリを利用し続けて60分が経過すると、タイムアウト通知が表示される。

業界の状況

Character AIの平均ユーザーは、今年1日あたり98分をアプリに費やしており、これは60分の通知制限を上回っている。比較として、このレベルのエンゲージメントはTikTok（95分/日）と同等であり、YouTube（80分/日）、TalkieやChai（63分/日）、Replika（28分/日）よりも高い。

訴訟と和解

GoogleとCharacter.AIは、人工知能チャットボットが未成年者に危害を与えたとして非難する訴訟を起こした家族による訴訟を和解させた。和解の条件は明らかにされていない。

テクニカルメカニズム

18歳未満のユーザーのための新しいモデルは、自然言語処理と機械学習アルゴリズムを組み合わせて、センシティブなコンテンツを検出してフィルタリングする。また、コンテンツモデレーションの方針を改善し、ユーザーが有害または露骨なコンテンツにさらされないようにする。