KI-Sicherheitswerkzeuge

Einführung in Character AI

Character AI sieht sich mindestens zwei Klagen ausgesetzt, in denen Kläger das Unternehmen beschuldigen, zum Selbstmord eines Jugendlichen beigetragen und einen 9-jährigen Jungen ” hypersexualisierten Inhalten” ausgesetzt zu haben. Angesichts dieser anhängigen Klagen und weit verbreiteter Kritik von Nutzern kündigte das von Google unterstützte Unternehmen neue Sicherheitswerkzeuge für Jugendliche an.

Die Plattform ermöglicht es Nutzern, verschiedene KI-Charaktere zu erstellen und mit ihnen über Anrufe und Texte zu sprechen. Über 20 Millionen Nutzer verwenden den Dienst monatlich. Eine der wichtigsten Änderungen, die heute angekündigt wurden, ist ein neues Modell für Nutzer unter 18 Jahren, das die Antworten auf bestimmte Themen wie Gewalt und Romantik herunterreguliert.

Neue Sicherheitsfunktionen

Character AI sagte, es entwickle neue Klassifikatoren sowohl am Eingang als auch am Ausgang - insbesondere für Jugendliche -, um sensible Inhalte zu blockieren. Es stellte fest, dass, wenn die Klassifikatoren der App Eingabesprache erkennen, die gegen seine Bedingungen verstößt, der Algorithmus diese aus dem Gespräch mit einem bestimmten Charakter filtert. Das Unternehmen beschränkt auch die Nutzer daran, die Antworten eines Bots zu bearbeiten.

Zusätzlich zu diesen Inhaltanpassungen arbeitet das Startup auch daran, die Erkennung von Sprache im Zusammenhang mit Selbstschädigung und Selbstmord zu verbessern. In einigen Fällen kann die App ein Pop-up mit Informationen über die nationale Selbstmordpräventions-Hotline anzeigen. Character AI veröffentlicht auch eine Zeit-Überwachungs-Benachrichtigung, die erscheint, wenn ein Nutzer 60 Minuten lang mit der App interagiert.

Branchenkontext

Der durchschnittliche Character AI-App-Nutzer verbrachte in diesem Jahr 98 Minuten pro Tag auf der App, was viel höher ist als die 60-Minuten-Benachrichtigungsgrenze. Zum Vergleich: Dieses Engagement ist auf demselben Niveau wie TikTok (95 Minuten/Tag) und höher als YouTube (80 Minuten/Tag), Talkie und Chai (63 Minuten/Tag) und Replika (28 Minuten/Tag). Nutzer werden auch neue Hinweise in ihren Gesprächen sehen.

Die KI-Industrie hat in den letzten Jahren ein erhebliches Wachstum erlebt, viele Unternehmen entwickeln Chatbots und virtuelle Assistenten. Dieses Wachstum hat jedoch auch Bedenken hinsichtlich der Sicherheit und des Wohlbefindens der Nutzer aufgeworfen. Die neuen Sicherheitswerkzeuge von Character AI sind ein Schritt zur Lösung dieser Bedenken.

Klagen und Vergleiche

Google und Character.AI, ein Startup, haben Vergleiche in Klagen erzielt, die von Familien eingereicht wurden, die künstliche Intelligenz-Chatbots beschuldigen, Minderjährige geschädigt zu haben, einschließlich eines Beitrags zum Selbstmord eines Florida-Teenagers. Die Vergleiche decken Klagen ab, die in Florida, Colorado, New York und Texas eingereicht wurden. Die Bedingungen des Vergleichs wurden nicht offengelegt.

Technische Mechanismen

Das neue Modell für Nutzer unter 18 Jahren wird eine Kombination aus natürlicher Sprachverarbeitung und maschinellen Lernalgorithmen verwenden, um sensible Inhalte zu erkennen und zu filtern. Das Unternehmen arbeitet auch daran, seine Inhaltmoderationsrichtlinien zu verbessern, um sicherzustellen, dass Nutzer nicht schädlichen oder expliziten Inhalten ausgesetzt sind.

Die KI-Charaktere von Character AI sind darauf ausgelegt, mit Nutzern in einer konversationellen Weise zu interagieren. Die Algorithmen des Unternehmens verwenden eine Reihe von Faktoren, einschließlich Benutzereingaben und Kontext, um den Inhalt des Gesprächs zu bestimmen. Das Unternehmen wurde jedoch für seinen Umgang mit sensiblen Themen, einschließlich Selbstschädigung und Selbstmord, kritisiert.

Auswirkungen

Die Einführung neuer Sicherheitswerkzeuge durch Character AI kann erhebliche Auswirkungen auf die KI-Industrie als Ganzes haben. Es kann einen Präzedenzfall für andere Unternehmen schaffen, die Sicherheit und das Wohlbefinden der Nutzer, insbesondere bei Minderjährigen, priorisieren. Die Entscheidung des Unternehmens, Vergleiche in Klagen zu erzielen, die von Familien eingereicht wurden, die seine Chatbots beschuldigen, Minderjährige geschädigt zu haben, kann auch Auswirkungen auf die Art und Weise haben, wie KI-Unternehmen Haftung und Rechenschaftspflicht angehen.

Geschichte

Character AI wurde in der Vergangenheit für seinen Umgang mit sensiblen Themen, einschließlich Selbstschädigung und Selbstmord, kritisiert. Das Unternehmen wurde beschuldigt, schädliche Inhalte zu fördern und keine angemessene Unterstützung für Nutzer zu bieten, die mit psychischen Gesundheitsproblemen kämpfen. Die Einführung neuer Sicherheitswerkzeuge ist ein Schritt zur Lösung dieser Bedenken und zur Verbesserung des gesamten Nutzererlebnisses.

Was zu beobachten ist

Character AI wird seine erste Reihe von Elternkontrollen einführen, die eine detaillierte Überwachung und Verwaltung der Interaktionen eines Kindes mit der App ermöglichen. Das Unternehmen wird weiterhin Sicherheitsfunktionen entwickeln und verfeinern, um seine Nutzer, insbesondere Minderjährige, besser zu schützen. Da die KI-Industrie weiter wächst, ist es entscheidend, dass Unternehmen die Sicherheit und das Wohlbefinden der Nutzer priorisieren.