AI 安全工具

Character AI 介绍

Character AI 面临至少两起诉讼，原告指控该公司导致一名青少年自杀，并让一名 9 岁儿童接触到 “过度性化” 内容。在这些诉讼和广泛的用户批评中，获得谷歌支持的 Character AI 公司宣布推出新的青少年安全工具。

该平台允许用户创建不同的 AI 角色，并通过通话和短信与他们交流。每月有超过 2000 万用户使用该服务。今天宣布的最重要的变化之一是为 18 岁以下用户提供的新模型，该模型将减少对某些话题（如暴力和浪漫）的回应。

新安全功能

Character AI 表示正在开发新的分类器，特别是在输入和输出端 - 尤其是针对青少年 - 以阻止敏感内容。公司指出，当应用的分类器检测到违反其条款的输入语言时，算法会将其过滤掉与特定角色的对话。公司还限制用户编辑机器人的回应。

除了这些内容调整外，初创公司还致力于改进检测与自我伤害和自杀相关的语言的方法。在某些情况下，应用可能会显示一个弹出窗口，其中包含有关国家自杀预防热线的相关信息。 Character AI 还将推出一个超时通知，当用户与应用互动 60 分钟时，该通知将出现。

行业背景

Character AI 应用的平均用户每天花费 98 分钟使用该应用，远高于 60 分钟的通知限制。相比之下，这一参与度与 TikTok（95 分钟/天）相当，高于 YouTube（80 分钟/天）、Talkie 和 Chai（63 分钟/天）以及 Replika（28 分钟/天）。用户还将看到新的免责声明。

近年来，AI 行业取得了显著增长，许多公司正在开发聊天机器人和虚拟助手。然而，这种增长也引发了人们对用户安全和福祉的担忧。 Character AI 的新安全工具是解决这些问题的一步。

诉讼和和解

谷歌和 Character.AI，一家初创公司，已与家属达成和解，家属指控人工智能聊天机器人伤害了未成年人，包括导致佛罗里达州一名青少年的自杀。和解涵盖了在佛罗里达州、科罗拉多州、纽约州和德克萨斯州提出的多起诉讼。和解的具体条款并未披露。

技术机制

针对 18 岁以下用户的新模型将结合使用自然语言处理和机器学习算法来检测和过滤敏感内容。公司还致力于改进其内容审核政策，以确保用户不会接触到有害或露骨的内容。

Character AI 的 AI 角色旨在以对话方式与用户互动。公司的算法使用一系列因素，包括用户输入和上下文，来确定对话内容。然而，该公司因其处理敏感话题（包括自我伤害和自杀）的方式而面临批评。

后续影响

Character AI 引入新的安全工具可能会对整个 AI 行业产生重大影响。这可能会为其他公司优先考虑用户安全和福祉（尤其是针对未成年人）树立先例。该公司决定与家属达成和解，指控其聊天机器人伤害了未成年人，这也可能对 AI 公司处理责任和义务的方式产生影响。

历史

Character AI 过去因处理敏感话题（包括自我伤害和自杀）而面临批评。公司被指控宣传有害内容并未为可能正在与心理健康问题作斗争的用户提供足够的支持。引入新的安全工具是解决这些问题和改善整体用户体验的一步。

关注点

Character AI 将推出其首套家长控制功能，提供对孩子与应用互动的深入监控和管理。公司将继续开发和完善其安全功能，以更好地保护用户，尤其是未成年人。随着 AI 行业的不断发展，公司优先考虑用户安全和福祉至关重要。