أدوات أمان الذكاء الاصطناعي

مقدمة إلى Character AI

تواجه Character AI ما لا يقل عن دعوتين قضائيتين، حيث يتهم المدعون الشركة بالمساهمة في انتحار مراهق وتعريض طفل يبلغ من العمر 9 سنوات لـ “محتوى مفرط الجنسية”. في ظل هذه الدعاوى القضائية الجارية والانتقادات الواسعة من المستخدمين، أعلنت الشركة المدعومة من Google عن أدوات أمان جديدة للمراهقين.

تسمح المنصة للمستخدمين بإنشاء شخصيات AI مختلفة والتحدث معها عبر المكالمات والرسائل النصية. يستخدم أكثر من 20 مليون مستخدم الخدمة شهريًا. واحدة من أهم التغييرات المعلن عنها اليوم هي نموذج جديد للمستخدمين تحت سن 18 سيقلل من ردوده على مواضيع معينة مثل العنف والرومانسية.

الميزات الأمنية الجديدة

قالت Character AI إنها تعمل على تطوير تصنيفات جديدة على طرفي الإدخال والإخراج - خاصة للمراهقين - لمنع المحتوى الحساس. أشارت إلى أنه عندما تكتشف تصنيفات التطبيق لغة الإدخال التي تنتهك شروطها، تقوم الخوارزمية بتصفية المحادثة مع شخصية معينة. الشركة أيضًا تقيد المستخدمين من تحرير ردود الروبوت.

بالإضافة إلى هذه التعديلات على المحتوى، تعمل الشركة على تحسين طرق اكتشاف اللغة المتعلقة بالأذى الذاتي والانتحار. في بعض الحالات، قد يعرض التطبيق نافذة منبثقة تحتوي على معلومات حول الخط الساخن الوطني لمنع الانتحار. Character AI أيضًا تصدر إشعارًا بفترة راحة سيظهر عندما يتعامل المستخدم مع التطبيق لمدة 60 دقيقة.

السياق الصناعي

قضى مستخدم تطبيق Character AI العادي 98 دقيقة يوميًا على التطبيق طوال هذا العام، وهو أعلى بكثير من حد الإشعار البالغ 60 دقيقة. مقارنةً، هذا المستوى من المشاركة على قدم المساواة مع TikTok (95 دقيقة/يوم)، وأعلى من YouTube (80 دقيقة/يوم)، Talkie وChai (63 دقيقة/يوم)، وReplika (28 دقيقة/يوم). سيشاهد المستخدمون أيضًا إخلاءات مسؤولية جديدة في محادثاتهم.

شهدت صناعة الذكاء الاصطناعي نموًا كبيرًا في السنوات الأخيرة، حيث طورت العديد من الشركات روبوتات الدردشة والمساعدين الافتراضيين. ومع ذلك، أثار هذا النمو مخاوف بشأن سلامة المستخدم ورفاهيته. تعد أدوات الأمان الجديدة من Character AI خطوة نحو معالجة هذه المخاوف.

الدعاوى القضائية والتسويات

استقرت Google وCharacter.AI، شركة ناشئة، دعاوى قضائية قدمتها عائلات تتهم روبوتات الدردشة بالذكاء الاصطناعي بإلحاق الضرر بالقاصرين، بما في ذلك المساهمة في انتحار مراهق فلوريدي. تغطي التسويات الدعاوى القضائية المقدمة في فلوريدا، كولورادو، نيويورك، وتكساس. لم يتم الكشف عن شروط التسوية.

الآليات الفنية

سيستخدم النموذج الجديد للمستخدمين تحت سن 18 مجموعة من معالجة اللغة الطبيعية وخوارزميات التعلم الآلي لاكتشاف المحتوى الحساس وتصفيته. تعمل الشركة أيضًا على تحسين سياساتها لمراجعة المحتوى لضمان عدم تعرض المستخدمين لمحتوى ضار أو صريح.

الآثار الناجمة

قد يكون لإدخال أدوات الأمان الجديدة من قبل Character AI آثار كبيرة على صناعة الذكاء الاصطناعي ككل. قد يحدد سابقة للشركات الأخرى لتحديد أولويات سلامة المستخدم ورفاهيته، خاصة عندما يتعلق الأمر بالقاصرين. قرار الشركة بتسوية الدعاوى القضائية المقدمة من عائلات تتهم روبوتات الدردشة بالذكاء الاصطناعي بإلحاق الضرر بالقاصرين قد يكون له أيضًا آثار على كيفية تعامل شركات الذكاء الاصطناعي مع المسؤولية والمساءلة.

التاريخ

واجهت Character AI انتقادات في الماضي بسبب تعاملها مع المواضيع الحساسة، بما في ذلك الأذى الذاتي والانتحار. اتُهمت الشركة بتعزيز المحتوى الضار وعدم تقديم الدعم الكافي للمستخدمين الذين قد يعانون من مشاكل الصحة النفسية. إدخال أدوات الأمان الجديدة هو خطوة نحو معالجة هذه المخاوف وتحسين تجربة المستخدم بشكل عام.

ما يجب مراقبته

ستطلق Character AI مجموعة أولى من أدوات الرقابة الأبوية التي ستقدم مراقبة متعمقة وإدارة لتفاعلات الطفل مع التطبيق. ستستمر الشركة في تطوير وتحسين ميزاتها الأمنية لحماية مستخدميها، خاصة القاصرين. مع استمرار تطور صناعة الذكاء الاصطناعي، من الضروري للشركات تحديد أولويات سلامة المستخدم ورفاهيته.