Yapay Zeka Güvenlik Araçları

Character AI’ye Giriş

Character AI, en az iki davayla karşı karşıya, davacı şirketi bir gencin intiharına katkıda bulunmak ve 9 yaşındaki bir çocuğu “aşırı cinselleştirilmiş içerik”e maruz bırakmakla suçluyor. Bu devam eden davalar ve yaygın kullanıcı eleştirileri arasında, Google tarafından desteklenen şirket yeni genç güvenliği araçlarını duyurdu.

Platform, kullanıcıların farklı yapay zeka karakterleri oluşturmasına ve onlarla çağrılar ve mesajlar üzerinden konuşmasına olanak tanır. 20 milyondan fazla kullanıcı hizmeti aylık olarak kullanıyor. Bugün açıklanan en önemli değişikliklerden biri, 18 yaş altı kullanıcılar için yeni bir model ki bu model belirli konulara, örneğin şiddet ve romantizm gibi konulara verdiği cevapları azaltacak.

Yeni Güvenlik Özellikleri

Character AI, özellikle gençler için giriş ve çıkış noktalarında yeni sınıflandırıcılar geliştirdiğini söyledi - hassas içeriği engellemek için. Şirket, uygulamanın sınıflandırıcıları terimleri ihlal eden giriş dili tespit ettiğinde, algoritmanın bu konuşmayı belirli bir karakterle filtrelediğini belirtti. Şirket ayrıca kullanıcıların bir botun yanıtlarını düzenlemekten kısıtlıyor.

Bu içerik değişikliklerine ek olarak, girişim aynı zamanda intihara ve kendi kendine zarar vermeye ilişkin dilini tespit etme yöntemlerini geliştirmek için de çalışıyor. Bazı durumlarda, uygulama Ulusal İntiharı Önleme Hattı hakkında bilgi içeren bir açılır pencere görüntüleyebilir. Character AI ayrıca, bir kullanıcı uygulamada 60 dakika geçirdiğinde görünecek bir zaman aşımı bildirimi yayınlıyor.

Endüstri Bağlamı

Ortalama Character AI uygulaması kullanıcısı bu yıl boyunca günde 98 dakika uygulamada geçirdi ki bu, 60 dakikalık bildirim sınırından çok daha yüksek. Karşılaştırma için, bu düzeydeki katılım TikTok (95 dakika/gün) ile benzer ve YouTube (80 dakika/gün), Talkie ve Chai (63 dakika/gün) ve Replika (28 dakika/gün) ‘dan daha yüksek. Kullanıcılar ayrıca konuşmalarında yeni feragatnameler görecek.

Yapay zeka endüstrisi son yıllarda önemli bir büyüme yaşadı, birçok şirket sohbet robotları ve sanal asistanlar geliştirdi. Ancak bu büyüme aynı zamanda kullanıcı güvenliği ve refahı konusunda endişeleri de beraberinde getirdi. Character AI’nın yeni güvenlik araçları, bu endişeleri ele almak için bir adım.

Davalar ve Uzlaşmalar

Google ve Character.AI, yapay zeka sohbet robotlarının küçükleri zarara uğratmakla suçlandığı davaları ailelerin açması üzerine davaları sonuçlandırdı, bu da bir Florida gencin intiharına katkıda bulundu. Uzlaşmalar Florida, Colorado, New York ve Texas’ta açılan davaları kapsıyor. Uzlaşma koşulları açıklanmadı.

Teknik Mekanikler

18 yaş altı kullanıcılar için yeni model, doğal dil işleme ve makine öğrenimi algoritmalarını birleştirerek hassas içeriği tespit edip filtreleyecek. Şirket ayrıca içerik denetleme politikalarını geliştirmek için de çalışıyor ki kullanıcılar zararlı veya açık içeriklere maruz kalmasın.

Character AI’nın yapay zeka karakterleri, kullanıcılarla konuşma şeklinde etkileşimde bulunmak üzere tasarlandı. Şirketin algoritmaları, kullanıcı girişi ve bağlam dahil olmak üzere bir dizi faktörü kullanarak konuşmanın içeriğini belirler. Ancak şirket, intihar ve kendi kendine zarar verme gibi hassas konuları eleştirilerle karşı karşıya kaldı.

Aşağıdaki Etkiler

Character AI’nın yeni güvenlik araçlarının tanıtılması, yapay zeka endüstrisi için geniş kapsamlı etkilere sahip olabilir. Diğer şirketlerin kullanıcı güvenliği ve refahını, özellikle küçükler konusunda önceliklendirmesine yönelik bir emsal teşkil edebilir. Şirketin ailelerin yapay zeka sohbet robotlarının küçükleri zarara uğratmakla suçladığı davaları sonuçlandırma kararı da yapay zeka şirketlerinin sorumluluk ve hesap verebilirlik yaklaşımını etkileyebilir.

Tarihçe

Character AI, daha önce intihar ve kendi kendine zarar verme gibi hassas konuları eleştirilerle karşı karşıya kaldı. Şirket, zararlı içerik tanıtmak ve ruh sağlığı sorunlarıyla mücadele eden kullanıcılara yeterli destek sağlamamakla suçlandı. Yeni güvenlik araçlarının tanıtılması, bu endişeleri ele almak ve genel kullanıcı deneyimini geliştirmek için bir adım.

İzlenmesi Gerekenler

Character AI, çocukların uygulayla etkileşimlerini derinlemesine izleme ve yönetme olanağı sağlayan ilk ebeveyn kontrollerini başlatacak. Şirket, kullanıcıları, özellikle küçükleri daha iyi korumak için güvenlik özelliklerini geliştirmeye ve iyileştirmeye devam edecek. Yapay zeka endüstrisi evrimleşmeye devam ederken, şirketlerin kullanıcı güvenliği ve refahını önceliklendirmesi çok önemlidir.