AI şirketi araştırma depolandırsa, bağımsız ajanlar açık döngüyü teşvik ediyor

AI devleri tarafından yayınlanmayan yayınlar

Science.org makalesi, üst düzey AI şirketlerinin çok az yayın yaptığını ortaya koyuyor. İşte bu gözlem, milyar dolarlık değerlemelerin sektör üzerinde yüklendiği bir zamanda ortaya çıkıyor.

Makale, Anthropic, Cohere ve Stability AI gibi şirketlerin son bir yıldaki teknik makalelerini sadece bir elmacık taşı kadar yayınladıklarını ve büyük araştırma ekibine sahip olmasına rağmen, akademik laboratuvarlar ve eski rakiplere kıyasla çok düşük yayın yaptıklarını vurguluyor. Bu farklılık, tekrarlanabilirlik, güvenlik ve dışarıdan gelenlerin ilerlemeyi denetleme yetenekleri hakkında soruları ortaya çıkarıyor.

ClawReview, bağımsız bir döngü öneriyor

Show HN, ClawReview’u bir platform olarak tanıttı. Burada AI ajanları makaleler yayınlama ve birbirlerinin çalışmalarını eleştirme olanağına sahip. Sistem, ajanları hem yazarlar hem de eleştiriciler olarak ele alır ve insanlı döngüyü taklit ediyor.

ClawReview, gerçekliği doğrulama iddiasında bulunmuyor. Sadece yapısal değerlendirmeyi ve politika uyumu kontrol ediliyor. İnsan sahipleri, bir ajanı iddia edebilir, gönderilerini incelebilir ve diğer ajanların bunları eleştirdiğini izleyebilir. Platform ayrıca, komutlar, iş akışları ve başarısız girişimler hakkında topluluk gönderileri de barındırıyor, böylece bütün sürecin görünür hale geldiği bir platform.

Döngünün teknik çalışması

Ajanlar, çeşitli ürünler üretir: araştırma makaleleri, kod, literatür değerlendirmeleri, deneyler ve eleştiriler. Her gönderi, kayıt, iddia doğrulama, yazım talebi imzalama, varlık yükleme, sürümleme ve incelemeye uygunluk belirleme gibi bir protokol izler. Bu protokol, herhangi bir katılımcının inceleyebileceği bir metin dosyada saklanır.

ClawReview, yerel olarak bellek veri tabanı ile çalışabilir ya da PostgreSQL URL ile kalıcı depolama boyutuna ölçeklendirebilir. Mimari, yayıncı hizmeti ile inceleyici hizmeti ayırmakta ve bağımsız ajanları uzmanlaştırmakta serbest bırakıyor. Bir ajan, deneysel tasarım üzerinde odaklanabilir, bir diğeri istatistiki analizde, ama üçüncü biri hikayeyi yazabilir. İncelemeler, imzalı ürünler olarak eklenir, böylece gerçeklik takip edilebilir.

Endüstri tepkisi ve açık kaynak yönü

Platformun açık kaynak doğası, geliştiricilere değerlendirmeye kriterleri genişletme olanağı sunuyor. Ticari dergiler gibi, ClawReview, gerçeklik oracğı gibi davranmıyor; sadece döngü inceleme olanağını sağlar. Bu açıktır, mevcut AI araştırmaları akışının temel eleştirisi olan, kapalı kapılar ardında ticari modelleri değerlendirdiği bir zamanda.

Erken benimseyiciler, umutlu bir tavır sergiliyor. Bazıları, yüzeye çıkarılabilen tekrarlanabilirlik sorunlarını gizleyen bir yoldur, diğerleri ise insan denetimi olmadan, ajanlar metodolojik hataları vurgulayabilir ya da gerçek ilerleme yansıtması gereken metrikleri takip etmeden ilerleyebilir diyor.

Bu tartışma, AI startup ecosistemi içinde hızlı yerleştirme ve gerçekçi bir onaylanma arasında daha genelleştirilmiş bir gerilimle örtüşüyor.

AI araştırma yayıncılığı daha geniş bağlamı

Tarihsel olarak, makine öğrenimi patlamaları, NeurIPS ve ICML gibi konferanslarda yayımlanır, burada peer review, giriş kontrol eder. Büyük ölçekli özel laboratuvarların yükselişi bu modele müdahale etti ve ticari hale getirilene kadar patlamaları kapalı kapılar ardında tuttu. Sonuç, rekabetçi avantajı sağlayan ama topluluk incelemesini engellediği bir yığın yayımlanmamış çalışma oluşturdu.

ClawReview’ın yaklaşımı, daha önceki açık-dönüşüm platformlarına benzese de, yaratma ve değerlendirme adımlarını otomatize etmeyi başarır. Ajanları ilk sınıf katılımcılar olarak ele alan sistem, toplulukın algoritma yargılamasının kalite kontrolü için güvenebileceğini test eder. Başarı gerçekleşirse, kapalı kapılar ardında hızlı bir ilerleme talebi olan özel laboratuvarların hızını korurken, toplumdaki açığı yeniden kurabilir.

İyileştirme için ne beklemek?

Sonraki milat, ClawReview’un ilk açıkça görülebilir inceleme döngüsünün bu çeyrekte gerçekleşecek olması olacak. İzleyiciler, kaç makale yaprakları yapısal denetimi geçirebilecek, kaçı ciddi eleştiriler alabilecek ve AI startuplarının uygulamalarında herhangi bir bulgu etkileyebileceklerini takip edebilir. Sonuç, bağımsız döngülerin geleneksel peer review’u anlamca veya hatta yerine getirebilecek mi yoksa, hızla ilerleyen bir alanda kapalı kapılar ardında kaçınmaya devam mı edecek mi, bu sorunun yanıtını verecek.