GitHub listeleri CUDA öğrenimini kolaylaştırıyor

Topluluk tarafından düzenlenen CUDA kaynaklarının bir dalgası

Hacker News kullanıcıları, CUDA öğrenme materyalleri, GPGPU kod örnekleri ve PyTorch katmanlarına yeni bir yaklaşım getiren üç yeni depoyu ön plana çıkardı. HN’de 104 puan ve 21 yorumla paylaşılan ‘awesome-cuda-books’ listesi, CUDA geliştiricileri için kamuya açık kitapları, eğitimleri ve hile sayfalarını toplar. Eşlik eden ‘awesome-gpgpu’, hangi projelerin hala aktif, hangilerinin yavaşlıyor ve hangilerinin arşivlendiğini gösteren renkli bir efsane ekler. Her iki liste de GitHub’da yaşıyor ve indeksleri güncel tutmak için katkıdaşları davet ediyor.

Bu indekslerin değeri, somut kapsamlarında yatıyor. CUDA kitap koleksiyonu doğrudan PDF’lere, çevrimiçi kurslara ve kod ağırlıklı örneklere işaret ederken, GPGPU listesi CUDA, OpenCL ve Vulkan genelinde kaynakları etiketler. Aktif projeleri (yeşil) eski projelerden (kırmızı) ayırarak, mühendislerin ölü uçlu depolara kazmasını önler. Topluluk tarafından yönlendirilen model, aynı zamanda bir araç takımı yeni bir sürüm çıkarıldığında, indeks birkaç gün içinde değil, aylar içinde yenilenebilir.

Attorch, Triton’un elle yazılmış çekirdekleri nasıl değiştirebileceğini gösterir

Show HN, OpenAI’nın Triton üzerinde çalışan PyTorch’un ‘nn’ modülünün saf Python yeniden uygulanması olan ‘Attorch’u tanıttı. Proje, yalnızca iki bağımlılık—‘torch==2.4.0’ ve ‘triton==3.0.0’—ile birlikte gelir ve birçok standart katman için bir düşürme-yedekleme olarak kalırken, geliştiricilerin hacklenmesi için yeterli okunabilirliği korur. Attorch, katmanları için ileri ve geri geçişleri uygular, yani sadece çıkarım değil, eğitim sırasında da kullanılabilir.

Tasarım, ham hızı şeffaflık için takas eder. Evrişim ve havuzlama katmanları, Attorch’un kendi uygulamaları PyTorch’a geri düşer çünkü oldukça yavaştırlar. Diğer her şey için, kütüphane PyTorch’un API’sini yansıtır ve her modül, dahil edilen pytest süiti ile PyTorch karşılığı karşı test edilebilir. Kod tabanı ayrıca, düşük seviyeli CUDA yazmadan özel işlemlerle denemek için geliştiricilerin soyut matematik çekirdeklerini bellek yük/depolama mantığından izole eden bir ‘attorch.math’ altmodülü açar.

Pratikte, Attorch, çekirdek geliştiriciler için bir kum havuzu gibi hisseder. Otomatik karışık hassasiyet (AMP) desteği kutudan çıkmış olarak çalışır ve Triton-otodiff kütüphanesi, saf matematik fonksiyonlar için gradyanları otomatik olarak türetir. Ticaret-off nettir: daha yavaş performans pahasına kendi kendine içerilmiş, tek dosyalı bir tasarım kazanırsınız. Hızlı bir şekilde yeni operasyonları prototiplemek için ekipleri ihtiyaç duydukları için, yavaşlama kabul edilebilir olabilir; üretim yükleri için, PyTorch’a geri düşmek daha güvenli bir yoldur.

WoolyAI’nin çalışma zamanı, boş GPU belleğini kullanılabilir kapasiteye çevirir

Diğer bir Show HN gönderisi, WoolyAI’nin CUDA soyutlama katmanını, rekabet eden iş yükleri arasında dinamik olarak GPU çekirdeklerini ve VRAM’ini paylaşan bir çalışma zamanı tanıttı. Araç, mevcut eğitim ve çıkarım boru hatlarına kod değişiklikleri olmadan takılır ve ‘GPU başına daha fazla iş’ ve politika-bilinçli granüler paylaşım sözü verir. WoolyAI, statik GPU tahsisinin bıraktığı kapasiteyi geri kazanmak için çalışma zamanını pazarlar.

Dağıtım seçenekleri arasında bir Kubernetes GPU Operatörü ve bir Slurm entegrasyonu bulunur, bu da projenin hem bulut-native hem de HPC ortamlarını hedeflediğini önerir. Çalışma zamanı, başlığı ölçer, bulguları bildirir ve operatörlerin gerçek kullanım verilerine dayanarak dağıtımları planlamasına izin verir. WoolyAI, paylaşım mantığını uygulamadan soyutlayarak, mühendislerin model geliştirme üzerinde odaklanmasına izin verirken, platformu az kullanılan donanımlardan ekstra verim sıkar.

WoolyAI’nin kod değiştirmeden kullanımını iyileştirebileceği iddiası cesurca. Gerçek dünya kümelerinde, GPU belleği parçalanması ve patlama iş yükleri genellikle VRAM’in %30-40’ını boş bırakır. WoolyAI, bu boş dilimleri güvenli bir şekilde çokluplaştırabilirse, maliyet tasarrufu önemli olabilir. Ancak, gönderi karşılaştırma sayıları sağlamaz, bu nedenle gerçek etki doğrulanmayı bekler.

Ücretsiz GPU terminal araçları, CUDA yeni başlayanlar için giriş engelini düşürür

Üçüncü bir Show HN girişi, Google Gemini’ye istekleri vekil eden bir komut satırı aracını tanıttı, böylece bir terminalden ücretsiz GPU erişimi sunar. ‘Terminalinizde ücretsiz GPU’ adlı proje, yerel bir sunucu çalıştırır ki bu, OpenAI-uyumlu API çağrılarını Gemini sorgularına çevirir. Kullanıcılar, Gemini CLI’yi yüklemeli ve ardından sunucuyu ‘cgpu serve’ ile başlatmalıdır.

Araç, fiziksel GPU’lara sahip olmayan ancak CUDA C++ ile denemek isteyen geliştiricileri hedefler. Uzak bir hizmete hesaplama yönlendirerek, proje donanım maliyet bariyerini aşar. Depo, sürekli iyileştirmeler sözü verir ve katkıdaşların yeni ücretsiz hesaplama kaynakları önerebileceği veya hataları bildirebileceği kamuya açık bir Issues sekmesi vardır. Yaklaşım, bulut tabanlı geliştirme ortamlarının daha geniş trendini yansıtır, ancak etkileşimi yerel tutar, bu da hızlı prototipleme veya sınıf ortamları için çekici olabilir.

Araç, harici bir sağlayıcı (Google Gemini) üzerine güvense de, soyutlama katmanının kendisi açık kaynaklı kalır. Bu açıklık, topluluğun sunucuyu çatallamasına, alternatif arka uçlara işaret etmesine veya gecikmeyi azaltmak için önbellek katmanları eklemesine olanak verir. Eğitici için, donanım sağlamadan bir GPU oturumu başlatma yeteneği, CUDA programlamayı içeren müfredatları hızlandırabilir.

Ekosistem neden modüler, paylaşılabilir GPU yığınlarına kayıyor?

Her dört proje de ortak bir tema paylaşır: GPU’yu sabit bir kaynak olarak değil, yazılım katmanında yeniden düzenlenebilen bir bileşen olarak görürler. Düzenlenen listeler, mühendislere mevcut arazinin bir haritasını verir ve güncel eğitimler avlamak için harcanan zamanı azaltır. Attorch, Triton gibi ortaya çıkan derleme araçlarının üzerine yüksek seviyeli çerçevelerin yeniden inşa edilebileceğini gösterir ve özel çekirdeklere daha şeffaf bir yol sunar. WoolyAI, GPU tahsisinin akışkan olabileceğini, boş çekirdekleri üretken işe çevirdiğini iddia eder. Ücretsiz GPU terminal projesi, en pahalı donanımın bile öğrenme amaçları için soyutlanabileceğini gösterir.

Beraber, bu çabalar, GPU geliştirmenin donanım satıcısının yığınından daha az savaşmak ve takımın iş akışına uygun modüler parçaları bir araya getirmekle ilgili bir gelecek olduğunu ima eder. Her projenin açık kaynaklı doğası, iyileştirmelerin hızla yayılabileceği anlamına gelir: bir hata düzeltmesi CUDA kitapları indeksinde her yeni gelen kişiyi yararlandırabilir; Attorch’un matematik çekirdeklerinde bir performans ayarı yukarı akıntıya birleştirilebilir; WoolyAI’nin paylaşım politikaları yeni planlayıcı entegrasyonları için uyarlanabilir; ve terminal vekili diğer uzak sağlayıcılara genişletilebilir.

İzlemek

Sonraki birkaç ay, bu araçların ilk HN heyecanı ötesinde ilgi görüp görmeyeceğini ortaya koyacak. CUDA kitabı indeksinin GitHub yıldız sayısına ve Attorch deposuna dikkat edin; hızlı büyüme, topluluk onayı sinyali verecektir. WoolyAI için, çok kiracılı kümelerde kullanım artışını ölçen kıyaslama sürümlerine dikkat edin. Son olarak, ücretsiz GPU terminal vekilinin eğitim programlarında benimsenmesini izleyin; eğer üniversiteler CUDA laboratuvarları için bunu önermeye başlarsa, proje bir sonraki GPU mühendisleri nesli için fiili bir giriş noktası haline gelebilir.