Yeni nesil yapay zeka (AI) uygulamaları, özellikle kenar cihazlardaki performans ve enerji verimliliği konularında sürekli bir iyileştirme talebiyle karşı karşıya. Bu talebi karşılamak için SK hynix, TetraMem ve Güney Kaliforniya Üniversitesi araştırmacıları, memristör tabanlı içinde bellek hesaplama (IMC) mimarisine sahip özel bir sistem çipi geliştirdi. Bu yenilikçi tasarım, hafif AI modellerinin çıkarım (inference) işlemlerini geleneksel GPU ya da NPU’lardan çok daha az güç tüketerek hızlandırabiliyor.
Bellek Tabanlı Hesaplama: Veri Taşıma Sorununu Çözmek
Geleneksel bilgisayar mimarilerinde, CPU ya da GPU’lar bellekten veriyi okuyarak hesaplamaları gerçekleştirir. Bu süreç, özellikle ağır AI modellerinde, veri taşıma gecikmelerine ve yüksek enerji tüketimine yol açar. Memristör tabanlı IMC teknolojisi ise hesaplamaları doğrudan bellek hücreleri içinde gerçekleştirerek bu problemi çözmeyi hedefliyor. SK hynix ve ortakları tarafından geliştirilen SoC, analog vektör-matris çarpımı işlemlerini memristör dizileri üzerinde gerçekleştiriyor. Bu sayede, veri hareketi minimize edilirken enerji verimliliği de önemli ölçüde artırılıyor.
Derinlik Ayrıştırma Konvolüsyonu için Özel Optimizasyon
Bellek tabanlı hesaplamanın en büyük zorluklarından biri, derinlik ayrıştırma konvolüsyonu (DWC) adı verilen işlemdir. Bu işlem, hafif AI modellerinde (örneğin MobileNet) yaygın olarak kullanılan 1×1 konvolüsyonlara kıyasla verilerin yeniden kullanılma oranını sınırlıyor. Araştırmacılar, bu sorunu aşmak için SoC’ye özel bir NPU (Nöral İşlem Birimi) eklediler. Bu NPU, zig-zag topolojisi adı verilen bir dizilim kullanarak, 252×28 boyutunda sekiz adet çapraz dizin bloğu içeriyor. Bu yapı, aynı anda 28 bağımsız 3×3 konvolüsyonun paralel olarak çalışmasını sağlıyor ve bellek hücrelerinin tamamını ağırlık depolama için kullanıyor.
Performans ve Enerji Verimliliği: Gerçek Dünya Testleri
Araştırmacılar, geliştirdikleri SoC’yi test etmek için MobileNetV1Small modelini kullanarak görsel uyanış kelime (Visual Wake Words) benchmark’ını gerçekleştirdiler. Bu model yaklaşık 36.000 parametreye sahip olup, derinlik ayrıştırma katmanları özel NPU’ya, noktasal katmanlar ise diğer dokuz NPU’ya atandı. Memristör tabanlı IMC donanımı, 8-bit işaretsiz analog vektör-matris çarpımı gerçekleştiriyor ve giriş ile ağırlıklar 8-bit işaretsiz olarak nicemleniyor.
Sonuçlar oldukça dikkat çekici:
- Enerji verimliliği: 100 MHz’de 21,3 TOPS/W, 400 MHz’de 11,9 TOPS/W.
- Kesinlik: Modelin sonunda elde edilen çıkarım doğruluğu %80,36 olarak ölçüldü. Bu sonuç, 4-bit yazılım modeliyle aynı düzeyde performans gösteriyor.
- Karşılaştırma: Bu performans, Nvidia A100 INT8 enerji verimliliğine göre bir büyüklük sırası daha iyi olarak rapor edildi.
Sınırlamalar ve Gelecek Beklentileri
Bununla birlikte, araştırmacılar tarafından sunulan verilerde bazı önemli boşluklar bulunuyor. Örneğin, demo sırasında yalnızca bir DWC NPU, beş standart NPU ve dört NPU da kullanılmadı. Bu durum, SoC’nin toplam performansını ve gerçek dünya senaryolarındaki kullanılabilirliğini ölçmeyi zorlaştırıyor. Araştırmacılar tarafından sunulan 2,54 TOPS teorik tepe performansı, tüm NPU’ların aynı anda çalıştırıldığı varsayımına dayanıyor. Ancak bu senaryonun gerçek dünya uygulamalarında ne kadar geçerli olduğu henüz kanıtlanmış değil.
Yine de, bu çalışma, memristör tabanlı IMC teknolojisinin potansiyelini göstermesi açısından önemli bir adım. SK hynix’in daha eski 65 nm CMOS süreci üzerinde ürettiği bu çip, gelecekteki nesil AI cihazları için daha verimli ve çevre dostu çözümlerin yolunu açabilir. Uzmanlar, bu tür yeniliklerin ticari olarak kullanılabilir hale gelmesi için daha fazla araştırma ve optimizasyon gerektiğini vurguluyor.
Günümüzde AI’nin yaygınlaşmasıyla birlikte, enerji tüketimi ve performans arasındaki dengeyi sağlamak giderek daha önemli hale geliyor. Bu tür yenilikçi çipler, gelecekte akıllı telefonlardan otonom araçlara kadar birçok cihazda karşımıza çıkabilir ve AI’nın sınırlarını yeniden tanımlayabilir.
Yapay zeka özeti
SK Hynix ve TetraMem’in geliştirdiği memristor tabanlı sistem çipi, AI kenar cihazlarında enerji verimliliğini artırmayı hedefliyor. Detaylı inceleme ve performans analizi burada.
