Gizlilik odaklı AI eğitimi: Küçük cihazlarda daha hızlı model geliştirme

Günümüzde yapay zeka (AI) modelleri genellikle güçlü sunucular ve grafik işlem birimleri (GPU’lar) üzerinde eğitiliyor. Ancak MIT araştırmacıları, bu modellerin akıllı saatler, kablosuz sensörler ve mobil cihazlar gibi sınırlı kaynaklara sahip gündelik cihazlarda da çalıştırılabileceği yeni bir yöntem geliştirdi. Bu yenilik, federatif öğrenme adı verilen gizlilik odaklı bir AI eğitim tekniğinin verimliliğini %81 oranında artırıyor.

Veri gizliliği korurken AI performansını artırma

Günümüzde AI modellerinin eğitimi genellikle merkezi sunucularda gerçekleşiyor. Ancak bu yaklaşım, kullanıcı verilerinin üçüncü şahıslar tarafından erişilebilir hale gelmesine yol açabiliyor. Federatif öğrenme ise bu sorunu çözmek için cihazların yerel verilerini kullanarak model eğitimini gerçekleştiriyor. Her cihaz, kendi verileriyle modeli eğitiyor ve ardından sadece model güncellemelerini merkezi sunucuya gönderiyor. Bu sayede kullanıcı verileri asla sunucuya aktarılmıyor ve gizlilik korunmuş oluyor.

Ancak bu yöntem, tüm cihazların aynı kaynaklara sahip olmadığı heterojen ağlarda sorunlara yol açıyor. Bazı cihazlar, modeli depolamak, eğitmek ve güncellemeleri sunucuya göndermek için yeterli belleğe veya bağlantı hızına sahip değil. Bu da eğitim sürecinde gecikmelere ve performans düşüşlerine neden oluyor.

MIT araştırmacıları, bu sorunları aşmak için Federated Tiny Training Engine (FTTE) adı verilen yeni bir çerçeve geliştirdi. FTTE, cihazların bellek ve iletişim yükünü önemli ölçüde azaltarak, daha hızlı ve verimli bir eğitim süreci sunuyor.

FTTE nasıl çalışıyor? Üç yenilikçi adım

FTTE’nin başarısı, üç ana yenilikten kaynaklanıyor. Bu adımlar, cihazların kaynak kısıtlamalarını aşarken aynı zamanda modelin doğruluğunu korumayı hedefliyor:

• Model parametrelerinin optimize edilmesi: FTTE, merkezi sunucunun tüm modeli cihazlara göndermesi yerine, sadece belirli bir alt kümeyi ileterek bellek kullanımını azaltıyor. Bu alt küme, her cihazın bellek sınırına göre seçiliyor ve modelin doğruluğunu maksimize etmek için özel bir arama prosedürü kullanılıyor. Parametreler, modelin eğitim sırasında ayarladığı içsel değişkenlerdir.

• Asenkron model güncellemeleri: Geleneksel federatif öğrenmede sunucu, tüm cihazlardan yanıt alıncaya kadar bekliyor. FTTE ise bu süreci hızlandırmak için asenkron bir yaklaşım benimsiyor. Sunucu, belirli bir kapasiteye ulaşana kadar gelen güncellemeleri biriktiriyor ve ardından eğitim turunu başlatıyor. Bu sayede daha hızlı yanıt alınıyor ve gecikmeler en aza indiriliyor.

• Güncellemelerin ağırlıklandırılması: Eski güncellemeler, modelin eğitimini yavaşlatabiliyor ve doğruluğunu azaltabiliyor. FTTE, bu sorunu çözmek için daha yeni güncellemelere daha fazla ağırlık veriyor. Böylece, daha güçlü cihazlar uzun süre beklemek zorunda kalmıyor ve kaynaklar verimli bir şekilde kullanılıyor.

Irene Tenison, projenin baş yazarı ve MIT’in Elektrik Mühendisliği ve Bilgisayar Bilimleri (EECS) bölümünde yüksek lisans öğrencisi, bu yeniliğin önemini şöyle açıklıyor:

“Bu çalışma, güçlü AI modellerini şu anda çalıştıramadığımız küçük cihazlara getirmeyi amaçlıyor. Günlük hayatımızda taşıdığımız bu cihazlarda AI’nın çalışabilmesi gerekiyor. Büyük sunuculara ve GPU’lara bağımlı kalmadan AI’nın bu cihazlarda çalışabilmesi, önemli bir adımdır.”

Gerçek dünya testleri ve geleceğe dair umutlar

MIT araştırmacıları, FTTE’nin performansını yüzlerce heterojen cihazın yer aldığı simülasyonlarda ve çeşitli modellerle test etti. Sonuçlar, FTTE’nin standart federatif öğrenme yöntemlerine kıyasla eğitim sürecini %81 daha hızlı tamamladığını gösterdi. Ayrıca, cihaz başına bellek yükünü %80 ve iletişim yükünü %69 oranında azalttı. Doğrulukta ise minimum bir düşüş yaşandı, ancak bu bazı uygulamalarda kabul edilebilir düzeydeydi.

Araştırmacılar, FTTE’nin gerçek cihazlarda da test edildiğini ve farklı hesaplama kapasitelerine sahip cihazlarda başarılı sonuçlar verdiğini belirtiyor. Tenison, bu teknolojinin özellikle gelişmekte olan ülkelerde yaşayan kullanıcıların daha eski ve daha az güçlü mobil cihazlarına da uygulanabilir olduğunu vurguluyor:

“Herkesin en yeni iPhone’a sahip olmadığı bir gerçek. Gelişmekte olan ülkelerde kullanıcılar, daha az güçlü mobil cihazlara sahip olabilir. Bizim yöntemimizle, federatif öğrenmenin faydalarını bu cihazlara da getirebiliriz.”

Gelecekte araştırmacılar, FTTE’nin AI modellerinin her cihazda kişiselleştirilmiş performansını artırmak için nasıl kullanılabileceğini incelemeyi planlıyor. Bu sayede, AI’nın sadece genel performansını değil, bireysel ihtiyaçlara da daha iyi yanıt vermesi hedefleniyor.

Bu yenilik, AI’nın gizlilik ve verimlilik açısından daha erişilebilir hale gelmesine büyük katkı sağlıyor. Sınırlı kaynaklara sahip cihazlarda AI modellerinin eğitilmesi, sağlık, finans ve diğer yüksek hassasiyet gerektiren sektörlerde de yeni olanaklar sunabilir.