Qwen3-8B ile kişisel ses DoRA eğitimi: $1,50 maliyetle %100 performans artışı

Günümüzde yapay zeka modelleri, sohbet tonu ve üslubu konusunda kişiselleştirme konusunda hala yetersiz kalıyor. Ancak, yeni bir araştırma bu durumu değiştirebilir. Tek bir kullanıcının Telegram mesajlarından oluşturulan özel bir veri seti üzerinde eğitilen DoRA (Weight-Decomposed Low-Rank Adaptation) adaptörü, Qwen3-8B modelini sadece $1,50 maliyetle kişisel bir sese dönüştürdü. Kör A/B testlerindeyse, eğitilmiş model stok versiyonunu %100 geçti. Dahası, 50 genel bilgi testi üzerinde hiçbir unutkanlık yaşanmadı.

DoRA nedir ve nasıl uygulandı?

DoRA, LoRA (Low-Rank Adaptation) yönteminin geliştirilmiş bir versiyonudur. Standart LoRA, model ağırlıklarını düşük ranklı matrislerle güncellerken, DoRA bu süreci daha da basitleştirir. Ağırlıkları büyüklük ve yön bileşenlerine ayırır ve sadece yön bileşenini güncelleyerek tam ince ayara yakın performans elde eder. Bu sayede, daha az parametreyle daha yüksek doğruluk sağlanır.

Araştırmacılar, bir kullanıcının Telegram verilerini toplamak için basit bir yöntem kullandı. Kullanıcı, Telegram’dan JSON formatında veri dışa aktardı ve ardından özel bir script ile sadece diyalog çiftlerini (kullanıcı mesajı ve yanıt) çıkardı. Toplamda 1.047 sohbetten 6.128 eğitim ve 322 doğrulama çifti oluşturuldu. Veri seti, çok aktif sohbetlerin hakimiyetini engellemek için 12 çiftle sınırlandırıldı ve tüm çiftler benzersiz hale getirildi.

DoRA adaptörü, Qwen3-8B modelinin üzerine yerleştirildi. Eğitim içinse aşağıdaki yapılandırma kullanıldı:

from peft import LoraConfig
from transformers import TrainingArguments

peft_config = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    use_dora=True,  # Bu satır LoRA’yı DoRA’ya dönüştürür
    task_type="CAUSAL_LM",
)

training_args = TrainingArguments(
    learning_rate=2e-4,
    lr_scheduler_type="cosine",
    warmup_steps=50,
    num_train_epochs=3,
    per_device_train_batch_size=2,
    gradient_accumulation_steps=8,  # Etkili batch boyutu: 16
    max_seq_length=1024,
    bf16=True,
    gradient_checkpointing=True,
    optim="adamw_torch_fused",
)

Toplamda sadece 30 milyon parametre eğitildi ve bu da 8 milyar parametrelik modelin sadece %0,4’üne denk geliyordu. Adaptör dosyası diskte sadece 63 MB yer kapladı. Eğitim, Vast.ai platformunda tek bir RTX 3090 kullanılarak 3,5 saatte tamamlandı ve maliyet $1,50’yi geçmedi.

Kritik detay: Kayıp fonksiyonunun doğru uygulanması

Araştırmacılar, kayıp fonksiyonunu sadece kullanıcının yanıt tokenlarına uyguladı. Diğer kişilerin mesajlarına yanıt veren tokenlar dikkate alınmadı. Böylece modelin diğer kullanıcıların üslubunu taklit etmesi engellendi ve kişisel sesin korunması sağlandı. Bu adım, kişisel ses modellemesinde hayati önem taşıyor.

Kör A/B testi: Gerçek kullanıcıların değerlendirmesi

Modelin performansını ölçmek için kör A/B testi uygulandı. Testte şu adımlar izlendi:

• 30 adet gerçek kullanıcı mesajı (kişinin yakın zamanda aldığı mesajlar) kullanıldı.
• Her bir mesaj için üç yanıt üretildi: stok Qwen3-8B, DoRA eğitilmiş model ve gerçek insan yanıtı.
• Yanıtlar rastgele kodlarla etiketlendi ve değerlendiricilere hangilerinin hangi kaynaktan geldiği gizlendi.
• Değerlendiricilerden, hangi yanıtın kendilerine en çok benzediğini seçmeleri istendi.
• Ayrıca 50 genel bilgi testi (başkentler, matematik, kodlama, çeviriler) uygulanarak unutkanlık olup olmadığı kontrol edildi.

Sonuçlar oldukça çarpıcıydı:

• DoRA, stok Qwen3-8B’yi %100 oranında geçti.
• Üçlü karşılaştırmada, gerçek insan yanıtı %71, DoRA %29, stok model %0 aldı.
• Bir özel durumda (p07), DoRA gerçek insanın yanıtını bile geçti.

Neden p07 dikkat çekici?

Değerlendirmeyi yapan kullanıcı, kendi gerçek yanıtını ve DoRA’nın yanıtını karşılaştırdığında DoRA’yı seçti. Kullanıcı şu yorumu yaptı: "DoRA’nın yanıtı, o özel günde yazdığımdan daha çok benim tipik üslubuma benziyor." Bu durum, DoRA’nın sadece geçmiş veriyi kopyalamak yerine, kişinin genel üslubunu daha iyi yakaladığını gösteriyor.

Uygulamada karşılaşılan zorluklar ve çözümleri

Araştırmacılar, eğitim ve çıkarım sırasında bazı teknik engellerle karşılaştı. Bunların başında Qwen3’ün varsayılan olarak çıkarım sırasında ... gibi düşünce izleri üretmesiydi. Bu, sohbet tarzındaki yanıtlarla uyumsuzdu ve modelin çıktısını bozuyordu. Çözüm olarak, hem eğitim hem de çıkarım sırasında enable_thinking=False parametresinin kullanılması zorunlu hale getirildi.

Başka bir sorun da Transformers kütüphanesinin versiyon uyumsuzluğuydu. Qwen3’ün desteklenmesi için Transformers 4.51 versiyonu gerekiyordu, ancak daha yeni versiyonlar Torch 2.5+ gerektiriyordu. Araştırmacılar, Vast.ai’nin RTX 3090 görüntüsü için transformers==4.53.0 versiyonunu sabitledi.

Son olarak, Cerebras gibi bazı platformların LoRA/DoRA adaptörlerini yükleyemediği ortaya çıktı. Bu nedenle, DoRA adaptörü araştırma amaçlı kullanılırken, üretimde farklı bir strateji izlenmesi gerekiyor. Araştırmacılar, şu anda üretimde RAG ve sistem mesajları kullanırken, gelecekte kullanıcı talebi arttıkça self-hosted çözümlere geçmeyi planlıyorlar.

DoRA adaptörü nasıl kullanılabilir?

Araştırmacılar, eğitilmiş DoRA adaptörünü Hugging Face üzerinden paylaştı. Adaptör, aiconiccompany/yuka-dora-v1 adresinden erişilebilir durumda. Kendi verilerinizle DoRA eğitimi yapmak için ise aşağıdaki donanım gereksinimleri yeterli:

• Tek bir RTX 3090 (24 GB VRAM) — Vast.ai’da yaklaşık $0,30/saat
• 3,5 saatlik GPU süresi
• Kendi Telegram verinizin JSON formatında dışa aktarımı
• En az 1.000, ideal olarak 6.000 mesaj çifti

Toplam maliyet, kendi mesaj geçmişiniz için yaklaşık $1-$3 arasında değişiyor.

Gelecekteki adımlar ve kişiselleştirme potansiyeli

Bu araştırma, kişiselleştirilmiş yapay zekanın geleceği için önemli bir adım olarak görülüyor. Günümüzde şirketler genellikle kullanıcıları 50 farklı segmente ayırarak kişiselleştirme yapmaya çalışıyor. Oysa DoRA gibi yöntemler, bireysel düzeyde kişiselleştirmeye olanak tanıyor. Gelecekte, her kullanıcı için kendi verileriyle eğitilmiş küçük adaptörlerin yaygınlaşması bekleniyor. Bu da hem performans hem de maliyet açısından büyük avantajlar sağlayacak.

Yuka-dora-v1 adaptörü, bireysel düzeyde kişiselleştirmenin sadece teoride değil, pratikte de uygulanabilir olduğunu gösteren ilk somut örneklerden biri. $1,50 maliyetle bir sınır modelinin kişisel bir sese dönüştürülebilmesi, gelecekteki yapay zeka uygulamaları için heyecan verici bir potansiyel barındırıyor.